Розробники платять більше за використання ШІ, хоча ціна токенів знижується

Хоча вартість токенів доступу до моделей штучного інтелекту щороку знижується приблизно в 10 разів, це ніяк не відображається на економії коштів розробників. Навпаки, поява технології «міркування» призвела до того, що витрати за використання LLM-моделей зросли, пише The Wall Street Journal.

Обмірковуючи, як краще виконати завдання, сучасні моделі та агенти повторно виконують запити, щоб перевірити свої відповіді, звертаються до веб-джерел, щоб зібрати додаткову інформацію, і навіть пишуть власні невеликі програми для обчислення. Це може займати хвилини або навіть години. У підсумку вони надають більш точні відповіді, але витрачають набагато більше токенів у процесі роботи. 

Ось приблизна кількість токенів доступу до LLM, необхідних для завдань різного рівня:

• Базові запитання та відповіді чат-бота: від 50 до 500 токенів.
• Короткий опис документа: від 200 до 6000 токенів.
• Базова допомога з кодом: від 500 до 2000 токенів.
• Написання  складного коду: від 20 000 до 100 000+ токенів.
• Аналіз юридичних документів: від 75 000 до 250 000+ токенів.
• Багатоетапний робочий процес агента: від 100 000 до 1 мільйона+ токенів.

Найдешевші моделі штучного інтелекту, включаючи нову GPT-5 Nano від OpenAI, зараз коштують близько 10 центів за 1 мільйон токенів. Доступ до повноцінної моделі GPT-5 коштує близько $3,44 за мільйон токенів, якщо використовувати середньозважене значення для моделей використання.

Незважаючи на те, що постачальники доступу до LLM, включаючи Cursor та Replit, нещодавно скоригували свої ціни в бік зниження, користувачі стали витрачати більше. Деякі розробники, які працюють з інструментом Cursor, виявили, що вони витрачають місячний запас кредитів за лічені дні. 

Тео Браун, виконавчий директор T3 Chat, вважає, що одним з варіантів вирішення проблеми надмірної витрати коштів може стати перехід на дешевші, менш потужні моделі, які потребують менше ресурсів.