Токенмаксинг: співробітники великих IT-компаній змагаються, хто витратить більше токенів на обчислення

Всередині великих IT-компаній виник новий феномен, який отримав назву «токенмаксинг». Його описують як змагання у внутрішніх рейтингах продуктивності — хто в команді більше витратить токенів, необхідних для обчислень з LLM. 

В одному з випадків, про які пише The New York Times, розробник OpenAI за тиждень витратив рекордні для компанії 210 мільярдів токенів — цього достатньо, щоб заповнити «Вікіпедію» 33 рази. У Anthropic розробник протягом місяця витратив токенів на суму $150 000.

Співробітники топових ІТ-компаній змагаються в рейтингах витрат токенів для API-доступу до LLM. Тренд посилився з появою ШІ-агентів, які можуть годинами автономно виконувати кілька паралельних завдань, обробляти великі обсяги коду та створювати субагентів.

Донедавна досвідчені користувачі могли витрачати лише тисячі токенів на день, працюючи з ChatGPT, Claude або Gemini. Наприклад, студент, який пише реферат, може витратити 10 000 токенів — що приблизно дорівнює 7500 словам включно з редагуванням. Використання мільйонів токенів вимагало багатьох годин роботи перед комп’ютером, а використання мільярдів токенів було практично неможливим.

Тепер агенти дозволяють окремим користувачам витрачати мільйони токенів за короткий період. А «щедрі» бюджети роботодавців на використання штучного інтелекту стають частиною бонусної програми поряд із медстрахуванням або безкоштовним харчуванням в офісі. 

«Я, мабуть, витрачаю на Claude більше, ніж моя зарплата», — заявив Макс Ліндер, інженер-програміст зі Стокгольма. (токени для пана Ліндера оплачує його роботодавець).

Деякі системи штучного інтелекту, такі як OpenClaw, розроблені для цілодобової роботи, обробляють токени, поки їхні користувачі сплять.

«Якщо у вас є кілька агентів, які постійно працюють, ви зможете обробляти 700 мільйонів токенів на тиждень лише від одного агента», — сказав Еге Ерділ, співзасновник стартапу Mechanize. Він оцінює власне споживання токенів від одного до десяти мільярдів на тиждень.

Передплатники тарифних планів Claude та ChatGPT зазвичай сплачують щомісячну плату, яка надає їм фіксовану кількість токенів. Їхня кількість варіюється; деякі токени «кешовані», тобто система зберігає їх у пам’яті та не потребує генерації з нуля, а компанії стягують більше за «вихідні» токени, ніж за «вхідні». Користувачі, яким потрібно більше токенів, можуть платити за них окремо або перейти на дорожчий план.

Нагадаємо, днями CEO Nvidia Дженсен Хуанг пояснив, чому бюджет на токени для обчислень зараз важливіший за досвід.

Підписуйтесь на нас у соцмережах: Telegram | Facebook | LinkedIn