Ілля Суцкевер: масштабування LLM вже нічого не дає

Ілля Суцкевер (співзасновник OpenAI, нині керівник Safe Superintelligence Inc.) і Янн Лекун (віце-президент і головний науковець Meta AI) майже синхронно заявили: галузь штучного інтелекту переходить від «ери масштабування» до «ери досліджень». Просте додавання нових кластерів GPU вже мало що дає в плані продуктивності, пише ABZ Global.

Останнє десятиліття індустрія ШІ жила за формулою «більше даних → більше параметрів → краща модель». Тепер обидва дослідники визнають: наступний етап розвитку штучного інтелекту вимагає нових ідей, а не просто додаткових чіпів Nvidia.

На думку Суцкевера, головними лімітами нинішніх LLM є те, що їхні узагальнення все ще слабші за людські — моделі вимагають тонни даних і складні методи обробки результатів. Тому його нова компанія робить ставку саме на нові методи навчання, а не на «GPT-7, такий самий, але більший».

Лекун виявився ще більш радикальним. Він вважає, що LLM-моделі глибоко обмежені. Кожен новий стрибок їхньої продуктивності дається все дорожче, а віддача знижується. Для справжнього інтелекту потрібні world models — системи, які навчаються на відео, будують уявлення про об’єкти, час та причинність.

Обидва науковці сходяться на головному: світ штучного інтелекту змінюється. GPU перестають бути головною перевагою, бенчмарки більше нічого не гарантують, стек ШІ стане різноманітнішим. Тому головною перевагою будуть дані для навчання та зворотний зв’язок. У перегонах моделей переможуть ті, хто володіє якісними даними, будує точні метрики якості, швидко (та ітеративно) покращує результат під свої процеси.