«GPT-4 может стать последним крупным достижением»: CEO OpenAI заявил, что стратегия компании обречена

Чат-бот от стартапа OpenAI ChatGPT-4 поразил мир (в том числе инвесторов) своими способностями, вызывая всплеск интереса к ИИ и опасения, что технология оставит без хлеба кучу специалистов. Но… что если круче этой версии бота больше ничего не будет?

В конце прошлой недели генеральный директор OpenAI Сэм Альтман публично заявил, что исследовательская стратегия, которая породила бота, исчерпана. Неясно, откуда именно будут поступать будущие достижения — но точно не из масштабирования модели, пишет Wired.

Подробности

Генеральный директор OpenAI говорит, что эпоха гигантских моделей ИИ уже закончилась. Если GPT-2 на пике имел 1,5 миллиарда параметров, которые регулировали связи между его грубыми искусственными нейронами, а GPT-3 — 175 млрд, то в четвертой версии масштаб не заявлен и не имеет такого большого значения. Предположительно, модель использует метод, называемый обучением с подкреплением обратной связью. То есть живые пользователи оценивают качество ответов модели, чтобы направить ее к предоставлению ответов, которые с большей вероятностью будут оценены другими пользователями как высококачественные.

Потому Сэм Альтман говорит, что дальнейший прогресс не будет достигнут за счет увеличения размеров моделей:

«Я думаю, что мы находимся в конце эпохи, когда будут создаваться такие огромные, гигантские модели. Мы сделаем их лучше другими способами. GPT-4 может стать последним крупным достижением, вытекающим из стратегии OpenAI, направленной на увеличение размеров моделей и предоставление им большего количества данных».

Тем временем многочисленные хорошо финансируемые стартапы, в том числе Anthropic, AI21, Cohere и Character.AI вкладывают огромные деньги в создание все более крупных алгоритмов, стремясь догнать технологию OpenAI. Заявление Альтмана предполагает неожиданный поворот в гонке за разработку и развертывание новых алгоритмов ИИ. При этом CEO не озвучивает идей, какие исследовательские стратегии или методы могли бы заменить простое масштабирование.

Почему масштабирование ИИ — плохая идея?

В документе, описывающем GPT-4, OpenAI говорит, что оценки работы бота в будущем предполагают снижение отдачи от увеличения размера модели. То есть вкладываться в расширение смысла будет немного. Кроме того, Альтман сказал, что существуют также физические пределы того, сколько центров обработки данных может построить компания и как быстро она может их построить.

Соучредитель Cohere Ник Фросс, ранее работавший над искусственным интеллектом в Google, тоже считает, что увеличение масштабов не будет работать бесконечно. По его мнению, прогресс в области модели машинного обучения, лежащей в основе GPT-4 и ее конкурентов, не может быть масштабирован.

«Существует множество способов сделать модели намного лучше и полезнее, и многие из них не требуют добавления параметров в модель», — считает специалист.

Фросс говорит, что принципиально новые конструкции или архитектуры моделей ИИ, а также дальнейшая их настройка на основе отзывов людей — это многообещающие направления, которые уже изучают многие исследователи.