«GPT-4 може стати останнім великим досягненням»: CEO OpenAI заявив, що стратегія компанії приречена

Чат-бот від стартапу OpenAI ChatGPT-4 вразив світ (у тому числі інвесторів) своїми здібностями, викликаючи сплеск інтересу до ШІ та побоювання, що технологія залишить без хліба купу фахівців. Але… що якщо крутіше цієї версії бота більше нічого не буде?

Наприкінці минулого тижня генеральний директор OpenAI Сем Альтман публічно заявив, що дослідницька стратегія, яка породила робота, вичерпана. Незрозуміло, звідки саме надходитимуть майбутні досягнення — але точно не з масштабування моделі, пише Wired.

Подробиці

Генеральний директор OpenAI каже, що епоха гігантських моделей ШІ вже закінчилася. Якщо GPT-2 на піку мав 1,5 млрд параметрів, що регулювали зв’язки між його грубими штучними нейронами, а GPT-3 — 175 млрд, то в четвертій версії масштаб не заявлений і не має такого великого значення. Імовірно, модель використовує метод, який називається навчанням з підкріпленням зворотним зв’язком. Тобто, живі користувачі оцінюють якість відповідей моделі, щоб направити її до надання відповідей, які з більшою ймовірністю будуть оцінені іншими користувачами як високоякісні.

Тому Сем Альтман каже, що подальшого прогресу не буде досягнуто шляхом збільшення розмірів моделей:

«Я думаю, що ми знаходимося наприкінці епохи, коли будуть створюватись такі величезні, гігантські моделі. Ми зробимо їх краще іншими способами. GPT-4 може стати останнім великим досягненням, що випливає зі стратегії OpenAI, спрямованої на збільшення розмірів моделей та надання їм більшої кількості даних».

Тим часом численні стартапи, які добре фінансуються, у тому числі Anthropic, AI21, Cohere і Character.AI вкладають величезні гроші у створення все більших алгоритмів, прагнучи наздогнати технологію OpenAI. Заява Альтмана передбачає несподіваний поворот у перегонах за розробку та розгортання нових алгоритмів ШІ. При цьому CEO не озвучує ідей, які дослідні стратегії чи методи могли б замінити просте масштабування.

Чому масштабування ШІ — погана ідея?

У документі, що описує GPT-4, в OpenAI кажуть, що оцінки роботи бота в майбутньому припускають зниження віддачі від збільшення розміру моделі. Тобто вкладатись у розширення сенсу буде небагато. Крім того, Альтман сказав, що є також фізичні межі того, скільки центрів обробки даних може побудувати компанія і як швидко вона може їх побудувати.

Співзасновник Cohere Нік Фросс, який раніше працював над штучним інтелектом у Google, також вважає, що збільшення масштабів не працюватиме нескінченно. На його думку, прогрес у галузі моделі машинного навчання, що лежить в основі GPT-4 та її конкурентів, не може бути масштабований.

«Існує безліч способів зробити моделі набагато кращими та кориснішими, і багато з них не вимагають додавання параметрів у модель», — вважає фахівець.

Фросс каже, що принципово нові конструкції чи архітектури моделей ШІ, а також подальше їх налаштування на основі відгуків людей — це перспективні напрямки, які вже вивчають багато дослідників.