LLM-моделі подвоюють свої можливості в програмуванні кожні 6 місяців

Некомерційна дослідницька організація METR, яка вивчає можливості штучного інтелекту, оприлюднила графік, складений на основі даних про можливості сучасних LLM-моделей в галузі програмування. Виявилось, що моделі мають «час подвоєння» виконувати довготривалі завдання з програмування кожні 6 місяців. 

Хоча за графіком METR «час подвоєння» формально становить приблизно 7 місяців, слід взяти до уваги, що останнім часом він міг прискоритися (до 3 місяців, якщо розглядати лише моделі після 2024 року). Тому для спрощення автор аналізу Боаз Барак бере часовий проміжок 6 місяців.

На графіку ось Y відображає час, який знадобиться людині-програмісту для виконання завдання, яке також може виконати LLM-модель. Якщо версія GPT-2, яку представили в 2019 році, не сильно відрізнялась від звичайного розробника за часом виконання завдань, то в останні місяці ця різниця приголомшує. На завдання, які модель виконує майже моментально, у професійного розробника піде більше двох годин.

Нагадаємо, що кілька тижнів тому компанія Palisade Research, яка займається дослідженнями в галузі безпеки штучного інтелекту, заявила про появу у LLM-моделей «інстинкту самозбереження». Вчені виявили, що деякі моделі штучного інтелекту не бажають відключати себе при наявності такої рекомендації, а деякі навіть саботують механізми відключення.