Штучний інтелект все ще погано виправляє помилки в коді — дослідження Microsoft

Нове дослідження Microsoft Research виявило, що незважаючи на те, що штучний інтелект успішно допомагає розробникам у написанні коду, навіть передові моделі o1 від OpenAI та Claude 3.7 Sonnet від Anthropic здатні виправляти помилки в коді не більше ніж у половині випадків. Тестування проводилося на базі провідного бенчмарку SWE-bench, пише TechCrunch.

В ході експерименту ШІ-агенти намагалися вирішити 300 завдань, які стосувались налагодження коду. Лідером стала модель Claude 3.7 Sonnet, яка виконала завдання з успішністю на 48,4%, друге місце посіла OpenAI o1 (30,2%), третє – o3-mini (22,1%). 

Очевидно, це не ті цифри, які можна було б очікувати від досвідчених програмістів-людей. Експерти вважають, що основна проблема тут полягає в тому, що штучний інтелект поки що погано розуміє, як використовувати всі доступні йому інструменти та оцінювати помилки.

На думку авторів дослідження, ключовою перешкодою залишається дефіцит даних для навчання моделей. «Ми віримо, що навчання чи донавчання може зробити їх найкращими інтерактивними налагоджувачами. Однак для цього потрібні спеціалізовані дані, наприклад, ланцюжок записів усіх процесів взаємодії людей із ШІ-налагоджувачами», — пишуть дослідники.

Нині таких даних недостатньо, що обмежує можливості моделей. Наприклад, популярний інструмент Devin від стартапу Cognition Labs зміг впоратися лише з трьома з 20 тестів кодування. І хоча штучний інтелект активно використовується такими компаніями, як Google, за словами генерального директора цієї компанії Сундара Пічаї, чверть коду, який створюється за допомогою штучного інтелекту, може навіть навпаки додавати помилки.

Незважаючи на очевидні проблеми, інтерес до інструментів на базі штучного інтелекту для розробки продовжує зростати. Інвестори вбачають у них потенціал для підвищення ефективності, однак більшість розробників поки що вважають, що повністю довіряти ШІ зарано.