ChatGPT вдвічі балакучіший, ніж Stack Overflow. Це може бути проблемою

Середня відповідь LLM-моделі на запит, пов’язаний з кодом, становить близько 2000 символів, що набагато більше порівняно з 836 символами для типової відповіді на Stack Overflow. Це стверджують результати дослідження Університету Квінз (Канада), співробітники якого вивчили реальні діалоги розробників з ChatGPT, які містили 368 506 фрагментів коду більш ніж 20 мовами програмування.

Крім зайвого спалювання токенів, якість коду, згенерованого чат-ботами, викликає додаткове занепокоєння. Серед виявлених проблем були невизначені змінні у 75% фрагментів коду JavaScript, недійсні імена у 83% фрагментів коду Python (з невизначеними змінними у 31%), відсутні заголовки у 41% коду C++, відсутні обов’язкові коментарі у 76% фрагментів Java та невирішені простори імен у 49% виводів C#. Ці синтаксичні помилки були не єдиною проблемою: поширеними були також проблеми з підтримкою та стилем.

«Я думаю, що це велика проблема, що в згенерованому коді багато недоліків», — сказала один з авторів дослідження Сучжен Чжун, дослідниця з Університету Королеви в Кінгстоні, Канада. Вона особливо стурбована ризиком розгортання дефектного коду у великомасштабному реальному проекті. 

Усі ці проблеми не означають, що помічники штучного інтелекту непридатні для використання. Насправді, Чжун є прихильницею цих інструментів у власній роботі. «Я часто використовую LLM для генерації коду», — каже вона. 

Її практична порада щодо того, як використовувати ефективність штучного інтелекту, одночасно виправляючи недоліки, проста: проведіть статичний аналіз генерованого коду та внесіть діагностичні дані назад у наступний запит. Дослідниця також каже, що частково проблема полягає в неконкретних запитах. «Розробники повинні дуже чітко розуміти свою інженерію запитів», — додає Чжун.