ChatGPT вдвічі балакучіший, ніж Stack Overflow. Це може бути проблемою
Середня відповідь LLM-моделі на запит, пов’язаний з кодом, становить близько 2000 символів, що набагато більше порівняно з 836 символами для типової відповіді на Stack Overflow. Це стверджують результати дослідження Університету Квінз (Канада), співробітники якого вивчили реальні діалоги розробників з ChatGPT, які містили 368 506 фрагментів коду більш ніж 20 мовами програмування.
Крім зайвого спалювання токенів, якість коду, згенерованого чат-ботами, викликає додаткове занепокоєння. Серед виявлених проблем були невизначені змінні у 75% фрагментів коду JavaScript, недійсні імена у 83% фрагментів коду Python (з невизначеними змінними у 31%), відсутні заголовки у 41% коду C++, відсутні обов’язкові коментарі у 76% фрагментів Java та невирішені простори імен у 49% виводів C#. Ці синтаксичні помилки були не єдиною проблемою: поширеними були також проблеми з підтримкою та стилем.
«Я думаю, що це велика проблема, що в згенерованому коді багато недоліків», — сказала один з авторів дослідження Сучжен Чжун, дослідниця з Університету Королеви в Кінгстоні, Канада. Вона особливо стурбована ризиком розгортання дефектного коду у великомасштабному реальному проекті.
Усі ці проблеми не означають, що помічники штучного інтелекту непридатні для використання. Насправді, Чжун є прихильницею цих інструментів у власній роботі. «Я часто використовую LLM для генерації коду», — каже вона.
Її практична порада щодо того, як використовувати ефективність штучного інтелекту, одночасно виправляючи недоліки, проста: проведіть статичний аналіз генерованого коду та внесіть діагностичні дані назад у наступний запит. Дослідниця також каже, що частково проблема полягає в неконкретних запитах. «Розробники повинні дуже чітко розуміти свою інженерію запитів», — додає Чжун.
Google працює над новою функцією Gemini під назвою Import AI chats, яка зараз знаходиться на…
Команда Notepad++ оголосила, що її інфраструктуру оновлень було скомпрометовано китайським хакером у період між червнем…
Україна здатна допомогти Європейському Союзу зменшити частину його технологічних залежностей від США та Китаю. Про…
Компанія Anthropic інтегрувала в Cowork агентні плагіни, які дозволяють налаштовувати модель Claude під конкретні корпоративні…
Акції найбільших геймдев-компаній обвалились після того, як Google представила нову модель Genie 3 та генератор…
Опитування професійних розробників соцмережі Bluesky виявило, що більшість з них вважають інструменти штучного інтелекту логічним…