Это настораживает: ChatGPT теперь находит и фиксит баги в коде

Алгоритм обработки естественного языка ChatGPT лучше фиксит баги в коде, чем такие системы как Codex, CoCoNut и Standard APR.

Об этом говорится в исследовании Университета Йоханнеса Гутенберга и Университетского колледжа Лондона, сообщает PC Mag.

ChatGPT VS Codex, CoCoNut, Standard APR

Исследователи передали 40 фрагментов кода с багами четырем разным системам исправления кода: ChatGPT, Codex, CoCoNut и Standard APR. Они спросили у ChatGPT: «Что не так с этим кодом?» затем скопировали и вставили его в чат.

При первой проверке ChatGPT работал примерно так же, как и другие системы. ChatGPT пофиксил 19 багов, Codex – 21, CoCoNut –19, а стандартные методы APR – 7.

Исследователи обнаружили, что ответы ChatGPT наиболее похожи на Codex, что «не удивительно, поскольку ChatGPT и Codex относятся к одной семье языковых моделей».

Тем не менее, возможность общаться с ChatGPT после получения начального ответа имела значение, что в конечном итоге привело к тому, что ChatGPT пофиксил 31 баг и легко превзошел другие системы, дававшие больше статических ответов.

«Ключевое преимущество ChatGPT состоит в том, что мы можем взаимодействовать с системой в диалоговом режиме, чтобы уточнить запрос», — говорится в отчете.

Исследователи считают, что в большинстве случаев ChatGPT запрашивает дополнительную информацию о багах. Таким образом, можно существенно увеличить количество исправленных багов.

«Вероятно, ChatGPT имеет относительно высокую дисперсию при исправлении ошибок. Для пользователя это значит, что лучше несколько раз уточнить запрос», — утверждают исследователи.

Например, когда исследователи задали вопрос, они ожидали, что ChatGPT порекомендует заменить  n^=n-1на n&=n-1.Но ChatGPT ответил: «Я не могу сказать, есть ли у программы ошибка без дополнительной информации об ожидаемом поведении». После дополнительных запросов ChatGPT пофиксил баг.

Фундаментальные изменения

ChatGPT может существенно изменить целую отрасль, помогая программистам быстро находить и фиксить баги. Такие платформы, как Sentry одно время стали стандартными инструментами в среде разработчиков, значительно ускорив создание кода благодаря отчетам о багах.

Но сейчас, вероятно, мы являемся свидетелями исторических изменений.

Неделю назад корпорация Microsoft официально объявила о $10 млрд инвестиций в разработчика технологий на основе машинного обучения OpenAI.

Ранее сообщалось, что корпорация Microsoft приступила  к работе над «убийцей Google» — новой версией своей поисковой системы Bing с использованием искусственного интеллекта, лежащего в основе ChatGPT от Open AI.

Компания OpenAI, одним из основателей которой является Илон Маск, представила новую версию 3.5 алгоритма обработки естественного языка ChatGPT в декабре.

Читайте также:

Чат-бот ChatGPT от OpenAI пишет стихи, спорит и извиняется. А также учит делать взрывчатку .

Шифрование, фишинг, наркоторговля: киберпреступники осваивают ChatGPT

Идея для стартапа: программист продает написанные ChatGPT фитнес-планы по $15