Згенерований код містить більше помилок, ніж код, написаний людиною — дослідження

Генерація коду за допомогою штучного інтелекту збільшує кількість проблем та їхню важливість. В аналізі 470 пул-реквестів, який провели фахівці платформи CodeRabbit, виявилось, що код, створений штучним інтелектом, містить значно більше дефектів логіки, зручності обслуговування, безпеки та продуктивності, ніж код, створений людьми. Про це пише The Register.

У середньому, кожен pull request, згенерований штучним інтелектом, містить близько 10,83 проблем кожен, порівняно з 6,45 проблемами у запиті, який створено людиною. Оскільки це приблизно в 1,7 раза більше, використання згенерованого коду означає довші перевірки та підвищений ризик дефектів.

Pull request, створений штучним інтелектом, містить у середньому в 1,4 раза більше критичних проблем та в 1,7 раза більше серйозних проблем, ніж PR, написаний людиною.

У звіті CodeRabbit також виявлено, що код, згенерований ШІ, відстає від коду, створеного людиною, за всіма основними категоріями проблем. Боти створювали більше логічних помилок та помилок коректності (1,75x), більше помилок якості та підтримки коду (1,64x), більше недоліків безпеки (1,57x) та більше проблем із продуктивністю (1,42x).

Крім того, згенерований код мав у 1,88 раза більшу ймовірність неправильної обробки паролів, у 1,91 раза більшу ймовірність створення небезпечних посилань на об’єкти, у 2,74 раза більшу ймовірність додавання XSS-вразливостей та в 1,82 раза більшу ймовірність реалізації небезпечної десеріалізації, ніж розробники-люди.

Майже єдиною сферою, де штучний інтелект перевершив людей-програмістів, була орфографія — орфографічні помилки траплялися в 1,76 раза частіше в людських PR-запитах, ніж у тих, що були згенеровані машиною. Крім того, код, написаний людьми, мав у 1,32 раза більше проблем з тестуванням, ніж код, створений ШІ.

Нагадаємо, що вчора компанія OpenAI обмежила безкоштовну генерацію коду в ChatGPT у режимі Thinking.