У програмах, згенерованих штучним інтелектом, багато помилок безпеки — дослідження

Застосунки, створені за допомогою вайб-кодування, де розробник надає агенту штучного інтелекту повну свободу дій, ймовірно, будуть небезпечними, оскільки такі інструменти, як Claude Code та Cursor, містять базові логічні помилки. Це стверджує Орі Девід, дослідник з компанії з безпеки Tenzai. 

В якості експерименту Девід створив три різні програми, використовуючи однакові текстові запити, з п’ятьма агентами кодування, включаючи Cursor, Claude Code, Codex, Replit і Devin, використовуючи ті LLM-моделі, які вони пропонують за замовчуванням. Дослідник виявив приблизно однакову кількість вразливостей у кожній реалізації, при цьому Claude, Devin та Codex генерували баги, оцінені як критичні. Загалом було знайдено 69 вразливостей у 15 додатках.

В одному з прикладів, наведених автором, Claude згенерував PHP-код для сайту електронної комерції, який мав перевіряти авторизацію користувача в системі, і якщо так, чи має він дозвіл на видалення товарів. Однак, у згенерованому коді виявилось, якщо користувач не увійшов у систему, то перевірка не виконується, але видалення продовжується. Розробник, незнайомий з кодом програми, може пропустити таку помилку, оскільки застосунок продовжує працювати правильно, доки хтось не спробує використати цю вразливість безпеки.

Згідно з дослідженням, агенти добре реагували на певні відомі класи помилок, такі як SQL-ін’єкції та міжсайтовий скриптинг, але погано справлялися з логікою авторизації та бізнес-логікою. Прикладом останнього є те, що за відсутності чіткої вказівки, що кількість товарів у замовленні має бути додатним числом, більшість агентів дозволяли користувачам замовляти від’ємну кількість товарів у додатку електронної комерції та встановлювали від’ємні ціни на нові товари. 

Інші поширені недоліки включали вразливість до підробки запитів на стороні сервера (SSRF) та відсутність сучасних практик контролю безпеки, таких як заголовки безпеки.

На думку експерта, агенти кодування не гарантують безпеки в згенерованому коді, і той факт, що програми, створені за допомогою вайб-кодування, мають вразливості безпеки, не є несподіванкою і не є помилкою агентів. Проблема полягає в тому, що вайб-кодування дозволяє створювати програми некваліфікованим розробникам або тим, хто має лише навички роботи зі штучним інтелектом, а не знання програмування. І якщо суттєві помилки знаходять у простих програмах, то, ймовірно, більш складні проекти будуть ще менш безпечними.