Експерт не рекомендує використовувати штучний інтелект для пошуку помилок в коді

Сет Ларсон, розробник систем безпеки в Python Software Foundation, опублікував розлогий пост про негативні тенденції в процесах пошуку помилок в коді. Як пише The Register, поява публікації викликана тим, що Ларсон, за його словами, «нещодавно помітив у проектах з відкритим кодом сплеск звітів про безпеку надзвичайно низької якості».

Експерт пояснив, що зростання низькоякісних, спамних та «галюцинованих» звітів про безпеку пов’язано з використанням інструментів на базі штучного інтелекту. Хоча Ларсон визнає, що низькоякісний онлайн-контент існував задовго до чат-ботів, але зараз генеративні моделі штучного інтелекту все набагато спростили. 

Автоматична перевірка помилок в коді за допомогою інструментів ШІ не тільки демонструє низький результат, але й змушує розробників додатково витрачати свій час на ще одну, ручну перевірку. Це призводить до плутанини, стресу та розчарування. Щоб цього уникнути, Ларсон радить не використовувати автоматизоване створення звітів про безпеку та системи AI / LLM для виявлення вразливостей.

«Ці системи сьогодні не можуть зрозуміти код, пошук вразливостей безпеки потребує розуміння коду та розуміння таких концепцій людського рівня, як намір, загальне використання та контекст», — пише експерт.

Також Ларсон вважає недоцільним запрошувати волонтерів/добровольців для перевірки коду. Він категорично не радить надсилати куди-небудь звіти про помилки в коді, які не були переглянуті людиною.