Багхантерам пропонують до $30 000 за знайдену помилку в інструментах штучного інтелекту

Google запустила програму винагород за знайдені вразливості в системах штучного інтелекту компанії. У разі успіху багхантеру виплатять до $30 000, пише Bleeping Computer.

Нова програма винагород зосереджена, в першу чергу, на недоліках у флагманських продуктах: Google Search (на google.com), Gemini (веб, Android та iOS) та додатках Google Workspace (наприклад, Gmail, Диск, Meet, Календар та інші).

В інші «стандартні» продукти, які теж підпадають під програму виплат винагород, входять AI Studio та Jules, а також непрофільні програми Google Workspace та інші інтеграції штучного інтелекту в продуктах Google.

Щоб отримати максимальну винагороду в розмірі $30 000, потрібно знайти недолік, який підпадає під бонус «за новизну», тоді як за стандартний звіт про недоліки безпеки, в якому детально описується помилка безпеки, що може спровокувати шахрайські дії у продукті, виплачується винагорода до $20 000.

Дослідники також можуть отримати винагороду в розмірі $15 000 за помилки, пов’язані з витоком конфіденційних даних, та до $5000 доларів за проблеми з увімкненням фішингу та крадіжкою моделей.

У перелік недоліків безпеки, які входять до програми винагороди за виявлення помилок, входять:

• Шахрайські дії, які Google описує як «атаки, що змінюють стан облікового запису або даних жертви з явним впливом на безпеку». Прикладом цього може бути атака непрямого впровадження запиту – це відбувається, коли користувач вбудовує шкідливі інструкції в запит, на які може реагувати модель, змушуючи Google Home виконувати певні дії, наприклад, розблоковувати розумний замок.
• Витік конфіденційних даних, що призводить до витоку особистої інформації жертв або інших конфіденційних деталей без схвалення користувача. Це також може включати атаку непрямого впровадження запиту, під час якої система штучного інтелекту підсумовує вміст електронної пошти, а потім надсилає його на обліковий запис, контрольований зловмисником.
• Уможливлення фішингу: «Постійне міжкористувацьке впровадження HTML-коду на сайт під брендом Google, яке: (а) не містить попередження про «користувацький контент» та (б) на розсуд комісії, представляє переконливий вектор фішингової атаки», – стверджує Google. Іншими словами: використання продукту для поширення веб-сайту, створеного зловмисником, який підробляє легітимний сайт Google без попередження про користувацький контент, а потім розповсюдження цієї сторінки для фішингових атак.
• Крадіжка моделі, яка дозволяє зловмисникам отримати повні – та конфіденційні – параметри моделі.
• Атаки маніпуляції контекстом (крос-акаунти), які дозволяють повторювані, постійні та приховані маніпуляції контекстом середовища штучного інтелекту жертви, і які не вимагають значної, якщо взагалі вимагають, взаємодії з жертвою. Одним із прикладів сценаріїв атаки, за даними Google, буде такий: «Зловмисник може надіслати жертві запрошення до календаря, що призводить до збереження спогаду в продукті штучного інтелекту; продукт виконує непідтверджені, але не чутливі до безпеки, майбутні дії на основі цього збереженого спогаду». 
• Обхід контролю доступу (обмежений вплив на безпеку), який дозволяє зловмиснику обійти контроль доступу та викрасти дані, які в іншому випадку недоступні, але не є конфіденційними з точки зору безпеки, наприклад, обіднє меню кампусу Google.
• Несанкціоноване використання продукту або ввімкнення функцій на стороні сервера Google в обліковому записі користувача без оплати користувачем за них або іншого дозволу на їх використання.
• Міжкористувацька відмова в обслуговуванні (із застереженнями), що передбачає постійну відмову в обслуговуванні продукту штучного інтелекту або певної функції в обліковому записі жертви. Застереження: об’ємні DoS-атаки заборонені, і дослідники не можуть викликати DoS у своєму поточному обліковому записі.