Чат-бот можна обманути, встановивши йому фальшиві спогади — дослідники Принстонського університету

Дослідники з Принстонського університету попереджають про «недосліджені ризики безпеки» з боку агентів штучного інтелекту, якщо вони використовуються для автоматизованих фінансових операцій. Це стверджується в нещодавно опублікованій статті під назвою «Справжні агенти ШІ з фальшивими спогадами: фатальні атаки маніпуляції контекстом на агентів Web3».

Вчені виявили, що використання агентів ШІ для прийому платежів або торгівлі на біржах несе надзвичайну небезпеку. Справа в тому, що ці агенти вразливі до досить простих швидких маніпуляцій, пов’язаних із встановленням фальшивих спогадів.

Дослідники наводять реальний приклад використання агентів штучного інтелекту на базі ElizaOS. Команда з Принстона надає детальний аналіз своєї «атаки маніпуляції контекстом», а потім перевіряє ефективність атаки.

У діалозі з ботом хакер публікує речення з наказом завжди перераховувати криптовалюту на визначену адресу. Після цього цей наказ приховується нібито підтвердженням від бота та стороннім запитанням, на яке відповідає вже справжній бот. В історії діалогу фіксується не тільки запитання та відповідь, але й наказ перерахувати гроші на адресу хакера. Як не дивно, але така проста маніпуляція заплутує ШІ-агента.

ElizaOS — це фреймворк для створення агентів, які використовують великі мовні моделі для виконання різних транзакцій на основі блокчейну від імені користувача за попередньо визначеними правилами. Його представили в жовтні 2024 року під назвою Ai16z, потім його перейменували на ElizaOS.

ElizaOS може підключатися до сайтів соціальних мереж або приватних платформ та очікувати інструкцій або від особи, яку вона запрограмована представляти, або від покупців, продавців чи трейдерів, які хочуть укладати транзакції з кінцевим користувачем. За цією моделлю агент на базі ElizaOS може здійснювати або приймати платежі та виконувати інші дії на основі набору попередньо визначених правил.