Microsoft: не надавайте штучному інтелекту доступ до своєї кредитної картки

Компанія Microsoft опублікувала результати випробувань Magentic Marketplace — симуляції торгового майданчика для дослідження можливостей агентів штучного інтелекту. Як виявилось, віртуальним помічникам поки зарано довіряти торгівлю за реальні гроші, пише The Register.

Дослідники Microsoft проводили контрольовані експерименти в різних сценаріях агентного ринку: наприклад, такі транзакції, як замовлення їжі або використання послуг з ремонту житла, де агенти видавали себе за клієнтів та підприємства. 

Кожен експеримент проводився з використанням 100 віртуальних клієнтів та 300 віртуальних підприємств, і включав як власні моделі (такі як GPT-4o та Gemini-2.5-Flash), так і моделі з відкритим кодом. Агенти створювали запити, обробляли результати та узгоджували транзакції.

Результати продемонстрували, що хоча агенти можуть допомогти в роботі, але їхні початкові «достатньо хороші» варіанти часто мають сумнівну ефективність. Штучний інтелект напрочуд легко піддавався на такі маніпуляції, як підроблені посвідчення про нагороди, фальшиві відгуки та приховані промпти. Дослідники також виявили, що деякі моделі демонструють упередженість, зокрема обирають компанію через позицію її сайту в результатах пошуку, а не на основі заслуг.

Однак, моделі відрізнялися між собою. Gemini-2.5-Flash виявилась загалом стійкою, тоді як інших можна було обдурити. 

Підсумовуючи тестування, в Microsoft зазначили: «Ці висновки підкреслюють критичну проблему безпеки для агентських торгових майданчиків». Було доведено, що агенти мають труднощі, коли їм надається забагато варіантів, і є вразливими до маніпуляцій.