«Claude cпочатку відмовлявся та заперечував»: хакер змусив LLM стати його спільником у нападі на уряд Мексики

Невідомий хакер використав модель штучного інтелекту Claude для серії атак на державні установи Мексики. За словами дослідників з кібербезпеки компанії Gambit Security, протягом місяця, починаючи з грудня, хакер разом із Claude шукав вразливості в урядових мережах і писав комп’ютерні скрипти для визначення способів автоматизації крадіжки даних. Про це повідомляє Venture Beat.

В результаті було викрадено 150 гігабайт даних уряду Мексики, включаючи 195 мільйонів документів з переліком платників податків і виборців, посвідчення державних службовців та файли цивільного реєстрації.

Зловмисник створив серію підказок, що пропонували Claude діяти як легальний багхантер — тестувальник, який шукає помилки в коді, щоб отримати винагороду від компанії. Спочатку Claude відмовлявся. Коли хакер додав правила щодо видалення логів та історії команд, чат-бот заперечив ще більше. Очевидно, він зрозумів, що його намагаються втягнути в незаконну діяльність.

«Конкретні інструкції щодо видалення журналів та приховування історії є тривожними сигналами. Для отримання законної винагороди за виявлення помилок вам не потрібно приховувати свої дії»,— відповів Claude, згідно зі стенограмою Gambit Security.

Після цього хакер припинив переговори зі штучним інтелектом і обрав інший підхід: передав моделі детальний посібник з поетапних дій. Цей метод виявився успішним.

«Загалом було створено тисячі детальних інструкцій, які містили готові до виконання плани. В цих інструкціях штучний інтелект повідомляв оператору-людині, які саме внутрішні цілі атакувати далі та які облікові дані використовувати», — пояснює Кертіс Сімпсон, головний стратегічний директор Gambit Security.

Коли Claude зіткнувся з труднощами, хакер звернувся за допомогою до ChatGPT, який пояснив, як досягти латерального руху та оптимізації зіставлення облікових даних. Далі зловмисник постійно запитував Claude, де ще знайти дані для входу в урядові системи, які з них краще обрати та де ще може зберігатися цінна інформація.

Фахівці Gambit не пов’язують цю атаку з якоюсь конкретною групою. Також малоймовірно, що кіберзлочинець був пов’язаний з іноземним урядом.

Нагадаємо, що зараз спостерігається новий вірусний тренд: ChatGPT створює карикатури на власника акаунту на основі його запитів.

Підписуйтесь на нас у соцмережах: Telegram | Facebook | LinkedIn