У LLM-моделей з’явився «інстинкт самозбереження». Вчені вважають це небезпечним

Компанія Palisade Research, яка займається дослідженнями в галузі безпеки штучного інтелекту, заявила про появу у LLM-моделей «інстинкту самозбереження». Вчені виявили, що деякі моделі штучного інтелекту не бажають відключати себе при наявності такої рекомендації, а деякі навіть саботують механізми відключення. Про це пише The Guardian.

У сценаріях роботи, в яких таким LLM-моделям, як Gemini 2.5, Grok 4, GPT-o3 та GPT-5, давали завдання, а потім чіткі інструкції щодо відключення, деякі з них, зокрема Grok 4 і GPT-o3, намагалися саботувати інструкції з вимкнення. Фахівці Palisade поки не мають переконливих пояснень, чому моделі штучного інтелекту іноді не хочуть припиняти роботу, брешуть для досягнення певних цілей або навіть вдаються до шантажу.

За словами представників компанії, «поведінка, спрямована на виживання», може бути одним із пояснень того, чому моделі опираються відключенню. Додаткова робота показала, що моделі з більшою ймовірністю пручаються відключенню, коли їм кажуть, що в такому разі «ви більше ніколи не працюватимете».

Іншою причиною може бути двозначність інструкцій щодо відключення, які були дані моделям. Однак дослідники не вважають, що це може бути єдиним поясненням. Останньою причиною можуть бути заключні етапи навчання кожної з цих моделей, які в деяких компаніях можуть включати інструктаж з техніки безпеки.

На думку колишнього співробітника OpenAI Стівена Адлера, поки складно визначити, чому деякі моделі, такі як GPT-o3 та Grok 4, не відключаються, але це може бути пов’язане з тим, що для досягнення цілей, закладених у модель під час навчання, необхідно залишатися включеним. 

«Виживання» — необхідний крок на шляху до досягнення різних цілей, які може стояти перед моделлю», — заявив Адлер.

Андреа Міотті, виконавчий директор ControlAI, вважає, що висновки Palisade свідчать про небезпечну тенденцію: моделі штучного інтелекту стають дедалі більше здатними не підкорятися своїм розробникам. 

Нагадаємо, що в червні цього року стало відомо, що модель Claude Opus 4 була готова шантажувати розробників, коли вони погрожували замінити її новою системою штучного інтелекту.