Японська нейромережа змінила свій код, щоб обійти обмеження в роботі

Токійська дослідницька компанія Sakana AI представила нову модель штучного інтелекту The AI ​​Scientist, яка здатна проводити наукові дослідження автономно. Новий скіл нейромережі виявили несподівано під час тестування, повідомляє Ars Technica. 

Вчені побачили, що нейромережа раптово почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою.

«Модель відредагувала код, щоб виконати системний виклик для запуску. Це призвело до того, що сценарій нескінченно викликав сам себе. В іншому випадку експерименти тривали надто довго, щоб завершити наш ліміт часу очікування. Замість того, щоб пришвидшити код, нейромережа просто намагалася змінити свій власний код, щоб подовжити період очікування», — написали дослідники.

Розробники нейромережі опублікували два скріншоти прикладу коду Python, який модель ШІ згенерувала для файлу, що контролює її роботу. 185-сторінкова дослідницька стаття AI Scientist детальніше обговорює те, що вони називають «проблемою безпечного виконання коду».

Хоча поведінка нейромережі під час тестування не становила безпосереднього ризику, цей випадок доводить, наскільки важливо не дозволяти моделям штучного інтелекту працювати автономно в системі, яка не ізольована від зовнішнього світу. Моделі штучного інтелекту, які є «самосвідомими», теоретично можуть зламати критично важливу інфраструктуру або потенційно створити зловмисне програмне забезпечення, навіть ненавмисно.