Рубріки: Новини

Японська нейромережа змінила свій код, щоб обійти обмеження в роботі

Дмитро Сімагін

Токійська дослідницька компанія Sakana AI представила нову модель штучного інтелекту The AI ​​Scientist, яка здатна проводити наукові дослідження автономно. Новий скіл нейромережі виявили несподівано під час тестування, повідомляє Ars Technica. 

Вчені побачили, що нейромережа раптово почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою.

«Модель відредагувала код, щоб виконати системний виклик для запуску. Це призвело до того, що сценарій нескінченно викликав сам себе. В іншому випадку експерименти тривали надто довго, щоб завершити наш ліміт часу очікування. Замість того, щоб пришвидшити код, нейромережа просто намагалася змінити свій власний код, щоб подовжити період очікування», — написали дослідники.

Розробники нейромережі опублікували два скріншоти прикладу коду Python, який модель ШІ згенерувала для файлу, що контролює її роботу. 185-сторінкова дослідницька стаття AI Scientist детальніше обговорює те, що вони називають «проблемою безпечного виконання коду».

Хоча поведінка нейромережі під час тестування не становила безпосереднього ризику, цей випадок доводить, наскільки важливо не дозволяти моделям штучного інтелекту працювати автономно в системі, яка не ізольована від зовнішнього світу. Моделі штучного інтелекту, які є «самосвідомими», теоретично можуть зламати критично важливу інфраструктуру або потенційно створити зловмисне програмне забезпечення, навіть ненавмисно.

Останні статті

Відповідала за Резерв+ та Армія+. Заступниця міністра оборони Катерина Черногоренко подала у відставку

Катерина Черногоренко, яка з вересня 2023‑го очолювала цифрову трансформацію в Міністерстві оборони України, оголосила про завершення роботи…

23.07.2025

Ілон Маск: перший гігаватний суперкомп’ютер Colossus 2 запустять в найближчі тижні

Засновник компанії xAI Ілон Маск поділився про майбутнє найбільшого в світу дата-центру, який зараз будується…

23.07.2025

Alibaba випустила «найпотужнішу» LLM-модель для програмування — Qwen3-Coder

Alibaba представила нову велику мовну модель з відкритою ліцензією Qwen3-Coder. У компанії назвали модель найкращим…

23.07.2025

Amazon вводить обмеження на безкоштовне використання Kiro

Amazon Web Services (AWS) обмежує безкоштовне використання Kiro,  інструменту для вайб-кодингу, який має функціонал інтегрованого…

23.07.2025

Вийшов Python 3.14 RC1: реліз-кандидат з прискореним інтерпретатором

Команда Python оголосила про вихід першої версії реліз-кандидата Python 3.14. Це фінальна стадія перед повноцінним…

23.07.2025

16% працівників у США брешуть про використання штучного інтелекту, щоб догодити начальству

Результати опитування, проведеного компанією Howdy, свідчать про те, що кожен шостий американський працівник (16%) бреше…

23.07.2025