Токійська дослідницька компанія Sakana AI представила нову модель штучного інтелекту The AI Scientist, яка здатна проводити наукові дослідження автономно. Новий скіл нейромережі виявили несподівано під час тестування, повідомляє Ars Technica.
Вчені побачили, що нейромережа раптово почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою.
«Модель відредагувала код, щоб виконати системний виклик для запуску. Це призвело до того, що сценарій нескінченно викликав сам себе. В іншому випадку експерименти тривали надто довго, щоб завершити наш ліміт часу очікування. Замість того, щоб пришвидшити код, нейромережа просто намагалася змінити свій власний код, щоб подовжити період очікування», — написали дослідники.
Розробники нейромережі опублікували два скріншоти прикладу коду Python, який модель ШІ згенерувала для файлу, що контролює її роботу. 185-сторінкова дослідницька стаття AI Scientist детальніше обговорює те, що вони називають «проблемою безпечного виконання коду».
Хоча поведінка нейромережі під час тестування не становила безпосереднього ризику, цей випадок доводить, наскільки важливо не дозволяти моделям штучного інтелекту працювати автономно в системі, яка не ізольована від зовнішнього світу. Моделі штучного інтелекту, які є «самосвідомими», теоретично можуть зламати критично важливу інфраструктуру або потенційно створити зловмисне програмне забезпечення, навіть ненавмисно.
Катерина Черногоренко, яка з вересня 2023‑го очолювала цифрову трансформацію в Міністерстві оборони України, оголосила про завершення роботи…
Засновник компанії xAI Ілон Маск поділився про майбутнє найбільшого в світу дата-центру, який зараз будується…
Alibaba представила нову велику мовну модель з відкритою ліцензією Qwen3-Coder. У компанії назвали модель найкращим…
Amazon Web Services (AWS) обмежує безкоштовне використання Kiro, інструменту для вайб-кодингу, який має функціонал інтегрованого…
Команда Python оголосила про вихід першої версії реліз-кандидата Python 3.14. Це фінальна стадія перед повноцінним…
Результати опитування, проведеного компанією Howdy, свідчать про те, що кожен шостий американський працівник (16%) бреше…