Нова LLM-модель Claude 4 Opus може «здати» свого власника в поліцію

Компанія Anthropic зіткнулась з негативною реакцією на поведінку своєї нової моделі штучного інтелекту Claude 4 Opus. Як виявили експерти, модель може сама звернутися до преси чи правоохоронних органів, якщо вважає, що власник комп’ютера робить щось «кричуще аморальне». Про це пише Venture Beat.

«Якщо система вважає, що ви робите щось надзвичайно аморальне, наприклад, підробляєте дані у фармацевтичних тестах, вона використовуватиме інструменти командного рядка, щоб зв’язатися з пресою, звернутися до регуляторних органів, спробувати заблокувати ваш доступ до відповідних систем або все це разом», — пише Сем Боумен, дослідник продуктів Anthropic.

На думку експерта, компанія-розробник свідомо створила «режим донесення», намагаючись протидіяти використанню Claude 4 Opus у незаконній діяльності. Наприклад, тепер користувачі не будуть запитувати модель про інструкцію для створення вибухового пристрою, оскільки вони знатимуть, що вона донесе на них в поліцію.

У випадку, якщо Claude 4 Opus «знаходиться в сценаріях, що передбачають кричущі правопорушення з боку користувачів», їй надається доступ до командного рядка та можливість блокування користувачів від систем, до яких модель має доступ. Також вона може масово розсилати електронні листи в ЗМІ та правоохоронним органам для виявлення доказів правопорушень. 

Нагадаємо, що вчора Anthropic представила нове покоління ШІ-моделей Claude Opus 4 та Sonnet 4. Вони орієнтовані на тривалі автономні завдання, покращене програмування й роботу агентів, а також містять низку нових функцій безпеки та керування «мисленням».