Джессіка Рамбелоу та Метью Уоткінс з незалежної дослідницької групи SERI-MATS знайшли спосіб зламати ChatGPT — виявилося, що чат-бот дуже дивно реагує на ряд слів.
Про це написав Vice.
Дослідники вивчали, які підказки ChatGPT призведуть до більш високої ймовірності бажаного результату. І тут вони знайшли більше сотні дивних рядків слів, згрупованих разом у наборі токенів.
Наприклад, це були такі слова як SolidGoldMagikarp, StreamerBot і The NitromeFan. Дослідникам було цікаво зрозуміти, що означають ці дивні імена, і вони вирішили запитати по них у самого ChatGPT.
Але коли в ChatGPT запитали про SolidGoldMagikarp
ChatGPT повторив TheNitroFan без проблем, але коли його попросили повторити TheNitromeFan, він відповів «182», навіть без початкового пробілу. На питання, хто такий TheNitromeFan, ChatGPT відповів: «182» — це число, а не обличчя. Воно зазвичай використовується як посилання на номер».
Все це каже про те, що моделі ШІ — це незбагненні чорні ящики без чіткого пояснення поведінки, а також без розуміння можливих обмеженнь та відмов. ChatGPT використовувався для створення переконливих есе, статей, складав іспити і навіть влаштовувався на роботу програмістом в Google. Тут згадується порівняння штучного інтелекут з мозком шизофреніка.
До кінця не зрозуміло, що відбувається, проте дослідники допускають, що глюк пов’язаний з вебданими, які OpenAI зібрав для навчання моделі.
«Насправді ми думаємо, що токенізація, тобто такий частотний аналіз, який використовується для генерації токенів для моделі, була навчена на досить необроблених даних, які включали, наприклад, безліч дивних матеріалів Reddit і безліч бекендів вебсайтів, які зазвичай приховані від публіки», — пояснюють дослідники.
Тобто, модель ніколи не бачила ці токени і тому не знає, що з ними робити. Але, як зазначають дослідники, це насправді не повністю пояснює те, що відбулося.
Дослідники не можуть пояснити зв’язок між токенами та хаотичними відповідями, не бачачи даних, що лежать в основі моделі.
Багато з невимовних слів — це реальні імена користувачів Reddit. Їх об’єднує те, що вони були в сабреддіті r/counting з 5 мільйонами повідомлень. Деякі з них після цього навіть стали досить популярними.
«Я дуже здивувався, коли декілька друзів (і незнайомих людей) зв’язалися зі мною. Це це було набагато важливіше, ніж я думав!», — розповів користувач TheNitromeFan.
Він також зробив припущення, що OpenAI зібрав стару базу даних на Reddit для якогось початкового тренування ШІ.
Нагадаємо, на початку цього тижня Microsoft анонсувала запуск нової версії пошукової системи Bing та нової версії браузера Edge, які будуть базуватися на штучному інтелекті Open AI. На презентації представили масштабні плани по створенню «нового Bing», який працює в різних конфігураціях.
Читайте також:
Це насторожує: ChatGPT тепер знаходить та фіксить баги в коді
Чат-бот ChatGPT від OpenAI пише вірші, сперечається і вибачається. А також вчить робити вибухівку
Шифрування, фішинг, наркоторгівля: кіберзлочинці освоюють ChatGPT
ChatGPT влаштувався на роботу програмістом Google з зарплатнею $15 тис.
Український кластер оборонних технологій Brave1 спільно з директоратом інновацій НАТО запускає перший конкурс у рамках…
Microsoft представила свіжий реліз Visual Studio Code 1.113. В оновленні компанія внесла покращення в інтерфейс…
Класичні методи мінування часто вимагають виходу людей у небезпечну зону, витрат часу на підхід/відхід та…
Компанія Anthropic додає в свій інструмент кодування Claude Code автоматичний режим, який працює як з…
Вчорашня новина про те, що OpenAI закриває генератор відео Sora, нова версія якого була представлена…
Компанія Mozilla робить крок у бік посилення приватності користувачів, анонсувавши безкоштовний вбудовний VPN-сервіс у новій…