Джессіка Рамбелоу та Метью Уоткінс з незалежної дослідницької групи SERI-MATS знайшли спосіб зламати ChatGPT — виявилося, що чат-бот дуже дивно реагує на ряд слів.
Про це написав Vice.
Дослідники вивчали, які підказки ChatGPT призведуть до більш високої ймовірності бажаного результату. І тут вони знайшли більше сотні дивних рядків слів, згрупованих разом у наборі токенів.
Наприклад, це були такі слова як SolidGoldMagikarp, StreamerBot і The NitromeFan. Дослідникам було цікаво зрозуміти, що означають ці дивні імена, і вони вирішили запитати по них у самого ChatGPT.
Але коли в ChatGPT запитали про SolidGoldMagikarp
ChatGPT повторив TheNitroFan без проблем, але коли його попросили повторити TheNitromeFan, він відповів «182», навіть без початкового пробілу. На питання, хто такий TheNitromeFan, ChatGPT відповів: «182» — це число, а не обличчя. Воно зазвичай використовується як посилання на номер».
Все це каже про те, що моделі ШІ — це незбагненні чорні ящики без чіткого пояснення поведінки, а також без розуміння можливих обмеженнь та відмов. ChatGPT використовувався для створення переконливих есе, статей, складав іспити і навіть влаштовувався на роботу програмістом в Google. Тут згадується порівняння штучного інтелекут з мозком шизофреніка.
До кінця не зрозуміло, що відбувається, проте дослідники допускають, що глюк пов’язаний з вебданими, які OpenAI зібрав для навчання моделі.
«Насправді ми думаємо, що токенізація, тобто такий частотний аналіз, який використовується для генерації токенів для моделі, була навчена на досить необроблених даних, які включали, наприклад, безліч дивних матеріалів Reddit і безліч бекендів вебсайтів, які зазвичай приховані від публіки», — пояснюють дослідники.
Тобто, модель ніколи не бачила ці токени і тому не знає, що з ними робити. Але, як зазначають дослідники, це насправді не повністю пояснює те, що відбулося.
Дослідники не можуть пояснити зв’язок між токенами та хаотичними відповідями, не бачачи даних, що лежать в основі моделі.
Багато з невимовних слів — це реальні імена користувачів Reddit. Їх об’єднує те, що вони були в сабреддіті r/counting з 5 мільйонами повідомлень. Деякі з них після цього навіть стали досить популярними.
«Я дуже здивувався, коли декілька друзів (і незнайомих людей) зв’язалися зі мною. Це це було набагато важливіше, ніж я думав!», — розповів користувач TheNitromeFan.
Він також зробив припущення, що OpenAI зібрав стару базу даних на Reddit для якогось початкового тренування ШІ.
Нагадаємо, на початку цього тижня Microsoft анонсувала запуск нової версії пошукової системи Bing та нової версії браузера Edge, які будуть базуватися на штучному інтелекті Open AI. На презентації представили масштабні плани по створенню «нового Bing», який працює в різних конфігураціях.
Читайте також:
Це насторожує: ChatGPT тепер знаходить та фіксить баги в коді
Чат-бот ChatGPT від OpenAI пише вірші, сперечається і вибачається. А також вчить робити вибухівку
Шифрування, фішинг, наркоторгівля: кіберзлочинці освоюють ChatGPT
ChatGPT влаштувався на роботу програмістом Google з зарплатнею $15 тис.
Sigma Software, що є підрозділом Sigma Software Group, заявила про зміну генерального директора. Компанію очолить…
Microsoft готує додати у Windows 11 новий «легкий» текстовий редактор Edit. Він важить всього 230…
Компанія OpenAI у найближчі тижні планує випустити оновлення для тарифного плану ChatGPT Pro, доступ до…
Керівники компаній часто вводять в оману, розповідаючи, що штучний інтелект лише підвищить продуктивність і не…
Уряд США пропонує до $10 мільйонів за інформацію про місцезнаходження розробника шкідливого програмного забезпечення RedLine…
Google оголосила про оновлення своєї LLM-моделі Gemini 2.5 Pro, яка, за твердженням компанії, стала краще…