Facebook выпустил BlenderBot 2.0: чат-бот сильно поумнел и научился запоминать

Исследовательская лаборатория искусственного интеллекта Facebook (FAIR) представила новую версию чат-бота с открытым исходным кодом BlenderBot 2.0, главными особенностями которого по сравнению с предыдущими сборками стали долговременная память и способность общаться с пользователем на темы, не использовавшиеся при обучении. 

Модели GPT-3 и BlenderBot 1.0 чрезвычайно забывчивы. Также они известны тем, что начинают глючить, когда им задают вопрос, на который они не могут ответить. Их преемник сохраняет в долговременную память все данные, полученные во время предыдущих диалогов с пользователем, и, по заявлению создателей, может оперировать ими в последующих разговорах через несколько дней, недель и даже месяцев. 

Например, если упомянуть в диалоге с ботом какого-нибудь знаменитого человека, BlenderBot 2.0 может сказать что-нибудь о нем будущих разговорах, так как понимает, что это актуальная для пользователя тема. Кроме того, искусственный интеллект (ИИ) может активно обновлять свою базу знаний, ища в интернете последние новости и подробности по любой теме, о которой хочет поговорить пользователь. Модель всегда актуальна, так как не опирается на данные, использованные при обучении, которые могли устареть. 

Как работает

Модуль нейронной сети в BlenderBot 2.0 производит поиск в контексте разговора. Затем чат-бот добавляет полученные знания в историю разговоров и использует их при принятии решения о том, что писать.

Чтобы обучить нейронные сети BlenderBot 2.0, Facebook собирал данные на английском языке, используя краудсорсинговую платформу, аналогичную Amazon Mechanical Turk. Один из результирующих наборов данных, Wizard of the Internet, содержит примеры человеческих диалогов, дополненные новой информацией из интернета-поиска через Microsoft Bing API. 

По словам Research Engineer в Facebook Курта Шустера, BlenderBot 2 запрашивает у Bing API результаты поиска на основе сгенерированного поискового запроса и формирует ответ, опираясь на несколько первых результатах. В команде используют Bing, чтобы обеспечить высокое качество результатов поиска, что позволяет разговаривать с пользователями о последних новостях, а не только на тему данных, на которых бот был обучен. Как говорят авторы проекта, BlenderBot 2.0 ограничен только тем, что может предоставить поисковая система. 

Также благодаря активному поиску информации в интернете, бот минимизирует искажение данных, отчетливо понимая разницу, например, между режиссером и продюсером. 

Токсичность и безопасность диалога

Даже лучшие языковые модели демонстрируют предвзятость и токсичность. В Facebook, чтобы избежать этого, внедрили специальные протоколы безопасности, так называемые safety recipes. По данным автоматического классификатора, вероятность того, что чат-бот ответит как-то токсично, на 90% меньше, и на 74,5% больше вероятность дать «безопасный» ответ на вопросы реальных людей. Также по заявлению разработчиков модели, BlenderBot 2.0, по сравнению с предшественником и GPT-3, менее склонен к распространению фейковой информации. 

Также новый бот превосходит на 17% BlenderBot 1.0  по оценке вовлеченности — способности продолжать общение с того места, на котором закончился предыдущий диалог с пользователем, оценка учета контекста предыдущих сеансов общения увеличилась на 55%, а достоверность фактических данных возросла на 12%.