ИИ помог написать любовную историю

Инженер машинного обучения из OpenAI Памела Мишкин написала вариативное эссе с возможностью выбора сюжетных линий и концовки о своем романе в Tinder с помощью алгоритма GPT-3 (generative pre-trained transformer). Это самая продвинутая языковая модель в мире, которая может сочинять текст на основании 175 миллиардов параметров. Чтобы их составить, GPT-3 обучается на сотнях миллиардов предложений и историй из интернета и книг.

Модель предсказывает, какая последовательность слов должна следовать за словами-подсказками, представленными пользователем. Например, написав «Hello my name» модель с большей степенью вероятности предложит следующим словом «is». В своем эссе автор таким образом сгенерировала историю о знакомстве в Tinder с парнем по имени Омар. Система проанализировала подсказки Памелы и предоставила возможные варианты развития сюжета.

Памела не уверена, улавливает ли GPT-3 стиль пользователя или, наоборот, человек перенимает стиль модели, но отмечает, что работа с алгоритмом повлияла на стиль ее письма. Также она говорит, что работа с GPT-3 похожа на работу с редактором, но модель менее сострадательна и терпелива. Поэтому если ей не понравится концовка истории, написанной GPT-3, она напишет свою.

Языковая модель может обрабатывать ограниченное количество слов в режиме «подсказка + генерация». Это может закончить заданную пользователем историю на середине предложения или мысли. В некотором смысле все, что генерирует GPT-3, является клише, потому что все это укоренено во всем, что было написано ранее.

По словам Памелы, один из аргументов против использования интеллектуальной модели состоит в том, что она имеет тенденцию переобучаться или теряться в бесконечных циклах повторяющегося языка. Это происходит, когда модель запоминает свои обучающие данные и предполагает, что все остальное должно выглядеть также.

Доступ к GPT-3 осуществляется через API со строгими правилами использования, поэтому с ней смогли поработать не так много разработчиков. За время существования модели ее протестировали в самых разных сценариях: от генерации обычного текста — историй, песен, пресс-релизов и технической документации — до создания кода и музыкальных аранжировок.