Новая нейросеть от создателей TikTok создает стилизованные портреты пользователей. Вот как это работает

Исследователи из технологического университета Наньяна и Bytedance (владеет сервисом TikTok) представили новый инструмент, который, с помощью инверсионного обучения, позволяет создавать стилизованные портреты. 

Как работает

Основанные на моделях StyleGAN методы сосредоточены на поиске наилучшего отображения скрытой инверсии для восстановлении входных изображений, однако команда AgileGAN пришла к выводу, что это не приводит к правильной генерации разных портретных стилей. 

В AgileGAN представлен новый иерархический вариационный автокодер, который гарантирует, что обратное преобразованное распределение соответствует исходному скрытому распределению Гаусса. При этом увеличивается исходное пространство до скрытого пространства с несколькими разрешениями, чтобы лучше кодировать различные уровни детализации. Чтобы лучше уловить атрибутивно-зависящую стилизацию черт лица, в AgileGAN стоит специальный генератор. Чтобы избежать переобучения небольших наборов обучающих данных используется стратегия ранней остановки. 

Подход обеспечивает большую гибкость в создании моделей стилизации портретов высокого качества и с высоким разрешением (1024 x 1024), что требует ограниченного количества образцов стиля (~100) и небольшого времени обучения (~ 1 час).  

Как пользоваться

Чтобы создать портрет, нужно загрузить фотографию, желательно с нейтральным выражением лица, на сайте инструмента. Примеры обработанных фото представлены ниже: