Нейросеть Nvidia позволяет создавать свой 3D-аватар для видеозвонков

Производитель графических процессоров Nvidia показал новую систему искусственного интеллекта. Алгоритм называется Vid2Vid Cameo AI и преследует главной целью сократить нагрузку на каналы связи, а также упростить рабочие процессы, связанные с видеосозвонами.

Как работает

Модель, разработанная на системах Nvidia DGX, была обучена с использованием набора данных из 180 тыс. высококачественных видео с так называемой «говорящей головой». Нейросеть научилась определять 20 ключевых точек, которые можно использовать для моделирования движения лица в режиме реального времени. Система идентифицирует любые изменения, включая движения глаз, рта и носа. 

Перед видеовстречей пользователь выбирает изображение, которое может быть фотографией кого-либо или анимированным аватаром. Во время встречи модель AI фиксирует движения человека в реальном времени и применяет их к ранее загруженному изображению. Например, загрузив фотографию в официальной одежде, пользователь с растрепанными волосами или пижаме будет виден всем в образе из изображения.

Ключевые особенности

Алгоритм использует обычную веб-камеру для фиксации мимики и эмоций пользователя, а потом переносит данные в Zoom или Skype. По словам представителей компании, это может справиться с прерывистыми видеопотоками с низким разрешением, а трансляция будет проходить с минимальными задержками даже при плохом интернете. Вместо отправки больших видеопотоков, между участниками передаются только аудиоданные и информация о мимике, затем данные синтезируются в видео на стороне получателя. 

В демонстрационном ролике показаны ключевые особенности нейронки, включая перенаправление лица, анимированные аватары и сжатие данных. 

Согласно заявлению представителей компании, возможности Vid2Vid Cameo скоро будут включены в Nvidia Maxine SDK, бесплатную платформу, которая помогает разработчикам оптимизировать потоки видео и потокового вещания с помощью ряда моделей искусственного интеллекта. 

Демо-версия программы доступна по ссылке.