Производитель графических процессоров Nvidia показал новую систему искусственного интеллекта. Алгоритм называется Vid2Vid Cameo AI и преследует главной целью сократить нагрузку на каналы связи, а также упростить рабочие процессы, связанные с видеосозвонами.
Модель, разработанная на системах Nvidia DGX, была обучена с использованием набора данных из 180 тыс. высококачественных видео с так называемой «говорящей головой». Нейросеть научилась определять 20 ключевых точек, которые можно использовать для моделирования движения лица в режиме реального времени. Система идентифицирует любые изменения, включая движения глаз, рта и носа.
Перед видеовстречей пользователь выбирает изображение, которое может быть фотографией кого-либо или анимированным аватаром. Во время встречи модель AI фиксирует движения человека в реальном времени и применяет их к ранее загруженному изображению. Например, загрузив фотографию в официальной одежде, пользователь с растрепанными волосами или пижаме будет виден всем в образе из изображения.
Алгоритм использует обычную веб-камеру для фиксации мимики и эмоций пользователя, а потом переносит данные в Zoom или Skype. По словам представителей компании, это может справиться с прерывистыми видеопотоками с низким разрешением, а трансляция будет проходить с минимальными задержками даже при плохом интернете. Вместо отправки больших видеопотоков, между участниками передаются только аудиоданные и информация о мимике, затем данные синтезируются в видео на стороне получателя.
В демонстрационном ролике показаны ключевые особенности нейронки, включая перенаправление лица, анимированные аватары и сжатие данных.
Согласно заявлению представителей компании, возможности Vid2Vid Cameo скоро будут включены в Nvidia Maxine SDK, бесплатную платформу, которая помогает разработчикам оптимизировать потоки видео и потокового вещания с помощью ряда моделей искусственного интеллекта.
Демо-версия программы доступна по ссылке.
Прокси (proxy), или прокси-сервер — это программа-посредник, которая обеспечивает соединение между пользователем и интернет-ресурсом. Принцип…
Согласитесь, было бы неплохо соединить в одно сайт и приложение для смартфона. Если вы еще…
Повсеместное распространение смартфонов привело к огромному спросу на мобильные игры и приложения. Миллиарды пользователей гаджетов…
В перечне популярных чат-ботов с искусственным интеллектом Google Bard (Gemini) еще не пользуется такой популярностью…
Скрипт (англ. — сценарий), — это небольшая программа, как правило, для веб-интерфейса, выполняющая определенную задачу.…
Дедлайн (от англ. deadline — «крайний срок») — это конечная дата стачи проекта или задачи…