Производитель графических процессоров Nvidia показал новую систему искусственного интеллекта. Алгоритм называется Vid2Vid Cameo AI и преследует главной целью сократить нагрузку на каналы связи, а также упростить рабочие процессы, связанные с видеосозвонами.
Модель, разработанная на системах Nvidia DGX, была обучена с использованием набора данных из 180 тыс. высококачественных видео с так называемой «говорящей головой». Нейросеть научилась определять 20 ключевых точек, которые можно использовать для моделирования движения лица в режиме реального времени. Система идентифицирует любые изменения, включая движения глаз, рта и носа.
Перед видеовстречей пользователь выбирает изображение, которое может быть фотографией кого-либо или анимированным аватаром. Во время встречи модель AI фиксирует движения человека в реальном времени и применяет их к ранее загруженному изображению. Например, загрузив фотографию в официальной одежде, пользователь с растрепанными волосами или пижаме будет виден всем в образе из изображения.
Алгоритм использует обычную веб-камеру для фиксации мимики и эмоций пользователя, а потом переносит данные в Zoom или Skype. По словам представителей компании, это может справиться с прерывистыми видеопотоками с низким разрешением, а трансляция будет проходить с минимальными задержками даже при плохом интернете. Вместо отправки больших видеопотоков, между участниками передаются только аудиоданные и информация о мимике, затем данные синтезируются в видео на стороне получателя.
В демонстрационном ролике показаны ключевые особенности нейронки, включая перенаправление лица, анимированные аватары и сжатие данных.
Согласно заявлению представителей компании, возможности Vid2Vid Cameo скоро будут включены в Nvidia Maxine SDK, бесплатную платформу, которая помогает разработчикам оптимизировать потоки видео и потокового вещания с помощью ряда моделей искусственного интеллекта.
Демо-версия программы доступна по ссылке.
Visual Code от Microsoft, вероятно, один из самых популярных редакторов кода. Разработчики любят его за…
Япония сама по себе — сплошной киберпанк. Это заметил даже культовый писатель жанра Уильям Гибсон,…
Сам по себе телефон Айфон 17 Про Макс – отличный подарок. У него красивая заводская…
На фоне роста спроса на ликвидность в бычьем рынке 2025 года, криптозаймы снова выходят на…
Прокси (proxy), или прокси-сервер — это программа-посредник, которая обеспечивает соединение между пользователем и интернет-ресурсом. Принцип…
Согласитесь, было бы неплохо соединить в одно сайт и приложение для смартфона. Если вы еще…