ByteDance випустила OmniHuman-1 — фреймворк для створення гіперреалістичних відео

Китайська компанія ByteDance представила нову розробку — генератор гіперреалістичних відео OmniHuman-1, який незабаром може здійснити справжню революцію в індустрії анімації. Цей фреймворк на основе Diffusion Transformer здатен створювати рухливі відео високої якості лише з одного зображення та аудіодоріжки.

Судячи з численних відеороликів, розміщених на сторінці проекту в GitHub, OmniHuman підтримує зображення будь-якого співвідношення сторін, може об’єднувати різні пози тіла, музичні стилі та форми співу. Використовувати для генерації можна різні типи зображень (великий план обличчя, портрет, до пояса, в повний зріст). Для аудіодоріжки підходить як розмовна мова, так і спів.

Генератор може створювати як анімовані, так і реалістичні відео. Крім розмов чи співу, генерований персонаж здатен жестикулювати та рухатись. Завдяки характеристикам тренувань OmniHuman у змішаних умовах він може імітувати деякі задані дії на відео.

ByteDance, яка є материнською компанією для популярного додатка TikTok, поки не викладає код OmniHuman-1 у вільний доступ. Скоріше за все, через деякий час нова розробка перетвориться в мобільний додаток або плагін для соцмереж.