Діпфейки виходять на новий рівень: Apple створила нову нейромережу та виклала початковий код

Apple у співпраці з Університетом Британської Колумбії розробила нейромережу NeuMan, що може скопіювати людину з відео та згенерувати її копію, здатну рухатися як завгодно.

Деталі

Нейромережа NeuMan навчається на коротких відео, потім може генерувати діпфейк. Хоча, звичайно, головна мета розробки — не підроблені постановочні відео, щоб обманювати підписників блогу, читачів новин чи політиків (як це часто трапляється). Всі ж пам’ятають історію, як перед мерами Берліна та Мадрида в Zoom виступав троль із діпфейком замість Кличка? 

Розробка спрямована на розвиток технології доповненої реальності.

«Фотореалістичний рендеринг та розміщення людей важливі для створення можливостей доповненої реальності. Ми пропонуємо нову структуру для реконструкції людини та сцени, яка може бути відтворена з новими людськими позами та поглядами всього з одного відео в навколишньому середовищі», — пояснюють Applе.

Щоб згенерувати нове відео, потрібно навчити дві моделі NeRF: модель NeRF людини та модель NeRF сцени. Тобто зняти два окремих відео з людиною та тлом, а штучний інтелект їх скопіює. Для навчання моделей NeRF використовуються методи оцінки грубої геометрії людини та сцени, за цими оцінками створюється канонічний простір, що не залежить від пози, в якій ми навчаємо модель людини. Людина в згенерованому відео може не просто ходити, а танцювати, крутитися, перекидатися (навіть якщо вона цього не робила на вихідному відео). 

10-секундного відеокліпу високої роздільної здатності достатньо для навчання ШІ. Ось що виходить в результаті:

Протестувати новинку може кожен охочий — Apple виклала початковий код нейромережі на GitHub.