Технологію «заміни осіб» face2face протестували Путіним і Трампом

Група дослідників з Університету Ерлангена - Нюрнберга, Інституту інформатики Товариства Макса Планка і Стенфордського університету продемонструвала роботу системи «заміни осіб» в режимі реального часу face2face на відомих політиках, серед яких були Джордж Буш, Володимир Путін, Дональд Трамп і Барак Обама. Доповідь про виконану роботу буде представлена на конференції Дослідження було опубліковано ще в листопаді 2015 року в журналі однак тоді не привернуло широкої уваги з боку ЗМІ.


За допомогою датчика глибини зображення система будує маску для кожного з двох учасників трансляції. До маски прив'язані умовні мімічні точки на поверхні обличчя. Зчитуючи деформацію маски джерела, система в режимі реального часу створює фотореалістичну анімовану версію обличчя приймаючої сторони поверх справжнього зображення.


Апаратна конфігурація системи, використана в оригінальному дослідженні, доступна для придбання широкому колу осіб. Зокрема, в системі, продемонстрованій на відео, використовувалася камера Asus Xtion PRO і комп'ютер з процесором Intel Core i7 і відеокартою Nvidia GTX980. Обчислювальних потужностей подібної робочої станції вистачає для роботи на льоту з відеопотоком роздільною здатністю 1280x1024 пікселів.

Завдяки технології відстеження руху система може передавати емоції навіть при різному положенні голови джерела і приймаючої сторони, а спотворення стають видно, тільки коли в кадрі з'являється об'єкт, що перекриває обличчя або голова відхиляється від камери на занадто великий кут. Також система враховує освітлення і кольоропередачу, тому може використовуватися в якості віртуального дзеркала.

Подібні розробки можуть стати в нагоді при створенні комп'ютерних ігор, при дубляжі кінофільмів на різні мови або при організації прямих трансляцій різними мовами. Раніше схожу розробку продемонстрували дослідники з Вашингтонського університету, проте в їхньому випадку модель емоцій з обличчя джерела «натягувалася» на модель на основі фотографії інших людей і передавала міміку особи в тому ж ракурсі, що і джерело.

COM_SPPAGEBUILDER_NO_ITEMS_FOUND