Програмісти Google з підрозділу Daydream Labs, яке займається розробками в області віртуальної реальності, представили технологію змішаної реальності, яка «стирає» окуляри віртуальної реальності з обличчя користувача. Про це повідомляється в блозі Google Research.
Змішаною реальністю зазвичай називають зображення користувача у віртуальній або доповненій реальності, доступне сторонньому спостерігачеві. Як правило, для цього використовується хромакей - користувача в VR-окулярах на тлі контрастного одноколірного екрану знімає камера, і замість фону накладається зображення з віртуального оточення. Такий підхід дозволяє наочно побачити з боку поведінку іншої людини у віртуальному світі, проте її обличчя, як і раніше, закрите очками, тому не можна точно визначити вираз обличчя або напрямок погляду.
Для того, щоб «стерти» обладнання і показати вираз обличчя і напрямок погляду користувача, в Google використовували технології машинного навчання і тривимірного комп'ютерного зору. Подробиць представники компанії не розкривають, описуючи лише загальний принцип створення зображення з «прозорими» VR-очками.
Спочатку за допомогою 3D-сканера розробники побудували динамічну модель обличчя користувача, яка вміє моргати і дивитися в різні сторони в русі. Потім 3D-модель обличчя наклали на реальне зображення людини при рендерингу фінального відео змішаної реальності, при цьому для занурення в VR-світ використовуються модифіковані окуляри HTC Vive, які відстежують напрямок погляду користувача, «оживляючи» модель.
Незважаючи на відносно правдоподібне реконструювання обличчя, воно як і раніше залишається 3D-моделлю і може викликати неприємні відчуття у стороннього спостерігача - ефект «Зловісної долини». Для того, щоб запобігти цьому явищу, розробники залишили напівпрозоре зображення окулярів на голові.
Раніше розробники з Daydream Labs створили віртуальний аватар у вигляді рухомих очей, а також запропонували боротися з тролями у віртуальній реальності, роблячи їх «примарами» - аватар порушника соціальних норм стає невидимим для інших користувачів.