Компанія Facebook Technologies випустила оновлення для автономного VR-шолома Oculus Quest, що дозволяє йому відстежувати рухи рук користувача за допомогою камер, не використовуючи контролери. Про це повідомляється в блозі Oculus.
В основному шоломи віртуальної реальності використовують не для перегляду фільмів або роликів, а для активної взаємодії з віртуальним світом в іграх або освітніх додатках. Для цього зазвичай використовуються штатні контролери, що дозволяють відстежувати переміщення руки в цілому, або ж окремих пальців. Однак це не так зручно, як взаємодія звичним чином з вільними руками. Для цього деякі виробники створювали зовнішні датчики захоплення руху, але це «прив'язує» користувача до однієї кімнати з датчиками або вимагає закріплювати датчик на самому шоломі.
У 2018 році розробники Oculus представили новий VR-шолом Quest, однією з особливостей якого, крім автономної роботи, стали чотири камери на передній поверхні, завдяки яким пристрій може відстежувати своє переміщення щодо приміщення. Тепер розробники почали використовувати камери і для створення динамічної моделі рук. Вони відзначають, що функцію вдалося додати тільки зараз, тому що вони змогли створити досить ефективні алгоритми машинного навчання і створення моделі пензля для кожної руки.
На початковому етапі відстеження рук доступне тільки у власних додатках Oculus, але наступного тижня сторонні розробники отримають доступ до SDK для роботи з функцією розпізнавання, і зможуть інтегрувати її в свої програми.
Крім взаємодії з віртуальним середовищем з вільними руками в області віртуальної реальності є й інша, хоча і суміжна проблема. Вона полягає в складності відтворення фізичного контакту з віртуальними об'єктами. Інженери розробили чимало рішень цієї проблеми, але поки вони майже не використовуються в серійних пристроях. Наприклад, існує чимало прототипів VR-рукавичок, що заважають кисті руки стискатися, а також є і більш незвичайні пристрої, такі як куб з пропелерами, що опирається руху руки.