Інженери з дослідницького підрозділу компанії Toyota навчили робота з руками новим навичкам. Тепер він вміє якісно виявляти прозорі та дзеркальні предмети, а також знімати себе на екшн-камеру, підбираючи оптимальний ракурс.
Toyota не перший рік розробляє роботів з руками, сподіваючись у підсумку створити роботизованих помічників по дому для людей з обмеженими можливостями або літніх. Один з прототипів компанія випробувала з інвалідом-ветераном війни в 2017 році, тоді робот вже вмів хапати предмети, наприклад, пляшку з водою, натискати на кнопки і виконувати інші базові побутові дії. Але, як це часто буває в робототехніці, від первинного прототипу, що виконує базові завдання, до повноцінного серійного робота проходить великий термін, під час якого розробники вирішують безліч дрібних сценаріїв, які зустрічаються досить рідко, але без них розробку не можна випускати в комерційну стадію через недостатню безпеку або незручність. На початку року інженери показали один з таких етапів, вирішивши проблему навігації по дому з предметами на підлозі, ходячими людьми та іншими перешкодами: вони запропонували закріплювати робота на стелі вгору ногами.
У новому відео інженери показали, як навчили робота працювати з прозорими предметами і знімати себе за допомогою селфі-палиці. Як і в минулі рази інженери використовували два різновиди робота: підлогу і стелю. Але функціонально і конструкційно вони однакові і відмінності стосуються лише рухомої платформи, до якої кріпиться робот. Він складається з корпусу, який у свою чергу зібраний з декількох сегментів, які можуть згинатися і розгинатися відносно один одного. На його кінці закріплені дві руки і голова з двома камерами.
Головна з нових здібностей полягає в тому, що тепер робот краще працює з предметами, що складаються з прозорого матеріалу або з дзеркальним покриттям. Донедавна це становило велику проблему для роботів, тому що, як правило, вони визначали форму і межу предмета, порівнюючи його вид з різних ракурсів, а якщо предмет виконаний зі скла або дає дуже яскраві відображення, алгоритми не можуть розрахувати за знімками адекватну 3D-модель і підготувати план захоплення. Але в останні роки дослідники з різних груп навчилися боротися з цією проблемою, і розробники з Toyota теж змогли реалізувати в своєму роботі якісне розпізнавання об'єктів за допомогою камери глибини. Для цього вони скористалися симулятором, в якому алгоритм бачив тривимірні об'єкти в різній обстановці і повинен був розрахувати його форму і межі. Вивчену у віртуальному середовищі навичку вдалося перенести на реальний пристрій, завдяки чому тепер робот може захоплювати і рухати склянки та інші прозорі предмети, що зустрічаються в будинках.
Другий з нових навичок - вміння знімати себе. Інженери навчили робота брати в руку селфі-палицю з екшн-камерою на кінці і розташовувати її так, щоб робот опинявся в центрі кадру і з боку, в якій він виконує дії, наприклад, підмітає пол. У прес-релізі автори приурочили цю можливість до американського дня селфі 21 червня, проте, ймовірно, у неї є і практичні застосування. Наприклад, записи виконання дій з нового ракурсу, що відрізняється від ракурсу з голови, гіпотетично можна використовувати для навчання алгоритмів методом самонавчання.
Торік інженери Toyota розробили м'яке захоплення, що дозволяє захоплювати крихкі предмети. Він складається з двох надувних контактних майданчиків, всередині яких є камера, що визначає параметри контакту завдяки викривленню поверхні майданчиків.