Японська компанія Preferred Networks розробила систему управління роботами-помічниками, яка повністю автоматизує процес збирання. Система включає в себе розпізнавання голосу, за допомогою якого робот розуміє голосові команди, а також технології комп'ютерного зору, які допомагають пристрою аналізувати предмети, піднімати їх і прибирати на місце. Про це повідомляється на сайті компанії.
Роботи, які вміють маніпулювати предметами, знаходять застосування в багатьох сферах людського життя: наприклад, на виробництві і складах, в роботі по дому. При цьому одне з головних завдань таких роботів - навчитися правильно розпізнавати предмети для подальших дій: предмет може бути занадто крихким, або занадто слизьким, або лежати так, що його неможливо підняти. Особливо це актуально для роботів-прибиральників, адже їм потрібно не тільки ефективно розпізнавати предмети і брати їх, але також і класти їх на місце.
Зайнятися розробкою такого робота вирішили японські інженери з Preferred Networks. Апаратну частину робота вони не робили самі, а вибрали в якості робота-прибиральника Human Support Robot від компанії Toyota, який використовується для допомоги інвалідам, замість цього розробники вирішили зосередитися на програмному забезпеченні. В основі системи комп'ютерного зору - згорточна нейромережа, яка навчалася на майже двох мільйонах зображень. Завдяки цьому система вміє ефективно розпізнавати предмети, після чого робот може ідентифікувати їх, зрозуміти, як саме потрібно підняти конкретний предмет і куди його віднести. Наприклад, робот знає, що ручки повинні лежати в склянці для канцелярського приладдя, а речі, які лежать на підлозі, повинні опинитися в кошику для білизни.
Крім того, комп'ютерний зір робота також використовується для того, щоб розпізнавати невербальні команди: система може відстежити, куди показує людина. Також робот вміє розпізнавати голосові команди і, наприклад, віднести сміття у відро на прохання користувача.
Найчастіше від таких роботів-помічників вимагається маніпулювати жорсткими і нехрупкими предметами: банками, м'якими іграшками або сміттям. Тим не менш, також може знадобитися і використання таких роботів для управління м'якими предметами: спеціально для цього японські інженери навчили роборуку схоплювати предмети на льоту, регулюючи силу хвата, за рахунок чого вони можуть зловити і не розчавити навіть маршмеллоу.