Американські дослідники використовували метод глибокого навчання з підкріпленням для того, щоб навчити віртуального персонажа одягатися. У процесі він навчався сам, а алгоритм оцінював ефективність за положенням одягу на його тілі. Так вченим вдалося правдоподібно одягнути анімованого персонажа у футболку, сорочку та лікарняну робу. Препринт статті опубліковано на сайті Технологічного інституту Джорджії.
Надягання одягу - досить звичайне для людини заняття, яке при цьому вимагає виконання координованих рухів при взаємодії з об'єктом. Саме тому автоматичне анімування такого процесу - заняття складне: можна, наприклад, навчити суб'єкт симуляції на відео, але такі дані будуть неоднорідними, а знадобитися їх може дуже багато.
Фахівці під керівництвом Олександра Клегга (Alexander Clegg) з Технологічного інституту Джорджії вирішили використовувати для вирішення такого завдання метод глибокого навчання з підкріпленням, суть якого полягає в тому, що керований алгоритмом агент знаходиться в середовищі і, виконуючи різні дії, отримує за них підкріплення - нагороду. Таким чином він вчиться виконувати послідовність дій, що призводить до найбільшої нагороди, і тим самим поступово наближається до потрібного творцям результату.
У створеній системі віртуальна людина вчиться одягати на себе одяг. Для навчання системи розробники взяли три завдання (надягання сорочки, футболки та лікарняної раби: останнє - за допомогою віртуального робота-помічника) і розділили їх на невеликі підзадачі, кожну з яких для досягнення результату необхідно виконувати по-черзі. Наприклад, надягання сорочки полягає в тому, щоб засунути одну руку в рукав, потім завести другу руку за спину, зловити другий рукав, засунути руку в нього і повернути тіло в початкове положення. Кожному руху алгоритм навчається окремо, при цьому положення суб'єкта в кінці кожної підзадачі звіряється з початком наступної. Як підкріплення алгоритм оцінює те, наскільки кінцівка віртуальної людини одягнена в одяг у певний момент симуляції (для цього на її тілі розташовувалися спеціальні умовні «сенсори») і наскільки це відповідає тому, що має бути в правильно працюючій моделі.
В результаті дослідникам вдалося реалістично одягнути віртуального персонажа в сорочку, футболку і лікарняну робу. У майбутньому такий алгоритм може застосовуватися в анімації, що полегшить процес її створення через відсутність необхідності у великій кількості даних. Свій проект вчені також покажуть на конференції SIGGRAPH Asia, яка пройде в Токіо на початку грудня.
Розробники вчать алгоритми і більш складним рухам: наприклад, цієї весни дослідники з США і Канади за допомогою навчання з підкріпленням навчили віртуального персонажа складним рухам, у тому числі - на основі відео людей.