Інженери з компанії Sony створили прототип системи, що дозволяє викладачам і досвідченим музикантам безпосередньо передавати рухи пальців під час гри на фортепіано учню. Ролик з описом системи опубліковано на YouTube-каналі Sony.
При навчанні грі на більшості музичних інструментів учні можуть відтворити техніку виконання їхнього вчителя спираючись лише на свій зір, слух і загальне розуміння принципів гри на інструменті. Крім того, зазвичай при виконанні сам музикант зазвичай не може повною мірою контролювати кожен аспект рухів пальців і завдяки цьому аналізувати свої помилки або коригувати стиль.
Японські інженери з компанії Sony під керівництвом Сініті Фуруя (Shinichi Furuya) створили систему, що дозволяє безпосередньо переносити рухи між учнем і вчителем. Ця група дослідників займається вивченням аспектів гри на фортепіано за допомогою технічних засобів протягом деякого часу. Наприклад, нещодавно за допомогою рукавички-екзоскелета вони з'ясували, що тривала практика гри на фортепіано посилює злагодженість роботи соматосенсорної та моторної систем.
Тепер вони створили пов'язану систему, що складається з модифікованого фортепіано, рукавички для запису гри і рукавички-екзоскелета для відтворення записаних партій. У фортепіано під рядом клавіш інженери встановили оптичні датчики, здатні вимірювати силу і швидкість натискання. Як кистьовий екзоскелет інженери взяли готовий пристрій від компанії exiii, здатний згинати кожен палець на потрібний кут. Піаніст-учитель при цьому одягає легшу рукавичку, яка тільки вимірює кути згину пальців.
Всі ці дані збираються в комп'ютер, який займається обробкою даних і передає сигнал від рукавички вчителя до екзоскелетної рукавички учня. Інженери показали, що система може працювати в реальному часі, переносячи рухи пальців між двома людьми, а також відтворювати записані послідовності, наприклад, щоб аналізувати власні рухи після гри. Також система вміє в реальному часі візуалізувати виконання на моніторі поруч з фортепіано.
Торік розробники з Google теж спростили гру на фортепіано технічними засобами, але зовсім іншим чином. Вони створили восьмикноперковий контролер, модифікували фортепіано, навчивши його самостійно натискати на клавіші по команді, а також розробили нейромережу, яка підбирає для кожного натискання однієї з восьми кнопок контролера найкращу комбінацію клавіш фортепіано.