Дослідники з Google створили сервіс DrumBot, який в реальному часі доповнює мелодію на синтезаторі партією на ударних. Сервіс працює у вигляді браузерної програми, до якої можна підключити синтезатор, розповідають розробники у своєму блозі. Код та інструкції для використання сервісу на сторонньому сервері опубліковані на GitHub.
Алгоритми машинного навчання для роботи зі звуком зазвичай можна розбити на дві основні групи. Одні алгоритми створюють нову музику - її однак, складно назвати якісною з естетичної точки зору. Алгоритми другої групи ж допомагають музикантам і композиторам при створенні і виконанні музики - і зараз вони досить розвинені.
Багато в чому такі алгоритми розвиваються зусиллями дослідників з проекту Magenta, що входить до складу Google. Наприклад, вони розробили варіаційний автокодувальник, що дозволяє перетворювати музику на різних інструментах або в різних стилях в інші, зберігаючи при цьому загальну мелодію, ритм та інші ключові властивості. На його основі вони створили програму, що дозволяє додавати партію на ударних до мелодії, виконаної на іншому інструменті.
Поки подібні алгоритми і сервіси працюють із записаними мелодіями і не можуть бути використані в якості заміни реальному музиканту, здатному підіграти на барабанах або іншому інструменті. У новому проекті розробники з Magenta використовували ту ж нейросетеву модель для більш зручного сервісу, що працює в реальному часі. Сервіс працює у вигляді браузерної програми, а користувач може задати мелодію на своєму синтезаторі, підключивши його до комп'ютера, або використовувати віртуальний синтезатор на екрані.
Після того, як користувач зіграв два такти, алгоритм генерує і відтворює відповідну ударну партію. При цьому він може продовжити грати, і на наступних двох тактах алгоритм буде програвати нову партію. Розробники реалізували сервіс у вигляді легковагового браузерного алгоритму та Node.js-програми, що працює на більш потужному хмарному сервері.
Одна з авторів зазначила, що сервіс приймає мелодію і видає результат у вигляді MIDI-послідовності, тому музиканти можуть використовувати зручні їм інструменти, а також записувати отримані композиції, щоб працювати з ними далі. Сервіс можна розгорнути на своєму комп'ютері, код та інструкції для цього опубліковані на GitHub.
За кілька годин до цього Amazon представила частково схожий, але більш функціональний комерційний сервіс AWS DeepComposer і MIDI-синтезатор для нього. Він працює з кількома інструментами і музичними стилями, а також дозволяє навчати власну нейросетеву модель.