Google представила відкритий проект музичного синтезатора на основі нейромережевого алгоритму NSynth, що вміє створювати нові звуки з характеристик звуків декількох існуючих інструментів. Розробники опублікували вихідні коди алгоритму і докладні інструкції зі складання пристрою, повідомляється в блозі компанії.
Програмісти з Google представили алгоритм NSynth у 2017 році. Він побудований на базі згорточної нейромережі WaveNet, розробленої для створення звуків. Особливість алгоритму полягає в тому, що він не просто поєднує два або більше звуків інструментів, а розпізнає акустичні властивості кожного інструменту і створює на їх основі новий звук, що поєднує властивості декількох інструментів. Для тренування нейромережі програмісти створили розмічений датасет з приблизно 300 тисяч зразків звуків. Для демонстрації роботи алгоритму розробники створили спеціальну сторінку, на якій можна в реальному часі створювати звуки з двох інструментів.
Тепер інженери Google створили на основі NSynth справжній музичний інструмент NSynth Super і опублікували на GitHub докладні інструкції з його створення, а також вихідні коди всього необхідного програмного забезпечення. Пристрій побудовано на одноплатному комп'ютері Raspberry Pi 3, також для складання знадобиться сенсорний дисплей і друкована плата, яку необхідно створити самому або замовити в спеціальному сервісі. Інженери опублікували файли та інструкції для створення цієї плати, а також корпусу і кнопок пристрою.
Після збирання пристрою для нього потрібно підготувати набір звуків. Для цього необхідно зібрати звуки потрібних інструментів, обробити їх спеціальним скриптом у формат, сумісний з синтезатором і завантажити їх на пристрій. Під час роботи синтезатора в кожному з чотирьох кутів екрана розташовується один з інструментів. Користувач може водити пальцем по екрану і змішувати звуки від них, а також додатково змінювати характеристики і послідовність звуків кнопками і регуляторами, що крутяться. До NSynth Super можна підключати інші пристрої, наприклад, MIDI-клавіатури або секвенсори.
У 2016 році британський стартап Roli випустив модульний сенсорний синтезатор Blocks для створення своїх треків. Модулі з'єднуються між собою за допомогою магнітних кріплень, а керувати модулями можна за допомогою жестів.