Дослідники з Facebook Research розробили метод перетворення музичних записів на записи з іншими інструментами, стилем і жанром. Метод заснований на машинному навчанні без вчителя і дозволяє тренувати нейромережу без зіставлення записів з різними стилями, інструментами або жанрами. Розробники продемонстрували можливості методу на різних музичних стилях і виконавцях, наприклад, перетворивши симфонію Моцарта на запис піаніста, який грає музику Бетховена. Робота з описом методу опублікована на arXiv.org.
Машинне навчання застосовується в багатьох областях і одне з найбільш вражаючих застосувань, зрозумілих навіть неспеціалісту - перенесення стилю між зображеннями. В основному цей метод застосовується для створення картин, схожих на роботи відомих художників, а останнім часом з'явилися аналогічні розробки, що дозволяють створювати високоякісні фотографії, схожі за стилем на інші знімки.
В області аудіозаписів така техніка розвинена набагато слабше. Незважаючи на те, що існують способи синтезу високоякісні записів мови і перетворення мови однієї людини на мову іншої, технології перетворення музики в записи інших стилів поки слабо розвинені. Представлена восени 2016 року нейромережа WaveNet, призначена для синтезу реалістичних аудіозаписів, дала великий поштовх цій галузі і саме її використовували у своїй роботі автори нової роботи з дослідницького підрозділу Facebook під керівництвом Яніва Тейгмана (Yaniv Taigman).
Основу алгоритму складає модифікований дослідниками алгоритм NSynth, заснований на WaveNet і представлений у 2017 році. Він складається з єдиного кодувальника, який переводить вихідний аудіозапис в його високорівневе уявлення, і безлічі декодувальників для переведення цього подання в аудіозапис певного стилю. Кодувальник влаштований таким чином, що він не враховує специфічні для конкретного стилю або автора властивості і витягує з запису лише основні елементи. Одна з переваг такого підходу полягає в тому, що нейромережа може коректно обробляти музичні стилі, які вона не чула під час тренування. Для того, щоб кодувальник не запам'ятовував музику, а саме кодував її семантичні властивості, під час тренування дослідники трохи спотворювали вхідні дані, змінюючи тон музики випадковим чином.
Автори роботи натренували нейромережу на музиці Моцарта, Гайдна, Баха і Бетховена. Після тренування дослідники провели кілька експериментів для перевірки роботи нейромережі. В одному з них вони запросили трьох неназваних досвідчених піаністів, які повинні були перетворити 60 п'ятисекундних відрізків музичних записів на фортепіанну музику. Третина з них були записами творів Баха для клавішних інструментів, третина симфоніями Моцарта, а ще одна третина являла собою відрізки свінгових джазових пісень, гітарних риффів і китайської інструментальної музики. Те ж саме робила і нейромережа. У результаті нейромережа отримала нижчі оцінки за якість перекладу, але все одно досить непогано впоралася, особливо при перетворенні на фортепіанну музику записів з останнього гурту.
Автори показали безліч прикладів роботи нейромережі. У тому числі в ролику можна почути перетворення пісень Metallica, Елвіса Преслі і Ріанни на класичну музику:
Крім того, дослідники попросили добровольців, а також трьох музикантів відрізнити роботу нейромережі від оригінальних записів. Для цього їм у випадковому порядку давали послухати шість записів, з яких лише один був справжнім. Тести показали, що в більшості випадків люди не можуть відрізнити створені нейромережею записи від справжніх.
Нещодавно Google представила відкритий проект музичного синтезатора на основі алгоритму NSynth, використаного дослідниками з Facebook Research. Він дозволяє музикантам у реальному часі змішувати звуки декількох інструментів і створювати на їх основі звук з новим звучанням, але характерними для вихідних інструментів властивостями. Пристрій побудовано на одноплатному комп'ютері Raspberry Pi 3, а все необхідне програмне забезпечення і документація викладені у відкритий доступ.