Нейронна мережа навчилася створювати оригінальні твори мистецтва, комбінуючи досвід, отриманий в ході вивчення різних стилів живопису. Creative adversarial network (CAN) була розроблена командою вчених з Лабораторії штучного інтелекту і мистецтва (The Art & AI Laboratory) Ратгерського університету в Нью-Джерсі. Принцип роботи нейромережі ґрунтується на роботі породжуючих змагальних мереж і тому, що відомо вченим про когнітивні механізми креативного процесу. Препринт статті опубліковано на сайті arXiv.
Породжувальні змагальні мережі (generative adversarial networks, або коротко GAN) - це різновид нейромереж, який складається з двох змагаються систем: генератора (generator) і дискримінатора (discriminator). Завдання генератора - створювати нові об'єкти, схожі на об'єкти з навчальної вибірки, доступу до якої у нього немає (наприклад, це можуть бути реально існуючі живописні полотна). Дискримінатор відповідає за те, щоб вирішити, чи належить згенерований об'єкт до класу об'єктів з доступної йому навчальної вибірки, і дати відповідний сигнал генератору.
Така система працює за принципом гри з нульовою сумою, в якій успіх однієї складової можливий тільки при невдачі другої. Навчаючись на відповідях дискримінатора, генератор створює об'єкти все більш і більш схожі на ті, які дискримінатор вважає такими, що відносяться до навчальної вибірки, що в кінцевому підсумку призводить до перемоги першої і поразки другої. У випадку з живописними полотнами це означає, що нейромережа в підсумку починає максимально точно наслідувати існуючі художні твори. Однак створювати нові полотна вона таким чином не навчиться.
При роботі над новою нейромережею автори ґрунтувалися на моделі створення нових творів мистецтва, запропонованої американським психологом Коліном Мартіндейлом (1943-2008). Він припустив, що завдання будь-якого художника - впливати на емоційне збудження його глядачів, слухачів або читачів. Стан емоційного збудження залежить від багатьох факторів: новизни естетичного об'єкта, його складності, наявності в ньому двозначності або його здатності здивувати і навести на роздуми. Також при впливі на емоційне збудження аудиторії художнику важливо дотримуватися поміркованості, щоб, з одного боку, його твір не здався нудним, а з іншого - не викликав негативної реакції через свою радикальну новизну.
Мартіндейл підкреслював роль «звичності» при впливі на емоційне збудження: при повторенні одних і тих же художніх прийомів є ризик, що до створених з їх допомогою творів аудиторія втратить всякий інтерес. Тому комбінування різних стилів і привнесення елемента новизни - ключ до успіху будь-якого творчого процесу.
Автори нової роботи доповнили принцип роботи GAN, запропонувавши новий різновид нейромережі - креативну змагальну мережу (creative adversarial network, коротко CAN). Нейромережа була навчена на вибірці з більш ніж 81 тисячі картин 1119 художників різних стилів, що творили в XV-XX століттях.
Принцип роботи CAN відрізняється від інших породжувальних мереж тим, що генератор отримує від дискримінатора не один сигнал, а два: перший, як у класичній GAN, визначає, чи є згенерований об'єкт витвором мистецтва, схожим з тими, що дані в навчальній вибірці, і до якого стилю він може бути віднесений; другий сигнал передає інформацію про те, наскільки близько згенероване зображення відноситься до того чи іншого стилю. Оскільки основна мета CAN - креативність, успіх її генератора залежить від того, чи вдасться йому створити нове зображення, яке дискримінатор, з одного боку, віднесе до творів мистецтва з даної йому вибірки, але з іншого, не зможе визначити його стиль.
В результаті CAN змогла створити велику кількість абсолютно нових творів мистецтва. Отримані зображення були продемонстровані реальним людям, які оцінювали схожість згенерованих зображень з роботами сучасного мистецтва, їх реальність («Створена ця робота художником або комп'ютером?») новизну і естетичні характеристики («За шкалою від 1 до 5, наскільки вам подобається картина?»). Варто відзначити, що вибірка опитаних була невеликою (10 осіб), однак, автори змогли зробити перші висновки про те, що створені CAN зображення розглядаються як справжні твори мистецтва і перевершують в цьому роботи, отримані при роботі класичної GAN.
Вчені давно навчили комп'ютер імітувати вже існуючі об'єкти людської творчості, проте раніше твори штучного інтелекту ще не створювали нічого, що мало б самостійну естетичну цінність. Так, Яндекс.Автопоет вміє писати вірші певного розміру з випадково відібраних пошукових запитів, але те, що при цьому виходить, далеко за естетичним наповненням від реальної поезії. У галузі живопису нейромережі вміють застосовувати стилі різних відомих художників до будь-яких зображень - чиїмось малюнків або фотографій. Однак якщо в результаті такої обробки і виникає щось естетично значуще, «співавтором» такого «твору мистецтва» все одно виявляється людина. Детальніше про те, як працюють такі нейромережі, можна прочитати в нашому матеріалі.