Вчені з Університету Васеда створили систему штучного інтелекту на базі згорточних нейронних мереж, яка може розфарбовувати чорно-білі фотографії без втручання людини. Робота авторів доступна на сайті університету.
Основна проблема розмальовування фотографій раніше полягала в тому, що для того, щоб домогтися правдоподібного кольору, необхідна була участь людини. Однак вчені створили систему штучного інтелекту, яка здатна самостійно аналізувати зображення і вибирати відповідні кольори.
Система складається з чотирьох пов'язаних компонентів: мережі функцій низького рівня, мережі функцій середнього рівня, мережі глобальних функцій і розфарбовуючої мережі. На вхід подається зображення - за словами дослідників, воно може бути будь-якого розміру, але найкраще обробляються фотографії з роздільною здатністю 224х224 пікселів - і нейромережа ідентифікує його тип. Наприклад, якщо вона визначає, що фотографія була зроблена в приміщенні, то компонентам буде дана команда не використовувати кольори неба або кольори трави, а замість цього використовувати кольори, характерні для меблів. Також нейромережа розпізнає, що саме зображено - наприклад, дерево, будівля або людина - і підбирає характерний для об'єкта колір.
Для того щоб натренувати нейромережі, вчені перетворювали кольорову картинку в чорно-білу, подавали її на вхід, потім обчислювали середньоквадратичну помилку при обробці зображення і давали зворотний зв'язок. Для навчання вони використовували 2,5 мільйони фотографій з бази даних класифікованих зображень і 20 тисяч фото з цієї ж бази для тестів. В результаті, за оцінками користувачів, дослідникам вдалося домогтися натуральності кольору в 92,6 відсотках випадків.
Система штучного інтелекту, крім того, може використовувати вхідні дані одного зображення для розмальовування іншого, що дозволяє переносити стиль на фотографію.
Основне обмеження полягає в тому, що нейромережа може розфарбовувати тільки ті зображення, які мають подібні ознаки з тими, що використовувалися для навчання. Для перенесення стилів бажано, щоб два зображення були схожі за змістом.
Раніше дослідники з Каліфорнійського університету в Берклі також створили програму, здатну реалістично розфарбовувати чорно-білі фотографії. Вони використовували згорточну нейронну мережу (CNN), для навчання якої використовувалися готові класифіковані набори зображень. При оцінці результатів роботи програми учасники опитування в 20 відсотках випадків вважають, що знімки розфарбовані людиною.