Американські розробники представили pizzaGAN - алгоритм, який вміє покроково малювати зображення піци, додаючи або прибираючи окремі інгредієнти (в тому числі може прибрати з піци спірні шматочки ананасу). Архітектура такої системи заснована на генеративно-змагальній нейромережі, кожен шар в якій змінює попереднє зображення, додаючи на нього новий інгредієнт. Подробиці про роботу алгоритму описано в препринті, опублікованому на arXiv.
Сьогодні алгоритми, засновані на роботі нейромереж, вміють досить якісно складати зображення об'єктів на основі текстового опису. Це стосується, наприклад, рецептів страв: подібний алгоритм на початку року представили ізраїльські вчені. При цьому розуміння того, як виглядає готова страва, не означає, що інформація про приготування страви доступна: для цього необхідно розуміти покроково, як готується страва, що станеться, якщо один інгредієнт прибрати, а інший - додати, і як зміниться колір, консистенція і вид продукту при термічній обробці.
Такий алгоритм вирішили розробити дослідники з Массачусетського технологічного інституту під керівництвом Діма Пападопулоса (Dim Papadopoulos). Вони вирішили зосередитися на піці - страві, яка передбачає досить простий порядок приготування з декількох інгредієнтів. Для цього вони створили pizzaGAN - різновид генеративно-змагальної нейромережі, кожен шар в якому використовується для додавання окремого інгредієнта або іншого етапу приготування страви. Така архітектура дозволяє не тільки додавати інгредієнти в піцу, а й відкочувати її приготування на крок назад, маючи приклад того, як виглядала страва без неї.
Для навчання моделі дослідники створили датасет «синтетичної піци» - цифрових зображень піци з різними начинками, розташованими на піці в певному порядку. Кожна начинка представлялася у вигляді спеціальної маски інгредієнтів: як вони розташовані на страві і скільки їх. Для створення підсумкового зображення піци використовувалися реальні фотографії страви.
У результаті алгоритм навчився достовірно додавати інгредієнти на піцу і прибирати їх, а також показувати, як та чи інша піца виглядає до і після приготування в печі. Датасети з «синтетичною» і реально піцою, приклади того, як змінюється зображення при додаванні та виключенні інгредієнтів, а також зображення до і після приготування піци в печі доступні на сайті проекту.
Успіхів розробники досягли і у виконанні зворотного завдання: два роки тому дослідники представили алгоритм, який вміє складати примірний рецепт страви за його фотографією.