Дослідники з Каліфорнійського університету в Санта-Барбарі, лабораторії Disney Research і мультиплікаційної студії Pixar Animation Studios навчили нейромережу прибирати шум з рендерів кадрів мультфільмів або змодельованих на комп'ютері об'єктів у фільмах. Згідно з повідомленням університету, подробиці про це будуть представлені на конференції комп'ютерної графіки SIGGRAPH в Лос-Анджелесі 31 липня - 3 серпня 2017 року.
При створенні сцени на комп'ютері мультиплікаторам або фахівцям з комп'ютерних ефектів доводиться працювати з безліччю параметрів, включаючи накладення текстур, освітлення з безліччю джерел і взаємодію об'єктів. Спершу сцена складається на рівні каркасів, а потім вже відправляється на рендер. Під час цього процесу комп'ютер кадр за кадром прораховує мультфільм, накладаючи текстури і відображаючи освітленість відповідно до розташування джерел світла.
Процес рендера займає дуже багато часу, причому чим складніша сцена з точки зору безлічі об'єктів і освітлення, тим довше буде йти рендер кадрів. Для прискорення процесу аніматори зазвичай йдуть на деякі спрощення, які зазвичай при перегляді фільму непомітні. У першу чергу зі сцени прибираються зайві джерела світла, а також проводиться спрощення каркасів 3D-моделей. У підсумку під час рендера особливо затемнених сцен на готовому зображенні може з'являтися шум, що нагадує «зерно» на старих фотографіях.
Навчена американськими дослідниками нейромережа навчилася ефективно прибирати такий шум, не завдаючи шкоди зображенню. Навчання нейромережі проводилося на базі невдалих рендерів з мультфільму «У пошуках Дорі». Пізніше вже навчену нейромережу перевірили на мультфільмах «Тачки 3» і «Таємниця Коко». У всіх випадках шум з готових зображень був повністю видалений, причому якість вже готового зображення практично відповідала якості рендерів, отриманих при розрахунку з більшою деталізацією і більшою кількістю джерел світла.
У травні минулого року дослідники з Фрайбурзького університету представили нейромережу, навчену переносити художній стиль Вінсента Ван Гога і Едварда Мунка на будь-які зображення, в тому числі і відео. Автори дослідження застосували нейронну мережу VGG. З її допомогою вони переносили стиль художника з конкретної картини на кожен кадр відео. Розроблений ними алгоритм аналізував різницю між подальшими кадрами з часовими обмеженнями, що відбраковують надмірні відмінності.