Розробники з NVIDIA створили нейромережу, здатну прибирати шум з фотографій практично без спотворень. Важлива відмінність цього алгоритму від схожих розробок полягає в тому, що його навчали тільки на фотографіях, на яких вже був шум, розповідають автори роботи, яка була представлена на конференції ICML 2018.
При зйомці в умовах поганого освітлення фотоапарат компенсує брак світла більшою чутливістю і це призводить до появи великої кількості шуму на зображенні. Деякі дослідники застосовували до цієї проблеми методи машинного навчання, які дозволяли навчати алгоритм прибирати шум із зображення. Але зазвичай для навчання застосовуються пари, складені з «зашумленого» і чистого зображень. Це значно спрощує навчання, але ускладнює збір навчальної вибірки для алгоритму, тому що не для всіх об'єктів можна зробити знімки на великій витримці і з мінімальною кількістю шумів.
Група розробників під керівництвом Тімо Айло (Timo Aila) з дослідницького підрозділу NVIDIA припустила, що в деяких умовах алгоритм можна навчити відновлювати сигнал в місці шуму, використовуючи тільки зображення з шумом, тобто не надаючи йому доступ до шуканої частини зображення. Замість навчання на парах з одним чистим зображенням дослідники застосували навчання на парі зображень з випадковим шумом. Розробники відзначають, що по суті це аналогічно тому, як фотоапарат на довгій витримці в темряві створює відносно чисте зображення з безлічі зображень з низькою витримкою і низьким ставленням сигнал-шум.
Дослідники використовували для перевірки підходу дві згорточні нейромережі: для більшої частини роботи застосовувалася мережа U-Net, а для одного з тестів дослідники використовували замість неї залишкову мережу RED30. Автори використовували як навчальну вибірку 50 тисяч зображень з роздільною здатністю 256 на 256 пікселів. До всіх зображень додавали штучний шум, причому для кожної пари зображень рівень шуму був теж випадковим і нейромережі необхідно було враховувати це при очищенні зображення. Крім того, алгоритми навчалися на рендерах приміщень, фотографіях з нанесеними на них різнокольоровими написами та інших навчальних об'єктах.
Нейромережі навчалися протягом декількох сотень і тисяч епох (проходів за навчальною вибіркою), після чого їх роботу порівнювали з алгоритмами, що навчалися на парах чистих зображень і зображень з шумом, а також з вихідними зображеннями. Як основну характеристику роботи алгоритму автори використовували пікове ставлення сигналу до шуму (PSNR), яке зазвичай застосовують для оцінки алгоритмів для придушення шуму. В результаті дослідникам вдалося підтвердити їх гіпотезу, згідно з якою алгоритм можна навчити відновлювати сигнал, не маючи доступу до вихідного зображення, з якістю, близькою до алгоритмів, що навчаються на чистих зображеннях без шуму.
Крім застосування техніки в фотографії, зокрема в астрофотографії або зйомці в темряві, розробники також запропонували застосовувати її для підвищення якості знімків МРТ і продемонстрували приклади роботи алгоритму на таких знімках:
Нещодавно американські вчені навчили нейромережу отримувати яскраві фотографії з мінімальною кількістю шумів при зйомці практично в повній темряві. На відміну від нової роботи дослідників з NVIDIA вони використовували пари зображень одного і того ж місця, зроблені з короткою і дуже довгою витримками.