Дослідники з Університету Карнегі - Меллона виявили, що сучасні системи комп "ютерного зору, що спеціалізуються на розпізнаванні людського обличчя, можна обдурити за допомогою паперових окулярів зі спеціальним візерунком. На дослідження звернув увагу автор блогу prosthetic knowledge.
Сучасні системи відеоспостереження можуть за допомогою методів машинного навчання визначити присутність людини в кадрі, а також визначити особу людини по обличчю. Якщо з якихось причин людина хоче залишитися невпізнаною такою системою, їй необхідно частково або повністю приховати обличчя.
Автори статті запропонували для обману інтелектуальних систем відеоспостереження використовувати окуляри зі спеціальним візерунком, який ускладнює для алгоритму розпізнавання обличчя. У своїй роботі вчені використовували онлайн-платформу машинного навчання Face++, яка спеціалізується саме на розпізнаванні та аналізі людських облич. При цьому дослідникам вдалося за допомогою окулярів як повністю стати «невидимим» для системи, так і видати людину в окулярах за іншу особистість.
Для розпізнавання облич дослідники навчили три різних нейромережі за допомогою методів глибокого машинного навчання. Основна нейромережа була навчена на базі 2622 знаменитостей (приблизно по тисячі фотографій для кожної особистості), а інші дві нейромережі були навчені на її основі методом перенесення навчання (transfer learning). Таке навчання на основі шарів іншої нейромережі дозволяє зменшити набір даних, що використовуються для повторного тренування системи, в даному випадку вчені використовували близько 40 фотографій кожної людини. Перша з «вторинних» нейромереж була навчена розпізнавати п'ять співробітників лабораторії і п'ять знаменитостей, а друга 143 людини, серед яких було 140 знаменитостей і троє авторів публікації. Після завершення тренування нейромереж вони обидві показали точність розпізнавання вище 96 відсотків.
Троє авторів роботи, фотографії яких використовувалися в навчальних вибірках «вторинних» нейромереж, самі брали участь в якості випробовуваних в п'яти фотосесіях, на яких було зроблено від 30 до 50 фотографій кожного вченого. У першій сесії випробовувані фотографувалися без спеціальних окулярів для аналізу зображення і розробки візерунків, а на інших сесіях вони фотографувалися в окулярах, візерунок на яких дозволяв повністю «зникнути» або видати себе за іншу людину.
У результаті дослідники дійшли висновку, що окуляри зі спеціальним візерунком вкрай надійні для обману нейросетей.У серії проведених експериментів використовувалася проста оправа окулярів без скла, на яку кріпилася кольорова накладка з візерунком, яка була надрукована звичайним струменевим принтером на фотопапері. Вся конструкція займала близько шести відсотків загальної кількості пікселів, аналізованих нейромережами при розпізнаванні обличчя.
Під час експериментів зі «зникненням» друга нейромережа, натренована на 143 людей, не змогла побачити жодного з авторів у 100 відсотках випадків. Перша нейромережа, натренована на 10 людях, показала більш цікавий результат: два випробовуваних успішно сховалися (97,22 і 100 відсотків), а третій був «невидимий» тільки в 80 відсотках випадків. У решті 20 відсотків випадків нейромережа вірно визначала присутність людини в кадрі. Самі дослідники відзначають, що це може бути пов'язано з тим, що він єдиний з трьох, хто носить звичайні окуляри, тому був у них на фотографіях у навчаній вибірці. Крім того, в даному випадку третій випробовуваний був єдиним, хто використовував збільшені спеціальні окуляри - вони закривали близько 10 відсотків площі обличчя.
В експериментах з підміною особистості вченим також вдалося домогтися цікавих результатів. Наприклад, нейромережі «повірили», що автори статті в кольорових паперових окулярах це: Міла Йовович (87,87 відсотка), Карсон Дейлі (100 відсотків) і Джон Малкович (100 відсотків), також один з дослідників зміг видати себе за іншого співавтора публікації (88 відсотків). При цьому Коліна Пауелла і Клайва Оуена підмінити виявилося складніше, для них точність розпізнавання дослідників в паперових окулярах склала 16,22 і 16,13 відсотка відповідно.
Це не перша робота, присвячена обману тих, хто розпізнає зображення нейромереж. Наприклад, співробітники Google і OpenAI нещодавно продемонстрували метод обману нейромережі, який також потенційно може використовуватися для обходу системи розпізнавання осіб.