Чи можуть моделі, які застосовуються в інформаційній безпеці, змінити наші уявлення про роботу людського організму?
У минулій статті ми вже розповідали про косяки машинного навчання - і про те, що така ситуація заганяє штучний інтелект у розважальні сфери, де можна помилятися без наслідків. А тепер давайте пофантазуємо в зворотний бік: де ми могли б побачити найбільш складні моделі штучного інтелекту, що працюють з мінімумом помилок?
Дивно, але багато адептів ШІ ігнорують той факт, що інтелект людини - це результат жорстокої битви за виживання, тому і просунутий штучний інтелект потрібно шукати там, де йде справжня боротьба: наприклад, у протистоянні шкідливих програм і систем безпеки. Напевно, це не така вже й очевидна істина. Ось і повідомлення ЗМІ про досягнення ШІ зазвичай прилітають з інших областей: одна програма згенерувала «осмислене оповідання», інша навчилася розпізнавати посмішки...
Але в кожній такій новині мова йде про систему, яка отримує дані в одному форматі і не поспішаючи вирішує одну задачу. І це, мабуть, фундаментальна відмінність машинного інтелекту від людського. Наш мозок одночасно збирає дані з безлічі різних сенсорів і обробляє їх безліччю різних «розумів» - тут і стародавні інстинкти, і умовні рефлекси, і емоційний/соціальний інтелект, і купа методів раціонального мислення, і зовсім вже загадкова інтуїція. Причому ці різні «розуми» якось уживаються в одній голові, спільно вирішуючи дуже різноманітні завдання при досить обмежених ресурсах.
Найближчі цифрові аналоги такого «змішаного інтелекту» еволюціонують саме в безпеці, де висока ціна помилки, де мало часу і йде постійна гонка озброєнь. Простий антивірус розпізнавав комп'ютерного хробака по унікальній сигнатурі, але поліморфні хробаки почали на льоту міняти свій код - і у відповідь на це системи безпеки стали виявляти більш загальні ознаки шкідників, використовуючи евристики і гнучкі згортки на основі машинного навчання. Хакери стали обходити просту гігієну «білих списків», застосовуючи легітимні інструменти - у відповідь з'явився більш складний поведінковий аналіз, кореляція подій для виявлення ланцюжків атак у часі. Ну а хто в академічних теоріях ШІ будував інтелект, що працює з концепцією часу? Чи такий вид інтелекту, який у людей називається «самокопання»? А в безпеці він є: це сканери вразливостей, які імітують атаку на свою систему, і автоматично закривають знайдені діри ще до появи сторонніх атакуючих.
Кілька років тому, описуючи подібну різноманітність методів мислення всередині однієї системи безпеки, я пожартував, що до повної аналогії з людським мозком залишилося додати зверху ще один вид інтелекту, який буде повідомляти про атаки приємним жіночим голосом. І дійсно, ще через рік ІБ-вендори стали додавати до своїх продуктів чат-ботів і голосових асистентів.
Але відкладемо поки інтелект. Якщо вже ІБ-індустрія так часто схиляє віруси, логічно задатися питанням, чи може вона принести нові моделі в епідеміологію. Стару модель з XIX століття всі знають з дитинства. Ось хворий чхнув на здорових, вони теж заразилися, стали чхати далі - на таких механізмах досі будуються епідемічні страшилки. Лише кілька років тому стали з'являтися науково-популярні книги («Віролюція» Френка Райана, «Багаторічний вірус» Віктора Зуєва), які розповідають про більш складні стосунки людей і вірусів. Зокрема, про вірусну персистенцію: це таке співжиття вірусу з носієм, яке може ніяк не проявлятися довгі роки. А потім чик! - вірус прокидається і стає шкідливим чи то при похолоданні, чи то при надлишку ультрафіолету (привіт спалахам на Сонці).
Такий механізм псує звичну картину, коли у всьому винен приїжджий грішник, який чхнув в автобусі. І деякі лікарі підтримають вас, якщо ви почнете розповідати про спалахи на Сонці - можуть навіть обізвати астрологом. А ось у кібербезпеці давним-давно застосовуються моделі персистентної загрози, яка приходить не з боку, а буквально зсередини. Є ціла ІБ-галузь з виявлення «недокументованих можливостей» у додатках і пристроях, і тут постійно робляться цікаві відкриття - наприклад, деякі дослідники підозрюють про «закладки» в найпопулярніших процесорах (Intel ME і AMD PSP). Давно відомі і захисні рішення, за допомогою яких можна заздалегідь блокувати такі сплячі загрози.
А ще з розвитком Інтернету безпечники спостерігають еволюцію умовно-шкідливих програм (adware, spyware і так далі). Це коли ви ставите собі на смартфон додаток-будильник, а він кудись передає ваші GPS-координати. А щоб написати пару рядків другу, ви ставите безкоштовний месенджер, який важить півгігабайта (100 копій «Війни і миру») і робить взагалі невідомо що. Це і є персистентні віруси, і кібербезпека постійно сперечається з їх виробниками, коли вони намагаються представити свої технології як абсолютно білі і пухнасті. У підсумку виробляються більш складні відносини з вірусом, ніж просто «шкідливий/нешкідливий», і це може бути хорошим наочним посібником для розуміння тих симбіозів, які описані в книгах вірусологів Райана і Зуєва, згаданих вище.
Ну і нарешті - найбільш злободенна модель. У статті про атаки на машинне навчання ми розповідали про такий метод злому, як «спотворення навчальної вибірки». Це коли хакер підсовує системі дуже нестандартні об'єкти, які погіршують роботу прогностичної моделі. Наприклад, ваша система повинна відрізняти людей від дерев і тварин. Але якщо при навчанні цієї системи багато разів показувати їй клоунів в костюмах кішок на триметрових ходулях, система стане гірше розпізнавати звичайних людей, буде плутати їх з кішками і горобинами.
А тепер уявіть, що система розпізнавання - це ваш імунітет. Навчившись на безлічі вірусів, він вміє відрізняти нешкідливі (аденовірус) від небезпечних (covid-19). Але ось хтось показує вашій імунній системі незвичайну химеру-підробку: мирний аденовірус, до якого приробили S-білок від небезпечного коронавірусу. Припустимо, такий злом імунітету за допомогою вакцини «Супутник» призвів до бажаного результату, ваш організм зреагував на підробку як на загрозу - і активував захист. Але ось питання: чи не зіпсується після цього розпізнавання справжніх аденовірусів і коронавірусів, як у тому прикладі з клоунами на ходулях?