Компанія Google оголосила, що додасть у додаток Fit можливість вимірювати частоту дихання і серцебиття за допомогою камер і алгоритмів машинного навчання. Для вимірювання пульсу необхідно прикласти палець до камери, а для вимірювання частоти дихання алгоритм аналізує обличчя і груди людини, що знімаються на фронтальну камеру. У лютому функції стануть доступні на смартфонах Pixel, а надалі Google планує адаптувати їх для інших пристроїв на Android.
Сьогодні навіть недорогі розумні годинники і браслети вміють вимірювати частоту серцевих скорочень (а деякі з них також здатні визначати тиск і рівень кисню в крові). Практично всі вони використовують для цього фотоплетизмографічний метод, при якому датчик випускає у напрямку до шкіри світло і вимірює інтенсивність відображеного світла за допомогою фоторезистора. При серцевих скороченнях судини збільшуються, рівень поглинання світла від датчика теж збільшується, а частка дійшов до фоторезистора світла падає, тому на графіку вимірювань видно явні періодичні зміни з частотою, що відповідає частоті серцевих скорочень.
Цей метод зазвичай застосовують з окремими світлодіодами зеленого кольору (тому що він поглинається еритроцитами), але вже кілька років існують програми, які використовують для цього звичайну камеру смартфона. Google вирішила вбудувати цю функцію прямо в свій додаток для відстеження щоденної активності і спортивних занять Fit, але також доповнила її більш незвичайною функцією - виміром частоти дихання.
Для вимірювання частоти дихання смартфон необхідно поставити на деякій відстані від себе, щоб на фронтальну камеру потрапляла верхня половина тіла. Потім додаток записує відео з камери і виділяє на ньому дві окремі області: обличчя і груди. Після цього алгоритми машинного навчання аналізують рухи тіла між кадрами і розраховують частоту дихання.
Google зазначає, що формально функція не ліцензована для медичного використання і не може використовуватися для постановки діагнозів. Разом з цим розробники відзначили, що провели клінічні випробування і навчили алгоритми надійно працювати не тільки в ідеальних умовах, але і в повсякденних, з різним освітленням і людьми різного кольору шкіри і віку.
Очікується, що функція з'явиться в додатку Google Fit на смартфонах Pixel до березня, а надалі розробники адаптуватимуть її для роботи на пристроях інших виробників.
Існують також прототипи додатків, які використовують камеру смартфона для визначення кров'яного тиску по непомітних людському оку пульсаціях на обличчі. Крім того, ми розповідали про додаток, який просить користувача натиснути пальцем на екран біля камери і розраховує кров'яний тиск, використовуючи дані датчика зусилля в екрані iPhone.