Как работает распознавание лиц в мобильных устройствах

Почему мы предпочитаем разблокирование по лицевому распознаванию

В последние времена определение лиц превратилось в одной из самых популярных возможностей для разблокировки умных телефонов. Еще несколько годов назад основная масса пользователей обходились пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает данную особенность очень нужной? Прежде всего, это комфортно: не нужно помнить сложные пароли или искать нужный палец в темноте. Кроме того, это быстро: современные алгоритмы распознают лицо фактически за мгновение. В-третьем пункте, это чувство футуризма — как будто в кинофильмах про admiral x зеркало шпионов.

Впрочем за этой кажущейся легкостью прячется полный мир трудных технологий и инженерных решений. Позвольте нам исследовать, как конкретно действует идентификация по лицу в современных смартфонах, какие существуют методы, насколько они безопасны и что нас ждёт впереди.

Сжатая хроника эволюции техники

Распознавание лиц как техника присутствует уже более пятидесяти лет. Первые эксперименты автоматического изучения лиц были сделаны еще в 1960-х годах в лабораториях США. Тогда ЭВМ способны были лишь обозначать контуры черепа и определять дистанции между очами и ртом на черно-белых снимках.

Изначальные торговые системы появились в девяностых годах, но они были неидеальны: функционировали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких платформ, как адмирал х, мощных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять личные решения.

Основные этапы действия механизма распознавания

Процесс распознавания лица можно условно поделить на несколько ключевых этапов:

Распознавание лица — камера выявляет существование людского лица в изображении.
Извлечение признаков — механизм изучает черты физиономии: конфигурацию зрительных органов, обонятельного органа, уст, позицию надбровных дуг.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение с образцом — сформированный образец сопоставляется с зафиксированной при учёте биометрической сведениями владельца.
Принятие определения — если соответствие достаточно существенное, смартфон открывается.

Всякий из указанных шагов запрашивает специальных процедур и улучшений для оперативной работы прямо на устройстве.

Железные компоненты: что скрыто внутри

Стандартная селфи камера.

Самый простой легкий метод распознавания физиономии использует только переднюю видеокамеру мобильного устройства. Данный способ осуществлён во многих доступных моделях Android-устройств.

Достоинства:

Необходимо требует внешних сенсоров.
Быстро действует при качественном освещении.

Слабые стороны:

Несложно ввести в заблуждение фотографией или видеозаписью.
Неправильно действует при плохом свете или непривычных углах обзора.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс составляет базу Face ID от Apple.

Каким образом это работает:

Точечный проектор показывает на физиономию пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 меток).
ИК устройство записывает искривление этой решетки по плоскости лица.
Получается трёхмерная карта глубины глубинности, которая почти неосуществима для имитации обычной фотографией или маскировкой.

Выигрыши

Надёжная деятельность даже в полной темноте.
Сильная сопротивляемость к подделкам.
Точность распознавания свыше 99%.

Добавочные датчики

В определённых аппаратах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период прохождения света до цели и обратно; RGB-датчики глубины; специальные световые лидары для формирования более детализированной 3D-модели лица.

Эти технологии используются наиболее часто во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный интеллект в исполнении

Текущие системы идентификации физиономий немыслимы без применения artificial intelligence и machine learning. Именно благодаря таким технологиям, как адмирал х, гаджет в состоянии идентифицировать юзера даже при трансформациях внешнего вида: новая причёска, щетина, линзы или грим не становятся барьером для деблокировки.

Распознавание лиц

На стартовом этапе система необходимо мгновенно распознать лицо среди целого кадра камеры. Для этого используются многоуровневые классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: метод MTCNN способен распознавать облик даже при частичном перекрытии (например, платком или ладонью).

Идентификация основных моментов

После распознавания лица система, такая как адмирал х, вычисляет местоположение ключевых точек: кончики глаз, верхушка носа, контуры губ и так далее. Часто задействуется от 68 до 128 ключевых меток на лице.

Это требуется для нормализации картинки: если пользователь удерживает мобильник под наклоном, или наклонил голову, программа "выпрямляет" картинку до стандартного положения для дальнейшего анализа.

Создание биометрического шаблона

Далее нейронная сеть строит уплотненное математическое представление ("эмбеддинг") облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Этот образец весьма затруднительно подделать: он не удерживает само фото пользователя, а лишь особенные характеристики его облика, что делает его совершенным для таких систем, как admiral-x.

Сопоставление и вынесение решения

Если юзер намеревается разблокировать смартфон глазами, система осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к метаморфозам облика

Занимательная характеристика современных системы — возможность самообучения. Если вы постоянно доступаете к телефон с свежей укладкой или оптикой, система постепенно обновляет базовый модель вашего внешности для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических информации.

Множество юзеры боятся хранить свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома гаджета. Некоторые организации, например admiral-x, предлагают варианты для повышения сохранности сведений клиентов.

Локальное сохранение: Большинство девайсов сохраняет биометричные модели только в пределах безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и не доступны включая производителю.
Шифрование: Все данные сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних девелоперов не имеют прямого возможности доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Следует подчеркнуть существенную подробность: в случае, если кто-либо достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют защиту от автоматического разблокирования — например, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы распознавания лиц на изображениях?

Сегодня можно выделить выделить 3 ключевых подхода к осуществлению этой функции:

Программируемое двухмерное идентификация

Применяется только фронтальная видеокамера без дополнительных детекторов дистанции. Такой подход встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; умеренная затраты; оперативная деятельность при хорошем свете.
Минусы: несложно ввести в заблуждение снимком; неустойчивая деятельность ночью; низкая охрана.

Аппаратное 3D сканирование

Задействует инфракрасную видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: высокая достоверность; не получится подделать фото/видео; постоянная работа при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана ("чёлка")

Комбинированные подходы с интеграцией ИИ

Применяют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам ("anti-spoofing"). Например, такие изделия, как адмирал х и Google Pixel Face Unlock последних поколений, объединяют фронталку c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Образцы эксплуатации различных способов

iPhone линейки X/11/12/13/14 используют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID среди Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение 2D распознавание по изображению фронтальной камерой, так и датчик ириса глаза.
Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Трудности безопасности и ложные срабатывания

Несмотря на замечательный успехи инноваций за последние лет, совершенных системы пока не имеется:

Вероятность подвоха: Недорогие телефоны без труда доступны четкой фотографией хозяина или же видеозаписью с экрана другого устройства.
Идентичные двойняшки: Даже самые безупречные устройства могут ошибиться между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
Метаморфозы внешности: Резкое утрата веса/набор веса, пластические операции либо повреждения иногда требуют обновления данных биометрических данных.
Условия записи: Интенсивная засветка солнцем или глубокая тень могут снизить аккуратность идентификации признаков.

Здесь несколько советов для защищённому эксплуатации:

Для значимых операций всегда применяйте дополнительную аутентификацию;
Не запускайте функцию "Разблокировка по лицу" на бюджетных аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку программное обеспечение мобильного устройства для обеспечения безопасности от новых видов атак;
Включайте опцию "Требовать распахнутых глаз" там, где она доступна.

В каких местах ещё используется технологии кроме мобильных телефонов?

Несмотря на то, что тема нашей публикации сосредоточена на в частности смартфонам и планшетам, стоит упомянуть о других сферах применения технологии:

Управление прохода в офисах и резиденциях;
Платёжные аппараты банков ("Face Pay");
Цифровые идентификационные документы последнего образца;
Системы видеоконтроля городских служб;
Механизация регистрации посещаемости образовательных учреждений/вузов;
Вход участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по лицу ("Face Pay") — достаточно пройти через турникет без пластика или телефона! Схожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как меняется техпроцесс сегодня?

Любой годик возникают свежие концепции для улучшения уровня функционирования систем лицевого распознавания:

Увеличивается детализация датчиков — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность ошибки;
Улучшаются искусственные интеллекты — новейшие структуры типа MobileNetV3 позволяют скоростно обучаться дополнительным характеристикам вида пользователя прямо на устройстве без отправки данных в облако.
Улучшаются технологии антиспуфинга — теперь смартфоны могут различать настоящие движущиеся облики от фиксированных фотографий/маскировок по микроскопическим микродвижениям.
Синхронизация со смарт-гаджетами — интеллектуальные часы могут автоматически закрыть доступ к смартфон, если пользователь удалился на значительное расстояние.
Возникают гибридные механизмы — в частности комбинирующие голосовую идентификацию + облик + дактилоскопический след.

Вот, какие тренды очень актуальны сейчас:

1) Миниатюризация элементов

Изготовители пытаются сократить габариты отверстия ("чёлки") под сенсоры на экране за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для повышения личной безопасности всё больше обработки данных происходит на месте без отправки данных во дополнительный облачный услугу.

3) Упорядочивание норм

Google энергично продвигает стандарт BiometricPrompt API, чтобы аналогичные платформы, например как admiral x, и каждые Android-программы могли работать с любыми видами биометрии единообразно.

Что выбрать на сегодня?

В случае если вам всем нужна максимальная сохранность информации, остановите выбор на передовые модели со встроенным ИК-проектором или же ToF-сенсором глубины.

iPhone всех новейших поколений
Huawei Mate/P линейки
Xiaomi Pro
Vivo X модели
Oppo Find X серий.

Если финансы невелик – лучше предпочесть обычным средствам безопасности (PIN-код/сканер пальца), а опцию "разблокировка по лицу", такую как в admiral x, использовать только как дополнительную опцию комфорта.

Каким образом увеличить удобство использования возможности?

Есть пара лайфхаков для пользователей, кто уже применяет разблокировку через лицо:

Периодически обновляйте свою изображение-шаблон, если кардинально изменяется внешний вид.
Не забывайте чистить объектив фронтальной камеры – загрязнения могут снизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам включает камеру когда вы берёте его в руки.
При записи пытайтесь держать голову ровно напротив видеоустройства не допуская значительного наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от дисплея.

Будущее прогресса технологии

В скоро наступающие годы можно предвкушать развития полностью дистанционных способов распознавания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + звучание + походка + жесты рук!

Также предполагается развитие новых способов охраны приватности – скажем, динамическое модификация диджитал образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных инноваций нашего времени! Она обеспечивает общение со телефоном комфортнее чем раньше, и такие программы, как admiral-x, могут в разы улучшить ваш опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как устроена эта методика изнутри, – будете в состоянии осознаннее выбирать свой будущий гаджет!