Как функционирует распознавание лицевых образов в телефонах

Для чего мы останавливаемся на разлочивание по фейсу

В прошлые годы идентификация лиц является одной из самых распространённых опций для деблокировки смартфонов. Лишь некоторые годов назад большинство юзеров обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект делает эту функцию такой востребованной? Для начала, это комфортно: не нужно помнить трудные пароли или отыскивать верный палец в мраке. Во-вторых, это мгновенно: современные системы распознают лицо практически за мгновения ока. В-третью очередь, это впечатление футуризма — словно в кинофильмах про вулкан россия агентов.

Тем не менее за данной видимой легкостью скрывается полный универсум трудных технологий и инженерных концепций. Позвольте нам разобраться, как точно действует идентификация по лицу в новейших гаджетах, какие бывают способы, насколько они надёжны и что нас предстоит.

Короткая хроника развития инноваций

Распознавание лиц как техника существует уже более 50 годов. Начальные эксперименты автоматического изучения лиц были предприняты еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ могли лишь определять очертания лица и измерять расстояния между зрачками и губами на ахроматических фотографиях.

Первые бизнес платформы возникли в девяностых годах, но они были несовершенны: функционировали медленно и нередко ошибались. Только с развитием синтетических сетей и таких систем, как вулкан россии, мощных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Главные этапы работы устройства идентификации

Процесс определения лица можно примерно поделить на несколько ключевых этапов:

Обнаружение лиц — камера определяет наличие людского лица в кадре.
Выделение характеристик — алгоритм исследует контуры лица: форму глаз, обонятельного органа, губ, позицию надбровных дуг.
Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со образцом — полученный модель сопоставляется со зафиксированной при учёте биометрической информацией владельца.
Принятие определения — если совпадение достаточно высокое, смартфон открывается.

Любой из этих этапов нуждается в индивидуальных алгоритмов и улучшений для быстрой работы прямо на устройстве.

Железные компоненты: что скрыто в их недрах

Обычная селфи камера.

Простейший легкий способ распознавания физиономии применяет лишь переднюю камеру смартфона смартфона. Данный метод реализован во многочисленных доступных моделях Android-устройств.

Достоинства:

Необходимо требует дополнительных сенсоров.
Оперативно функционирует при хорошем освещённости.

Отрицательные стороны:

Несложно обмануть фотографией или роликом.
Неправильно работает при слабом освещённости или необычных углах обзора.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Каким способом это действует:

Точечный устройство проекции показывает на физиономию использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 меток).
Инфракрасная устройство записывает искривление этой сетки по плоскости лица.
Формируется трёхмерная карта глубинности, что почти что неосуществима для имитации типичной снимком или маской.

Выигрыши

Надёжная деятельность даже в полной неосвещённости.
Высокая сопротивляемость к подделкам.
Точность идентификации выше 99%.

Добавочные датчики

В определённых аппаратах задействуются также экстра сенсоры: ToF (Time-of-Flight), которые измеряют период движения луча до объекта и обратно; RGB-датчики глубины; специальные оптические измерители расстояния для формирования более детализированной 3D-модели лица.

Эти разработки используются в основном во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический ум в исполнении

Нынешние системы распознавания лиц немыслимы в отсутствие использования искусственного интеллекта и machine learning. Именно вследствие таким разработкам, как вулкан россии, устройство в состоянии распознавать юзера даже при трансформациях облика: новая стрижка, щетина, оптика или макияж не становятся препятствием для разблокировки.

Детектирование физиономии

В первом этапе алгоритм необходимо оперативно обнаружить лицо среди всего снимка камеры. Для данной цели применяются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые "обучены" находить человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии находить облик даже в случае частичном перекрытии (например, платком или рукой).

Выделение основных моментов

После распознавания лица устройство, такая как вулкан россии, определяет местоположение основных точек: края глаз, кончик носа, края губ и так далее. Как правило задействуется от 68 до 128 главных точек на лицевой области.

Данное необходимо для выравнивания визуала: если пользователь держит смартфон под наклоненным, или повернул головку, программа исправляет картинку до обычного угла для последующего изучения.

Построение биометрического шаблона

Далее нейронная сеть строит сжатое числовое представление ("эмбеддинг") облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Данный шаблон весьма трудно подделать: он не удерживает непосредственно картинку пользователя, а лишь уникальные характеристики его вида, что делает его совершенным для таких систем, как vulkan russia.

Сравнение и принятие решения

Когда юзер хочет разблокировать мобильник взглядом, механизм воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый границу (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Приспособление к метаморфозам внешнего вида

Интересная характеристика современных систем — возможность самообучения. Если вы постоянно разблокируете смартфон с обновленной укладкой или оптикой, программа постепенно освежает эталонный образец вашего лица для увеличения точности действия без снижения уровня безопасности.

Защита биометрических данных.

Многие юзеры опасаются сохранять свои био-идентификационные данные на смартфоне из-за вероятности утечки данных или взлома устройства. Некоторые организации, вроде vulkan russia, предоставляют методы для увеличения безопасности данных юзеров.

Локальное сбережение: Большинство аппаратов записывает биометрические образцы исключительно внутрь безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и недоступны даже изготовителю.
Шифрование: Все сведения сберегаются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних девелоперов не обладают прямого возможности доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Стоит упомянуть важную подробность: если какой-то человек достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют меры безопасности от "слепого" разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются виды определения лиц на изображениях?

Сегодня можно выделить три главных способа к осуществлению этой операции:

Софтверное двухмерное распознавание

Применяется только передняя видеокамера без дополнительных детекторов дистанции. Этот подход используется наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость осуществления; минимальная затраты; быстрая функционирование при достаточном освещении.
Минусы: просто ввести в заблуждение фотографией; неустойчивая функционирование ночью; слабая охрана.

Оборудование для трёхмерное сканирование

Применяет ИК видеокамеру + проектор пикселей + сенсоры глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая достоверность; невозможно подделать изображение/видеозапись; постоянная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана ("чёлка")

Смешанные подходы с интеграцией ИИ

Используют комбинацию программных методов + аппаратно-техническую обработку + постобработку нейросетями для усиления устойчивости к атакам ("anti-spoofing"). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации эксплуатации разных способов

iPhone серии X/11/12/13/14 применяют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID среди Android.
Samsung Galaxy S10 модель/S20 имеют как софтверное двухмерное определение по снимку селфи-камерой, так и сканер ириса глаза.
Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности охраны и ложные срабатывания

Несмотря на поразительный успехи техники за последние годы, совершенных систем пока не существует:

Возможность подвоха: Недорогие телефоны легко открываются высококачественной изображением владельца либо видео с экрана другого устройства.
Идентичные двойняшки: Даже самые совершенные механизмы могут перепутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
Трансформации внешности: Внезапное похудение/набор веса, хирургические вмешательства либо повреждения иногда требуют обновления данных биометрии.
Условия съёмки: Сильная подсветка солнечным светом или плотная затенение могут понизить аккуратность распознавания признаков.

Вот некоторые подсказок по безопасному использованию:

Для значимых операций всегда используйте дополнительную аутентификацию;
Не запускайте функцию "Разблокировка по лицу" на недорогих аппаратах без ИК-сенсоров;
Регулярно апгрейдите программное обеспечение смартфона для защиты от новых видов атак;
Включайте настройку "Требовать открытых глаз" в тех местах, где она есть.

Где дополнительно применяется технологии помимо мобильных телефонов?

Пускай предмет этой работы посвящена именно смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

Управление прохода в офисах и жилых домах;
Платёжные аппараты банков ("Face Pay");
Виртуальные паспорта последнего типа;
Установки видеоконтроля городских сервисов;
Механизация учёта посещаемости образовательных учреждений/университетов;
Авторизация пользователей ПК/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу ("Face Pay") — достаточно пройти через турникет без карты или мобильника! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как трансформируется технический процесс в нынешнее время?

Всякий годик проявляются свежие идеи для улучшения уровня деятельности систем лицевого распознавания:

Увеличивается чёткость сенсоров — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
Улучшаются нейросети — современные структуры типа MobileNetV3 обеспечивают возможность скоростно обучаться свежим чертам внешности обладателя прямо на устройстве без отправки данных в облако.
Развиваются способы антиспуфинга — теперь телефоны умеют различать настоящие движущиеся лица от статичных фотографий/масок по микроскопическим микродвижениям.
Интеграция со интеллектуальными приборами — интеллектуальные часы могут автоматически закрыть доступ к мобильный телефон, если владелец отошёл далеко.
Появляются смешанные устройства — в частности объединяющие аудио идентификацию + облик + отпечаток пальца.

Здесь, те тенденции в особенности актуальны сейчас:

1) Уменьшение компонентов

Изготовители пытаются минимизировать габариты отверстия ("чёлки") под датчики на дисплее за счёт интеграции маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения приватности всё более вычислений осуществляется локально без передачи информации во сторонний облачный сервис.

3) Стандартизация регламентов

Google активно пропагандирует эталон BiometricPrompt API, с целью чтобы такие системы, вроде вулкан россия, и каждые Android-аппы были совместимы с любыми видами биометрии единообразно.

Что выбрать сегодня?

Когда вам нужна предельная безопасность информации, остановите выбор на флагманские аппараты со встроенным ИК-проектором или же ToF-датчиком глубины.

iPhone всех актуальных версий
Huawei Companion/P серии
Xiaomi Expert
Vivo X линейки
Oppo Найти Х серий.

Если средства скромен – лучше выбирать классическим средствам безопасности (PIN-код/сканер пальца), а функцию "разблокировка по лицу", такую как в вулкан россия, применять только как опциональную опцию комфорта.

Каким образом повысить удобство функционирования функции?

Есть несколько лайфхаков для людей, кто уже пользуется разблокировку через лицо:

Регулярно обновляйте свою изображение-шаблон, если кардинально трансформируется внешность.
Не пренебрегайте очищать линзу фронтальной камеры – пятна могут понизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам запускает фотоаппарат как только вы берёте его в руки.
В процессе записи постарайтесь сохранять лицевую часть неподвижно напротив камеры исключая резкого наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от экрана.

Возможности развития технологии

В скоро наступающие годы можно ожидать появления полностью безконтактных способов идентификации индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + шаги + жесты рук!

Также вероятно развитие современных способов обеспечения конфиденциальности – к примеру, динамическое изменение диджитал шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из самых интересных инноваций нашего эпохи! Она обеспечивает общение со смартфоном проще чем когда-либо прежде, и такие аппы, как vulkan russia, могут значительно повысить ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как функционирует эта технология внутри, – сможете вдумчиво подбирать свой очередной гаджет!