Как работает определение лиц в мобильных устройствах

Почему мы выбираем разблокирование по лицевому распознаванию

В прошлые годы идентификация лиц стало одной из самых популярных опций для разблокировки смартфонов. Еще некоторые лет тому назад основная часть использующих удовлетворялись PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает эту особенность очень нужной? Прежде всего, это практично: не нужно помнить замысловатые пароли или искать нужный палец в мраке. Также, это мгновенно: современные алгоритмы идентифицируют лицо фактически за мгновение. В-третью очередь, это чувство будущего — как будто в кинофильмах про admiral x casino агентов.

Тем не менее за данной кажущейся простотой прячется полный универсум трудных техник и инженерных концепций. Попробуем разобраться, как точно действует распознавание лиц в актуальных смартфонах, какие бывают способы, насколько они безопасны и что нас ждёт впереди.

Короткая хроника развития технологии

Идентификация лиц как технология присутствует уже более пятидесяти годов. Начальные попытки автоматизированного исследования облика были предприняты еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ могли лишь определять силуэты головы и определять промежутки между глазами и губами на монохромных изображениях.

Начальные коммерческие платформы стали доступны в 1990-х годах, но они были несовершенны: действовали неспешно и часто давали сбои. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, сильных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать личные решения.

Ключевые стадии работы системы распознавания

Процесс идентификации лица можно примерно сегментировать на несколько важных этапов:

Обнаружение лиц — устройство выявляет наличие людского образа в снимке.
Извлечение характеристик — система изучает контуры физиономии: очертания глаз, обонятельного органа, губ, положение надбровных дуг.
Построение шаблона — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение с стандартом — сформированный шаблон сопоставляется со записанной при внесении биометрической информацией владельца.
Принятие решения — если соответствие достаточно высокое, смартфон деблокируется.

Каждый из данных стадий нуждается в особых процедур и оптимизаций для скорой работы непосредственно на девайсе.

Железные элементы: что прячется внутри них

Обычная передняя камера.

Наиболее простой метод определения физиономии применяет только лицевую камеру смартфона. Подобный способ осуществлён во различных бюджетных вариантах Android-устройств.

Плюсы:

Необходимо нуждается в дополнительные сенсоров.
Быстро функционирует при качественном освещении.

Отрицательные стороны:

Легко ввести в заблуждение фотографией или видеозаписью.
Неправильно работает при низком освещённости или нестандартных ракурсах.

ИК камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким способом это работает:

Точечный проектор показывает на физиономию юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
ИК камера фиксирует деформацию этой сетки по поверхности лица.
Создаётся трехмерная карта глубинности, что почти невозможна для фальсификации обычной снимком или маской.

Преимущества

Надёжная функционирование даже в полной тьме.
Большая сопротивляемость к имитациям.
Точность распознавания свыше 99%.

Дополнительные сенсорные устройства

В определённых устройствах задействуются также экстра сенсоры: ToF (Time-of-Flight), которые измеряют время распространения света до предмета и обратно; RGB-датчики глубины; специальные оптические дальномеры для создания более детализированной 3D-модели лица.

Эти разработки применяются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный разум в исполнении

Нынешние устройства идентификации лиц неосуществимы без эксплуатации artificial intelligence и машинного обучения. Именно благодаря таким разработкам, как адмирал х, устройство может распознавать юзера даже при трансформациях облика: новая стрижка, растительность на лице, оптика или косметика не становятся барьером для открытия.

Детектирование лица

На первом стадии алгоритм необходимо мгновенно обнаружить лицо внутри полного кадра камеры. Для данной цели используются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии находить облик даже при частичном перекрытии (например, шарфом или ладонью).

Выделение ключевых моментов

После распознавания лица устройство, такая как адмирал х, вычисляет расположение ключевых точек: уголки глаз, конец носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лице.

Данное требуется для стабилизации визуала: если пользователь находится с мобильник под углом, или наклонил головку, программа корректирует картинку до обычного угла для последующего изучения.

Построение биометрического идентификатора модели

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Данный образец очень трудно подделать: он не хранит непосредственно фото юзера, а лишь уникальные характеристики его облика, что делает его совершенным для таких систем, как admiral-x.

Сравнение и вынесение заключения

Когда юзер желает разлочить мобильник глазами, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Адаптация к изменениям облика

Интересная характеристика нынешних системы — способность самостоятельного обучения. Если ты регулярно разблокируете телефон с свежей стрижкой или оптикой, программа постепенно освежает эталонный модель вашего лица для повышения точности работы без снижения уровня безопасности.

Защита биометрии информации.

Большинство юзеры боятся сохранять свои биометрические данные на смартфоне из-за вероятности утечки данных или хакерской атаки. Иные фирмы, такие как admiral-x, предоставляют решения для улучшения сохранности информации клиентов.

Локальное сохранение: Основная часть устройств хранит биометричные образцы только внутрь защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и не доступны в том числе производителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних разработчиков не имеют прямого возможности доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Необходимо упомянуть важную подробность: если какой-то человек достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство производители реализуют систему защиты от автоматического разблокирования — в частности, просят раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы идентификации лиц на изображениях?

Сегодня можно выделить выделить три ключевых способа к реализации этой операции:

Программное двухмерное определение

Эксплуатируется только фронтальная видеокамера без экстра сенсоров глубины. Этот подход используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота осуществления; низкая стоимость; оперативная деятельность при хорошем свете.
Минусы: просто обмануть снимком; ненадежная работа ночью; низкая охрана.

Техническое трёхмерное сканирование

Задействует инфракрасную камеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая достоверность; не получится обмануть изображение/видеозапись; постоянная функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК сенсором мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Иллюстрации использования разных способов

iPhone серии X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как программное 2D определение по изображению фронталкой, так и сканер ириса глаза.
Huawei Mate20 Pro применяет систему из ИК-освещения + Dot Projector + ToF-датчик

Трудности защиты и ошибочные тревоги

Несмотря на впечатляющий успехи техники за прошедшие лет, совершенных системы пока не существует:

Вероятность мошенничества: Доступные смартфоны легко открываются качественной снимком хозяина или же видео с экрана другого устройства.
Идентичные двойняшки: Даже самые идеальные системы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
Изменения внешности: Резкое утрата веса/увеличение массы тела, хирургические вмешательства или повреждения иногда требуют обновления данных биометрических данных.
Условия фотографирования: Яркая подсветка солнцем либо глубокая тень могут снизить аккуратность идентификации признаков.

Ниже несколько подсказок для безопасному использованию:

Для важных операций всегда внедряйте двухфакторную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Постоянно апгрейдите ПО смартфона для обеспечения безопасности от современных угроз;
Включайте настройку “Требовать распахнутых глаз” там, где она доступна.

Где ещё применяется технологии кроме смартфонов?

Хотя предмет данной публикации касается конкретно смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

Контроль входа в деловых центрах и многоквартирных зданиях;
Платёжные терминалы финансовых учреждений (“Face Pay”);
Электронные удостоверения личности нового образца;
Установки видеонаблюдения городских подразделений;
Автоматизирование регистрации присутствия школ/университетов;
Аутентификация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или телефона! Схожие проекты реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом изменяется технический процесс сегодня?

Всякий год возникают современные концепции для улучшения уровня деятельности систем лицевого распознавания:

Увеличивается детализация датчиков — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
Улучшаются нейронные сети — новейшие конструкции типа MobileNetV3 дают возможность быстро обучаться новым характеристикам облика обладателя прямо на устройстве без отправки данных в облако.
Улучшаются способы антиспуфинга — теперь телефоны могут распознавать реальные живые лица от статичных фото/масок по мельчайшим движениям кожи.
Синхронизация со смарт-гаджетами — интеллектуальные часы могут авто блокировать мобильный телефон, если пользователь удалился на значительное расстояние.
Появляются гибридные системы — например комбинирующие аудио идентификацию + физиономию + пальцевой отпечаток.

Здесь, какие направления очень популярны на сегодняшний день:

1) Миниатюризация деталей

Изготовители пытаются уменьшить габариты отверстия (“чёлки”) под датчики на экране за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более расчётов происходит внутри устройства без пересылки данных во дополнительный облачный услугу.

3) Унификация регламентов

Гугл энергично пропагандирует стандарт BiometricPrompt API, для того чтобы такие системы, вроде admiral x, и каждые Android-программы могли работать с любыми видами биометрии унифицированно.

Какое подобрать на сегодня?

Когда вам всем важна максимальная безопасность данных, подбирайте флагманские устройства с интегрированным ИК-излучателем или же ToF-датчиком глубины.

iPhone каждого актуальных моделей
Huawei Mate/Series P серии
Xiaomi Pro
Vivo X линейки
Оппо Обнаружить Х серии.

Если бюджет невелик – лучше предпочесть обычным средствам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную опцию комфорта.

Как повысить практичность работы функции?

Есть пара хитростей для людей, кто уже применяет функцию распознавания лица:

Периодически меняйте свою фото-шаблон, если сильно трансформируется внешний вид.
Не упускайте из виду чистить объектив передней камеры – пятна могут понизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает камеру когда вы берёте его в руки.
В процессе записи старайтесь сохранять голову прямо впереди видеоустройства исключая значительного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от дисплея.

Перспективы прогресса инноваций

В предстоящие периоды можно предвкушать возникновения полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + походка + жесты рук!

Также возможно возникновение новых подходов охраны конфиденциальности – например, переменное изменение электронного шаблона после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из самых увлекательных инноваций нашего периода! Она делает взаимодействие со телефоном удобнее чем когда-либо прежде, и такие программы, как admiral-x, могут значительно оптимизировать ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как работает эта методика в деталях, – сумеете вдумчиво определять свой будущий устройство!