Каким способом функционирует идентификация лицевых образов в мобильных устройствах

Почему мы выбираем разлочивание по лицевому распознаванию

В последние времена определение лиц является одной из наиболее востребованных функций для деблокировки умных телефонов. Всего пару годов тому назад большинство использующих удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, как вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект обуславливает данную функцию такой востребованной? Прежде всего, это удобно: не нужно помнить замысловатые пароли или находить верный палец в тьме. Также, это оперативно: современные системы распознают лицо буквально за мгновение. В-третьих, это ощущение футуристичности — словно в кинофильмах про vulkan russia агентов.

Однако за этой на первый взгляд простотой скрывается целый мир сложных техник и инженерных решений. Позвольте нам понять, как именно действует идентификация по лицу в актуальных мобильных телефонах, какие бывают способы, насколько они безопасны и что нас предстоит.

Краткая хроника прогресса инноваций

Распознавание лиц как техника присутствует уже более 50 годов. Первые пробы машинного изучения облика были сделаны еще в 1960-х годы в лабораториях США. Тогда компьютеры умели лишь выделять контуры черепа и вычислять расстояния между очами и губами на черно-белых снимках.

Начальные бизнес системы возникли в 1990-х годах, но они были неидеальны: функционировали медленно и часто давали сбои. Только с эволюцией искусственных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные решения.

Главные этапы работы системы определения

Процесс определения лица можно условно разделить на несколько важных этапов:

Обнаружение лица — устройство определяет присутствие человеческого лица в снимке.
Извлечение признаков — система исследует особенности облика: форму глаз, обонятельного органа, уст, расположение бровей.
Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с образцом — созданный образец сопоставляется с зафиксированной при учёте биометрической информацией владельца.
Принятие выбора — если совпадение достаточно существенное, смартфон деблокируется.

Всякий из этих этапов нуждается в индивидуальных методов и оптимизаций для быстрой работы прямо на устройстве.

Аппаратные компоненты: что скрыто внутри

Типичная фронтальная камера.

Самый простой легкий вариант идентификации лица применяет только лицевую видеокамеру мобильного устройства. Такой метод осуществлён во различных недорогих версиях Android-девайсов.

Положительные стороны:

Необходимо нуждается в дополнительные сенсоров.
Оперативно работает при хорошем свете.

Минусы:

Легко одурачить снимком или видеозаписью.
Неправильно функционирует при низком освещённости или необычных углах обзора.

ИК камера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким образом это работает:

Точечный устройство проекции проецирует на лицо пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
ИК камера записывает изменение формы этой решетки по плоскости лица.
Получается трехмерная глубинная карта глубинности, которая почти невозможна для подделки типичной снимком или маской.

Преимущества

Надёжная функционирование даже в полной темноте.
Большая сопротивляемость к фальсификациям.
Точность определения выше 99%.

Дополнительные сенсоры

В некоторых аппаратах используются также экстра сенсоры: ToF (Time-of-Flight), которые определяют время прохождения луча до предмета и обратно; Цветные-датчики глубины; специальные оптические лидары для формирования более аккуратной 3D-модели физиономии.

Эти инновации встречаются наиболее часто во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искуственный разум на работе

Современные устройства идентификации лиц немыслимы без применения ИИ и machine learning. Именно вследствие таким инновациям, как вулкан россии, устройство может идентифицировать пользователя даже при метаморфозах внешнего вида: новая укладка, борода, оптика или косметика не становятся помехой для деблокировки.

Обнаружение лиц

В первом шаге алгоритм должна мгновенно распознать образ лица среди полного снимка с камеры. Для этого используются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: метод MTCNN в состоянии обнаруживать лицо даже при неполном перекрытии (например, шарфом или рукой).

Определение важных аспектов

После идентификации лица система, такая как вулкан россии, вычисляет местоположение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Как правило используется от 68 до 128 главных точек на лицевой поверхности.

Это действие необходимо для нормализации картинки: если пользователь удерживает мобильник под наклоненным, или склонил головку, программа корректирует изображение до нормального состояния для дальнейшего анализа.

Создание биометрического шаблона

Далее нейросеть строит уплотненное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 вещественных чисел.

Данный образец крайне затруднительно подделать: он не сохраняет непосредственно картинку пользователя, а лишь уникальные особенности его внешности, что делает его идеальным для таких систем, как vulkan russia.

Сравнение и осуществление заключения

В случае, когда пользователь хочет открыть смартфон глазами, система повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный уровень (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ не предоставляется.

Приспособление к изменениям облика

Увлекательная черта современных систем — способность самообучения. Если вы часто открываете телефон с свежей прической или очками, программа постепенно обновляет основной образец вашего внешности для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических информации.

Множество юзеры опасаются сохранять свои биометрические данные на телефоне из-за угрозы потери данных или хакерской атаки. Некоторые фирмы, например vulkan russia, предоставляют решения для улучшения сохранности данных клиентов.

Локальное хранение: Преимущественно девайсов сохраняет био-идентификационные образцы лишь внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают устройство и недоступны в том числе изготовителю.
Шифрование: Все данные сохраняются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних разработчиков не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Необходимо подчеркнуть важную особенность: если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство производители осуществляют систему защиты от “слепого” разблокирования — например, просят раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды определения лиц на изображениях?

На сегодняшний день можно выделить определить три главных подхода к выполнению этой функции:

Программное 2D идентификация

Применяется только передняя камера без экстра сенсоров глубины. Подобный метод используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость воплощения; умеренная стоимость; быстрая деятельность при достаточном освещении.
Минусы: просто обмануть снимком; неустойчивая деятельность ночью; недостаточная безопасность.

Техническое 3D сканирование

Задействует инфракрасную камеру + проекционный модуль точек + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная надёжность; нельзя исказить фото/видео; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Задействуют комбинацию программируемых методов + аппаратную обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями чужих устройств.

Иллюстрации применения различных техник

iPhone модели X/11/12/13/14 используют только техническое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые представил подобие Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 поддерживают как софтверное двухмерное идентификацию по изображению фронтальной камерой, так и датчик ириса глаза.
Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и неверные сигналы

Несмотря на впечатляющий прогресс инноваций за последние лет, совершенных систем пока не существует:

Возможность подвоха: Доступные телефоны просто открываются четкой снимком хозяина либо видеозаписью с экрана другого устройства.
Идентичные двойняшки: Даже самые совершенные системы могут перепутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
Изменения облика: Внезапное похудение/увеличение массы тела, пластические операции или повреждения в некоторых случаях требуют обновления данных биометрии.
Условия записи: Интенсивная подсветка солнцем или интенсивная затенение могут понизить верность определения признаков.

Здесь пара советов для защищённому использованию:

Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение смартфона для предотвращения угроз от современных угроз;
Включайте опцию “Требовать открытых глаз” в тех местах, где она имеется.

Где также используется технология помимо смартфонов?

Пускай предмет данной статьи посвящена конкретно портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

Контроль доступа в рабочих помещениях и жилых домах;
Платёжные терминалы банков (“Face Pay”);
Цифровые идентификационные документы последнего поколения;
Комплексы видеоконтроля муниципальных подразделений;
Автоматизирование отслеживания присутствия учебных заведений/институтов;
Аутентификация юзеров ПК/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Аналогичные инициативы осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как меняется технический процесс в нынешнее время?

Всякий год проявляются современные идеи для повышения уровня работы систем идентификации лиц:

Увеличивается чёткость сенсоров — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность ошибки;
Развиваются искусственные интеллекты — передовые конструкции модели MobileNetV3 позволяют быстро осваивать свежим особенностям вида обладателя непосредственно на девайсе без отправки данных в облако.
Улучшаются методы антиспуфинга — теперь телефоны могут отличать подлинные живые лица от фиксированных фотографий/маскировок по незаметным движениям кожи.
Взаимодействие со умными устройствами — интеллектуальные часы могут самостоятельно заблокировать смартфон, если пользователь отошёл далеко.
Появляются смешанные системы — например комбинирующие речевую идентификацию + лицо + дактилоскопический след.

Итак, которые направления очень популярны в данный момент:

1) Уменьшение компонентов

Производители пытаются уменьшить величину отверстия (“чёлки”) под датчики на дисплее за счёт интеграции маленьких ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для повышения конфиденциальности всё более обработки данных осуществляется на месте без пересылки информации во внешний облачный сервис.

3) Стандартизация норм

Google активно продвигает норму BiometricPrompt API, с целью чтобы аналогичные платформы, например как вулкан россия, и любые Android-аппы могли взаимодействовать с любыми видами биометрии унифицированно.

Какое подобрать сегодня?

В случае если вам необходима предельная безопасность данных, выбирайте топовые устройства с интегрированным ИК-проектором либо ToF-сенсором глубины.

iPhone каждого новейших поколений
Huawei Companion/P линейки
Mix Pro
Vivo X серии
Oppo Find X серии.

Если бюджет невелик – лучше предпочесть обычным методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как опциональную опцию комфорта.

Каким способом повысить комфорт функционирования возможности?

Есть несколько советов для тех, кто уже применяет разблокировку через лицо:

Периодически обновляйте свою изображение-шаблон, если сильно меняется облик.
Не пренебрегайте чистить объектив фронтальной камеры – разводы могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат если вы берёте его в руки.
В процессе записи пытайтесь удерживать голову ровно напротив камеры не допуская сильного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отворачиваетесь от дисплея.

Возможности развития техники

В ближайшие периоды можно ожидать появления полностью безконтактных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: облик + речь + манера ходьбы + движения рук!

Также предполагается развитие свежих подходов защиты приватности – к примеру, переменное изменение электронного образца после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных техник нашего эпохи! Она предоставляет взаимодействие со телефоном проще чем до этого, и такие аппы, как vulkan russia, могут значительно оптимизировать ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как функционирует эта технология изнутри, – будете в состоянии более осмысленно определять свой будущий девайс!