Каким образом работает идентификация лицевых образов в телефонах

Зачем мы предпочитаем разблокирование по лицевому распознаванию

В прошлые времена распознавание физиономий является одной из самых популярных функций для открытия мобильных телефонов. Всего пару годков ранее большинство использующих удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, как On X, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь превращает эту особенность настолько популярной? Прежде всего, это удобно: не нужно помнить трудные пароли или отыскивать нужный палец в мраке. Также, это мгновенно: современные программы идентифицируют лицо буквально за мгновения ока. В-третьих, это ощущение футуризма — словно в кинолентах про onx агентов.

Однако за этой на первый взгляд простотой таится полный универсум комплексных технологий и инженерных решений. Попробуем разобраться, как конкретно функционирует распознавание лиц в актуальных смартфонах, какие бывают технологии, насколько они безопасны и что нас ждёт впереди.

Сжатая повествование прогресса технологии

Распознавание лиц как методика имеется уже более 50 лет. Первые попытки автоматизированного анализа облика были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь определять контуры головы и вычислять дистанции между очами и губами на монохромных фотографиях.

Первые торговые установки стали доступны в девяностых годах, но они были неидеальны: работали медленно и часто давали сбои. Только с прогрессом искусственных сетей и таких платформ, как On-X, сильных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои решения.

Основные шаги действия системы определения

Процесс распознавания лица можно условно сегментировать на несколько основных этапов:

Обнаружение лица — аппарат определяет существование гуманного образа в кадре.
Определение признаков — алгоритм анализирует черты физиономии: очертания глаз, обонятельного органа, губ, положение бровей.
Построение шаблона — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со эталоном — полученный образец сверяется с сохранённой при учёте биометрической данными владельца.
Принятие определения — если совпадение достаточно значительное, смартфон открывается.

Любой из данных этапов требует специальных алгоритмов и оптимизаций для скорой работы непосредственно на девайсе.

Технические компоненты: что скрыто внутри

Обычная фронтальная камера.

Наиболее несложный способ распознавания облика применяет исключительно фронтальную камеру смартфона смартфона. Такой метод внедрён во различных бюджетных версиях Android-устройств.

Преимущества:

Не нуждается в потребляет внешних сенсоров.
Оперативно функционирует при хорошем освещении.

Отрицательные стороны:

Несложно ввести в заблуждение фотографией или видеозаписью.
Плохо работает при низком освещении или непривычных точках зрения.

ИК фотокамера и точечный проектор

Более усовершенствованные системы, такие как On-X, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология лежит в основе Face ID от Apple.

Как это функционирует:

Точечный проектор отображает на физиономию юзера невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
ИК устройство регистрирует искривление данной решетки по поверхности физиономии.
Получается трёхмерная карта глубины, которая почти неподвластна для фальсификации стандартной фотографией или маскировкой.

Преимущества

Надёжная работа даже в полной неосвещённости.
Большая защита к фальсификациям.
Точность идентификации более 99%.

Добавочные датчики

В отдельных устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют время прохождения луча до объекта и обратно; RGB-датчики глубины; специальные световые измерители расстояния для формирования более аккуратной 3D-модели лица.

Эти разработки применяются наиболее часто во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искуственный ум на работе

Современные устройства опознания лиц неосуществимы без использования artificial intelligence и машинного обучения. Именно благодаря таким технологиям, как On-X, аппарат способно распознавать владельца даже при изменениях облика: новая укладка, щетина, линзы или косметика не становятся барьером для деблокировки.

Обнаружение лица

В начальном шаге система обязана оперативно распознать лицо среди целого изображения с камеры. Для данной цели используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен находить лицо даже с неполном перекрытии (например, шалью или рукой).

Выделение важных точек

После идентификации лица система, такая как On-X, устанавливает положение основных точек: уголки глаз, кончик носа, границы губ и так далее. Часто используется от 68 до 128 ключевых точек на лице.

Это действие требуется для стабилизации картинки: если юзер удерживает телефон под наклоненным, или склонил головку, программа “выпрямляет” картинку до обычного угла для дальнейшего анализа.

Формирование биометрии образца

Далее искусственная сеть строит компактное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот шаблон очень сложно подделать: он не сохраняет само картинку пользователя, а лишь уникальные черты его вида, что делает его совершенным для таких площадок, как Он Икс Казино.

Сравнение и вынесение заключения

В случае, когда пользователь хочет разлочить телефон взором, система воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый порог (обычно больше 99%), телефон, как и платформа Он Икс Казино, доступен; если нет — доступ блокируется.

Адаптация к метаморфозам внешности

Интересная характеристика современных систем — способность самостоятельного обучения. Если вы часто разблокируете смартфон с свежей укладкой или очками, алгоритм постепенно модернизирует основной образец вашего лица для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических данных данных.

Множество юзеры опасаются держать свои биометрические данные на мобильном устройстве из-за риска утечки данных или хакерской атаки. Некоторые организации, например Он Икс Казино, предоставляют методы для улучшения безопасности информации пользователей.

Локальное хранение: Преимущественно аппаратов хранит биометрические шаблоны только в пределах безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и недоступны даже производителю.
Шифрование: Все данные сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать подтверждение подтверждения идентичности через системный API.

Следует отметить значимую подробность: в случае, если какой-то человек получит доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют защиту от автоматического разблокирования — в частности, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды определения лиц на изображениях?

На сегодняшний день можно выделить выделить три ключевых подхода к выполнению этой задачи:

Программируемое двухмерное идентификация

Применяется только лицевая видеокамера без экстра детекторов глубины. Подобный подход встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; умеренная стоимость; оперативная деятельность при достаточном свете.
Минусы: легко ввести в заблуждение снимком; неустойчивая функционирование ночью; слабая охрана.

Техническое объёмное оцифровка

Использует инфракрасную камеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: большая надежность; нельзя подделать изображение/видеозапись; устойчивая работа при любом освещении.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с ИИ-дополнением

Применяют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например On-X и Google Pixel Face Unlock современных поколений, сочетают фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры использования различных методов

iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз предложил эквивалент Face ID среди Android.
Samsung Galaxy S10 модель/S20 обеспечивают как софтверное 2D определение по изображению фронтальной камерой, так и сканер радужки глаза.
Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные сигналы

Несмотря на впечатляющий прогресс техники за недавние годы, совершенных системы пока не наблюдается:

Шанс подвоха: Недорогие телефоны без труда открываются качественной изображением владельца или же роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые безупречные механизмы могут спутать между монозиготными близнецами либо семьями с очень похожей внешностью.
Трансформации внешности: Резкое похудение/увеличение массы тела, косметические процедуры или травмы иногда требуют повторной регистрации биометрических данных.
Условия фотографирования: Интенсивная засветка солнечным светом либо плотная тень могут понизить верность определения признаков.

Ниже некоторые советов по защищённому использованию:

Для критически важных операций всегда применяйте дополнительную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Систематически апгрейдите программное обеспечение телефона для защиты от современных угроз;
Включайте опцию “Требовать открытых глаз” в тех местах, где она имеется.

Где дополнительно используется технология помимо смартфонов?

Несмотря на то, что тема нашей статьи касается в частности смартфонам и планшетам, следует отметить прочих направлениях внедрения технологии:

Управление входа в офисах и жилых домах;
Платёжные терминалы банков (“Face Pay”);
Цифровые идентификационные документы последнего типа;
Системы видеонаблюдения городских сервисов;
Механизация учёта явки учебных заведений/институтов;
Вход пользователей компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или телефона! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом трансформируется технология в нынешнее время?

Каждый год появляются новые идеи для повышения уровня работы систем идентификации лиц:

Увеличивается разрешение сенсоров — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс неточности;
Совершенствуются искусственные интеллекты — новейшие архитектуры вида MobileNetV3 дают возможность скоростно адаптироваться к свежим особенностям внешности обладателя непосредственно на девайсе без отправки данных в облако.
Совершенствуются методы антиспуфинга — теперь телефоны умеют отличать настоящие анимированные лица от статичных снимков/маскировок по незаметным микродвижениям.
Взаимодействие со интеллектуальными приборами — смарт-часы могут самостоятельно заблокировать мобильный телефон, если владелец ушёл далеко.
Возникают смешанные устройства — к примеру совмещающие аудио опознание + облик + пальцевой отпечаток.

Вот, какие тенденции в особенности популярны на сегодняшний день:

1) Уменьшение компонентов

Компании стараются минимизировать размер отверстия (“чёлки”) под сенсоры на дисплее за счёт внедрения компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения приватности всё больше вычислений происходит локально без отправки информации во внешний облачный сервис.

3) Упорядочивание регламентов

Google интенсивно продвигает стандарт BiometricPrompt API, чтобы такие площадки, как On X, и любые Android-программы были совместимы с любыми видами биометрии единообразно.

Что решить на сегодня?

Если вам всем важна наивысшая защита данных, выбирайте топовые аппараты с интегрированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих новейших версий
Huawei Mate/P ряда
Mi Professional
Vivo X серии
Оппо Обнаружить Х серии.

Если финансы невелик – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в On X, применять только как опциональную возможность удобства.

Каким образом повысить комфорт работы опции?

Есть несколько лайфхаков для тех, кто уже пользуется разблокировку через лицо:

Регулярно меняйте свою фотографию-шаблон, если сильно трансформируется облик.
Не упускайте из виду протирать линзу передней камеры – пятна могут снизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает фотоаппарат как только вы берёте его в руки.
Во время записи постарайтесь сохранять лицо прямо напротив объектива исключая резкого наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отворачиваетесь от дисплея.

Возможности развития техники

В предстоящие периоды можно предвкушать развития полностью дистанционных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + походка + жесты рук!

Также предполагается появление новых подходов охраны конфиденциальности – скажем, динамическое изменение диджитал паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из самых захватывающих техник нашего времени! Она предоставляет интеракцию со смартфоном проще чем раньше, и такие аппы, как Он Икс Казино, могут существенно оптимизировать ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как функционирует эта технология внутри, – сможете осознаннее подбирать свой следующий гаджет!