Каким способом действует распознавание лицевых образов в мобильных устройствах

Для чего мы останавливаемся на разблокирование по лицу

В последние времена определение лиц стало одной из самых популярных опций для деблокировки умных телефонов. Еще несколько годов назад большинство пользователей удовлетворялись PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, например Вулкан Платинум, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь обуславливает данную особенность настолько популярной? Во-первых, это удобно: не нужно помнить сложные пароли или искать правильный палец в тьме. Кроме того, это быстро: современные программы распознают лицо буквально за мгновение. В-третьих, это впечатление будущего — как будто в фильмах про казино Вулкан агентов.

Тем не менее за этой на первый взгляд несложностью скрывается целый мир трудных техник и инженерных концепций. Попробуем исследовать, как конкретно функционирует распознавание лиц в новейших гаджетах, какие бывают методы, насколько они надёжны и что нас ждёт впереди.

Короткая история эволюции техники

Идентификация лиц как методика имеется уже более 50 годов. Изначальные пробы машинного анализа лица были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ способны были лишь определять контуры черепа и измерять дистанции между очами и устами на черно-белых изображениях.

Изначальные бизнес системы стали доступны в 90-х, но они были несовершенны: действовали неспешно и нередко ошибались. Только с прогрессом искусственных сетей и таких площадок, как Vulkan Platinum, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять собственные решения.

Главные стадии работы механизма распознавания

Процесс идентификации лица можно условно сегментировать на несколько основных этапов:

Обнаружение лиц — устройство распознает существование гуманного образа в изображении.
Определение признаков — механизм изучает контуры физиономии: очертания глаз, носа, губ, позицию надбровных дуг.
Построение шаблона — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с эталоном — полученный шаблон сравнивается с сохранённой при регистрации биометрической информацией владельца.
Принятие решения — если сходство достаточно значительное, смартфон разблокируется.

Всякий из указанных стадий нуждается в специальных методов и оптимизаций для скорой работы прямо на устройстве.

Железные элементы: что скрыто внутри них

Стандартная фронтальная камера.

Самый легкий вариант определения физиономии задействует лишь фронтальную видеокамеру мобильного устройства. Такой метод осуществлён во различных доступных моделях Android-девайсов.

Сильные стороны:

Не нуждается в внешних сенсоров.
Быстро функционирует при хорошем освещении.

Отрицательные стороны:

Просто одурачить фотографией или видеозаписью.
Неудачно работает при слабом освещённости или нестандартных углах обзора.

ИК камера и пунктирный проектор

Более совершенные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Каким образом это работает:

Точечный проекционный прибор проецирует на физиономию юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
Инфракрасная камера записывает деформацию данной сетки по поверхности физиономии.
Получается трехмерная карта глубины глубины, которая практически невозможна для имитации типичной снимком или маскировкой.

Достоинства

Надёжная деятельность даже в полной темноте.
Большая сопротивляемость к подделкам.
Точность идентификации более 99%.

Дополнительные сенсоры

В некоторых аппаратах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения света до предмета и обратно; Цветные-датчики дальности; специальные лазерные дальномеры для создания более детализированной 3D-модели физиономии.

Эти разработки встречаются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический интеллект в работе

Текущие механизмы идентификации физиономий неосуществимы при отсутствии применения ИИ и машинного обучения. Именно вследствие таким технологиям, как Vulkan Platinum, гаджет может идентифицировать пользователя даже при метаморфозах внешнего вида: новая причёска, борода, очки или макияж не становятся препятствием для деблокировки.

Обнаружение лиц

В начальном шаге система должна мгновенно найти образ лица в пределах целого изображения с камеры. Для этого используются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые “обучены” распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать физиономию даже в случае неполном перекрытии (например, шалью или рукой).

Идентификация основных точек

После идентификации лица механизм, такая как Vulkan Platinum, устанавливает положение ключевых точек: края глаз, конец носа, края губ и так далее. Часто применяется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это действие нужно для стабилизации изображения: если человек держит смартфон под углом, или склонил головку, программа исправляет картинку до нормального состояния для дальнейшего анализа.

Создание биометрического модели

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 вещественных чисел.

Такой шаблон весьма затруднительно сфальсифицировать: он не удерживает непосредственно фото пользователя, а лишь уникальные характеристики его облика, что делает его идеальным для таких площадок, как Вулкан Казино Платинум.

Сравнение и осуществление решения

В случае, когда юзер намеревается разлочить телефон глазами, программа повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ не предоставляется.

Привыкание к метаморфозам внешности

Увлекательная характеристика современных систем — возможность самообучения. Если вы регулярно разблокируете мобильное устройство с свежей прической или оптикой, программа постепенно обновляет основной модель вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрии информации.

Множество пользователи опасаются хранить свои биометрические идентификационные данные на телефоне из-за риска утечки данных или взлома устройства. Определенные организации, такие как Вулкан Казино Платинум, предлагают варианты для повышения сохранности сведений юзеров.

Локальное сохранение: Большинство устройств хранит биометрические модели исключительно в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и недоступны включая производителю.
Шифрование: Все данные сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Необходимо подчеркнуть важную деталь: если кто-то сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от автоматического разблокирования — например, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы идентификации лиц?

На сегодняшний день можно определить различить 3 ключевых метода к осуществлению этой функции:

Программируемое плоское распознавание

Эксплуатируется только передняя камера без дополнительных детекторов глубины. Подобный способ встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность осуществления; минимальная цена; скоростная работа при хорошем свете.
Минусы: просто обмануть фотографией; ненадежная работа ночью; недостаточная защищенность.

Аппаратное трёхмерное сканирование

Использует инфракрасную камеру + проектор пикселей + датчики дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: высокая надёжность; невозможно исказить фото/видео; постоянная функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с интеграцией ИИ

Применяют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например Vulkan Platinum и Google Pixel Face Unlock современных версий, сочетают фронтальную камеру c инфракрасным сенсором движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Примеры эксплуатации разных способов

iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил подобие Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 имеют как программное обеспечение 2D распознавание по изображению фронталкой, так и сканер глазного ириса.
Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-датчик

Трудности защиты и ошибочные сигналы

Несмотря на впечатляющий успехи инноваций за прошедшие лет, безупречных механизмов пока не наблюдается:

Шанс обмана: Недорогие телефоны без труда доступны высококачественной снимком владельца либо видео с экрана другого устройства.
Идентичные близняшки: Даже самые совершенные устройства могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
Трансформации внешности: Резкое похудение/набор веса, косметические процедуры либо травмы иногда необходимы для обновления данных биометрии.
Условия съёмки: Сильная засветка солнцем либо интенсивная затенение могут понизить аккуратность определения признаков.

Вот несколько советов по надёжному применению:

Для значимых операций всегда используйте двухэтапную аутентификацию;
Не запускайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку ПО мобильного устройства для защиты от современных угроз;
Включайте настройку “Требовать раскрытых глаз” в тех местах, где она доступна.

В каких областях дополнительно используется технологии за исключением мобильных телефонов?

Хотя предмет данной публикации сосредоточена на именно мобильным устройствам, следует отметить прочих направлениях внедрения технологии:

Контроль доступа в рабочих помещениях и многоквартирных зданиях;
Платёжные устройства банков (“Face Pay”);
Электронные идентификационные документы последнего поколения;
Системы видеомониторинга городских сервисов;
Автоматизирование отслеживания явки образовательных учреждений/университетов;
Авторизация пользователей ПК/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Схожие проекты реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом меняется технология в нынешнее время?

Любой год появляются современные концепции для усовершенствования качества работы систем лицевого распознавания:

Увеличивается детализация сенсоров — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше шанс неточности;
Развиваются нейросети — новейшие архитектуры вида MobileNetV3 обеспечивают возможность скоростно адаптироваться к новым особенностям вида владельца напрямую на гаджете без отправки данных в облако.
Совершенствуются технологии антиспуфинга — теперь мобильные устройства способны отличать подлинные живые лица от фиксированных фото/масок по мельчайшим движениям кожи.
Взаимодействие со смарт-гаджетами — интеллектуальные часы могут авто закрыть доступ к телефон, если обладатель отошёл далеко.
Появляются гибридные устройства — например комбинирующие речевую аутентификацию + физиономию + отпечаток пальца.

Здесь, которые направления особенно актуальны сейчас:

1) Уменьшение деталей

Компании стараются уменьшить размер отверстия (“чёлки”) для сенсоры на экране за счёт интеграции компактных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для улучшения конфиденциальности всё больше обработки данных выполняется внутри устройства без передачи информации во внешний облачный сервис.

3) Стандартизация норм

Гугл интенсивно продвигает норму BiometricPrompt API, для того чтобы такие площадки, вроде Вулкан Платинум, и каждые Android-приложения могли работать с любыми видами биометрии единообразно.

Какое выбрать на сегодня?

В случае если вам необходима максимальная защита данных, подбирайте передовые аппараты со встроенным ИК-излучателем или же ToF-датчиком глубины.

iPhone всех последних поколений
Huawei Partner/P серии
Mi Professional
Vivo X серии
Оппо Обнаружить Х серии.

Если бюджет невелик – лучше выбирать классическим методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как второстепенную возможность удобства.

Как улучшить практичность функционирования возможности?

Есть некоторые лайфхаков для тех, кто уже применяет разблокировку по лицу:

Часто меняйте свою изображение-шаблон, если кардинально трансформируется облик.
Не забывайте очищать объектив фронтальной камеры – загрязнения могут понизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает фотоаппарат как только вы поднимаете его.
В процессе записи пытайтесь удерживать голову неподвижно напротив камеры без значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от дисплея.

Будущее развития инноваций

В скоро наступающие годы можно предвкушать появления полностью безконтактных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + манера ходьбы + манипуляции руками!

Также вероятно возникновение свежих подходов охраны конфиденциальности – к примеру, переменное изменение цифрового паттерна после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее увлекательных инноваций нашего эпохи! Она делает взаимодействие со телефоном удобнее чем раньше, и такие аппы, как Вулкан Казино Платинум, могут значительно повысить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как работает эта методика в деталях, – будете в состоянии вдумчиво определять свой следующий гаджет!