Каким образом работает распознавание лиц в смартфонах

Почему мы останавливаемся на разблокировку по лицевому распознаванию

В прошлые времена распознавание лиц превратилось в одной из самых распространённых опций для разблокировки смартфонов. Еще некоторые годов тому назад основная масса юзеров обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту особенность очень нужной? Прежде всего, это удобно: не нужно запоминать сложные пароли или находить нужный палец в мраке. Во-вторых, это оперативно: современные системы распознают лицо фактически за доли секунды. В-третьем пункте, это чувство футуризма — как будто в кинофильмах про адмирал х шпионов.

Впрочем за такой видимой простотой прячется целый универсум сложных техник и инженерных решений. Попробуем разобраться, как конкретно действует фейсканирование в новейших гаджетах, какие бывают способы, насколько они надёжны и что нас ожидает в будущем.

Краткая хроника прогресса технологии

Распознавание лиц как технология присутствует уже более 50 годов. Начальные эксперименты автоматизированного анализа лица были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ умели лишь обозначать очертания черепа и определять расстояния между очами и устами на монохромных снимках.

Первые коммерческие системы стали доступны в 90-х, но они были несовершенны: действовали неспешно и часто ошибались. Только с развитием нейронных сетей и таких площадок, как адмирал х, сильных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять свои решения.

Ключевые этапы работы системы распознавания

Процесс идентификации лица можно примерно поделить на несколько основных этапов:

1. Распознавание лиц — камера определяет наличие людского образа в снимке.
2. Выделение особенностей — алгоритм анализирует особенности лица: форму глаз, носа, уст, расположение бровей.
3. Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с эталоном — сформированный шаблон сверяется со сохранённой при внесении биометрической данными владельца.
5. Принятие выбора — если соответствие достаточно существенное, смартфон открывается.

Каждый из указанных шагов требует индивидуальных процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Технические компоненты: что прячется в их недрах

Типичная фронтальная камера.

Самый простой легкий метод распознавания облика задействует только фронтальную камеру смартфона. Такой подход осуществлён во различных недорогих версиях Android-девайсов.

Преимущества:

• Не нуждается в дополнительные датчиков.
• Быстро функционирует при качественном освещённости.

Недостатки:

• Легко обмануть снимком или видеозаписью.
• Неудачно работает при низком освещении или нестандартных углах обзора.

ИК камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс составляет базу Face ID от Apple.

Как это функционирует:

• Точечный проекционный прибор показывает на физиономию пользователя невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 пятен).
• ИК камера фиксирует деформацию этой сетки по плоскости физиономии.
• Формируется 3D карта глубинности, которая почти неосуществима для фальсификации стандартной фотографией или маскировкой.

Плюсы

• Надёжная работа даже в полной тьме.
• Высокая устойчивость к имитациям.
• Точность определения свыше 99%.

Дополнительные сенсоры

В определённых устройствах задействуются также экстра датчики: ToF (Time-of-Flight), которые определяют время прохождения луча до объекта и обратно; Цветные-датчики глубины; специальные световые измерители расстояния для формирования более аккуратной 3D-модели лица.

Эти разработки применяются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный разум в работе

Нынешние механизмы идентификации физиономий неосуществимы без применения искусственного интеллекта и machine learning. Именно из-за таким технологиям, как адмирал х, аппарат в состоянии узнавать юзера даже при метаморфозах внешнего вида: новая укладка, щетина, очки или косметика не становятся препятствием для открытия.

Распознавание лиц

В первом стадии программа должна мгновенно найти ликовое изображение в пределах целого снимка камеры. Для этой задачи применяются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN может находить облик даже при частичном перекрытии (например, шалью или рукой).

Определение основных аспектов

После распознавания лица устройство, такая как адмирал х, определяет расположение главных точек: кончики глаз, кончик носа, края губ и так далее. Обычно применяется от 68 до 128 ключевых точек на лице.

Это действие нужно для стабилизации изображения: если пользователь держит смартфон под углом, или наклонил головку, программа « выпрямляет » картинку до стандартного положения для последующего изучения.

Создание биометрии образца

Далее нейросеть строит компактное числовое представление (« эмбеддинг ») внешности пользователя — своеобразный цифровой « отпечаток » лица длиной от 128 до 512 чисел с плавающей запятой.

Такой формат весьма трудно имитировать: он не удерживает само картинку юзера, а лишь исключительные характеристики его облика, что делает его совершенным для таких платформ, как admiral-x.

Сравнительный анализ и вынесение заключения

В случае, когда юзер хочет открыть мобильник взором, программа повторяет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый границу (обычно больше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Адаптация к изменениям облика

Увлекательная особенность актуальных систем — возможность самостоятельного обучения. Если вы часто разблокируете мобильное устройство с обновленной укладкой или очками, программа постепенно обновляет базовый образец вашего внешности для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных.

Многие юзеры боятся сохранять свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки данных или взлома устройства. Иные организации, такие как admiral-x, предоставляют решения для улучшения безопасности данных юзеров.

• Локальное сбережение: Основная часть устройств записывает биометрические образцы лишь внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют гаджет и не доступны даже изготовителю.

• Шифрование: Все сведения сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Следует отметить важную деталь: в случае, если кто-либо сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют меры безопасности от неосознанного разблокирования — к примеру, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории идентификации лиц?

На сегодняшний день можно выделить различить 3 главных метода к осуществлению этой функции:

Программируемое двухмерное идентификация

Применяется только фронтальная камера без экстра сенсоров глубины. Такой метод встречается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость воплощения; минимальная цена; скоростная деятельность при достаточном свете.
Минусы: несложно ввести в заблуждение снимком; нестабильная функционирование ночью; низкая безопасность.

Аппаратное трёхмерное оцифровка

Задействует ИК видеокамеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; подобные решения у Huawei Mate).
Достоинства: высокая достоверность; не получится исказить фото/видео; постоянная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (« чёлка »)

Смешанные методы с дополнением ИИ

Применяют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (« anti-spoofing »). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock современных поколений, объединяют фронталку c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами чужих устройств.

Иллюстрации использования различных техник

• iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз представил эквивалент Face ID в числе Android.
• Samsung Galaxy S10/S20 обеспечивают как программное обеспечение 2D распознавание по фото селфи-камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-датчик

Трудности безопасности и ошибочные тревоги

Несмотря на впечатляющий развитие инноваций за недавние годы, безупречных механизмов пока не существует:

1. Шанс подвоха: Бюджетные смартфоны легко « разблокируются » четкой снимком владельца либо видео с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные механизмы могут перепутать между монозиготными близнецами либо родичами с очень аналогичной внешностью.
3. Изменения внешности: Резкое утрата веса/увеличение массы тела, косметические процедуры или повреждения порой требуют повторной регистрации биометрии.
4. Условия съёмки: Интенсивная засветка солнцем или же глубокая темнота могут снизить аккуратность идентификации признаков.

Ниже пара советов по надёжному использованию:

• Для значимых операций всегда используйте двухфакторную аутентификацию;
• Не включайте функцию « Разблокировка по лицу » на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте прошивку ПО смартфона для защиты от современных угроз;
• Включайте опцию « Требовать распахнутых глаз » везде, где она имеется.

Где ещё находится применение технологии за исключением смартфонов?

Хотя основная мысль этой работы сосредоточена на в частности портативным гаджетам, следует отметить альтернативных областях использования технологии:

• Управление входа в рабочих помещениях и многоквартирных зданиях;
• Платёжные аппараты банков (« Face Pay »);
• Электронные удостоверения личности последнего поколения;
• Установки видеоконтроля городских сервисов;
• Механизация отслеживания посещаемости образовательных учреждений/университетов;
• Аутентификация юзеров компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по лицу (« Face Pay ») — нужно лишь пройти через барьер без карты или мобильника! Схожие инициативы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется технический процесс в нынешнее время?

Каждый год появляются свежие концепции для улучшения стандарта деятельности систем распознавания лиц:

1. Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность погрешности;
2. Улучшаются нейронные сети — новейшие конструкции типа MobileNetV3 дают возможность скоростно обучаться свежим чертам внешности владельца прямо на устройстве без отправки данных в облако.
3. Совершенствуются технологии антиспуфинга — теперь мобильные устройства способны отличать подлинные анимированные лица от фиксированных фотографий/масок по микроскопическим движениям кожи.
4. Интеграция со интеллектуальными приборами — умные часы могут авто заблокировать телефон, если владелец ушёл далеко.
5. Появляются гибридные системы — например комбинирующие голосовую идентификацию + физиономию + пальцевой отпечаток.

Вот, какие тенденции особенно актуальны в данный момент:

1) Уменьшение элементов

Производители стараются сократить размер прорези (« чёлки ») под датчики на экране за счёт интеграции миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для увеличения личной безопасности всё более обработки данных происходит на месте без передачи данных во сторонний облачный сервис.

3) Унификация регламентов

Гугл активно продвигает норму BiometricPrompt API, для того чтобы подобные платформы, вроде admiral x, и любые Android-приложения могли работать с различными типами биометрии единообразно.

Какое подобрать сегодня?

В случае если вам всем важна максимальная защита данных, подбирайте флагманские модели со встроенным ИК-излучателем или же ToF-сенсором глубины.

• iPhone всех последних моделей
• Huawei Mate/P Series серии
• Mi Pro
• Vivo X серии
• Оппо Найти X серий.

Если бюджет скромен – лучше выбирать обычным средствам безопасности (PIN-код/сканер отпечатка), а опцию « разблокировка по лицу », такую как в admiral x, задействовать только как опциональную опцию удобства.

Каким способом повысить удобство работы возможности?

Есть пара советов для людей, кто уже применяет функцию распознавания лица:

1. Периодически меняйте свою фото-шаблон, если значительно изменяется облик.
2. Не пренебрегайте чистить линзу передней камеры – разводы могут уменьшить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает фотоаппарат когда вы берёте его в руки.
4. В процессе записи постарайтесь удерживать лицевую часть ровно перед видеоустройства исключая резкого наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отворачиваетесь от дисплея.

Будущее прогресса техники

В ближайшие времена можно предполагать возникновения полностью бесконтактных способов идентификации человека сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + шаги + жесты рук!

Также вероятно возникновение новых способов защиты личной информации – к примеру, динамическое корректировка цифрового шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых интересных технологий нашего периода! Она предоставляет интеракцию со мобильным устройством комфортнее чем до этого, и такие аппы, как admiral-x, могут значительно оптимизировать ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как функционирует эта методика в деталях, – будете в состоянии вдумчиво определять свой очередной гаджет!