Dopple-ganging en sistemas de reconocimiento facial


Es coautor con Jesse Chick, investigador principal y ex pasante de McAfee de OSU.

Un agradecimiento especial a la Dra. Catherine Huang, equipo de McAfee Advanced Analytics
Un agradecimiento especial a Kyle Baldes, ex pasante de McAfee

"Enfrenta los hechos

Hay 7,6 mil millones de personas en el mundo. Eso es un enorme ¡número! De hecho, si todos estuviéramos hombro con hombro en el ecuador, ¡la cantidad de personas en el mundo daría la vuelta a la tierra más de 86 veces! Ese es solo el número de personas vivas hoy; incluso agregando la historia de todas las personas de todos los tiempos, nunca encontrarás dos rostros humanos idénticos. De hecho, incluso en algunas de las caras más similares registradas (sin incluir a los gemelos) es bastante fácil discernir múltiples diferencias. Esto parece casi imposible; es solo una cara, ¿verdad? Dos ojos, una nariz, una boca, orejas, cejas y potencialmente otro vello facial. Seguramente, a estas alturas nos habríamos encontrado con humanos idénticos sin parentesco. Resulta que hay mucho más en el rostro humano que esto, que puede ser más sutil de lo que solemos considerar; tamaño de la frente, forma de la mandíbula, posición de las orejas, estructura de la nariz y miles de detalles más extremadamente minuciosos.

Es posible que se esté cuestionando la importancia de este detalle en lo que respecta a McAfee o la investigación de vulnerabilidades. Hoy, exploraremos algunos trabajos realizados por McAfee Advanced Threat Research (ATR) en el contexto de la ciencia y la seguridad de los datos; específicamente, analizamos los sistemas de reconocimiento facial y si eran más o menos susceptibles al error que nosotros como seres humanos.

Mire cuidadosamente las cuatro imágenes a continuación; ¿Puedes identificar cuál de estos es falso y cuál es real?

Imágenes de StyleGAN

La respuesta puede sorprenderte; Las cuatro imágenes son completamente falsas: están 100% generadas por computadora y no solo partes de diferentes personas superpuestas creativamente. Un sistema experto conocido como StyleGAN generó cada uno de estos, y millones más, con distintos grados de fotorrealismo, desde cero.

Esta impresionante tecnología es, a partes iguales, revoluciones en la ciencia de datos y la tecnología emergente que puede computar más rápido y más barato a una escala que nunca antes habíamos visto. Está permitiendo impresionantes innovaciones en ciencia de datos y generación o reconocimiento de imágenes, y se puede hacer en tiempo real o casi en tiempo real. Algunas de las aplicaciones más prácticas para esto se encuentran en el campo del reconocimiento facial; en pocas palabras, la capacidad de un sistema informático para determinar si dos imágenes u otros medios representan a la misma persona o no. La primera tecnología de reconocimiento facial por computadora se remonta a la década de 1960, pero hasta hace poco tiempo, o era rentable, propensa a falsos positivos o falsos negativos, o demasiado lenta e ineficaz para el propósito previsto.

Los avances en tecnología y los avances en inteligencia artificial y aprendizaje automático han permitido varias aplicaciones novedosas para el reconocimiento facial. En primer lugar, se puede utilizar como un mecanismo de autenticación altamente confiable; un ejemplo destacado de esto es el iPhone. Comenzando con el iPhone X en 2017, el reconocimiento facial fue el nuevo de facto estándar para autenticar a un usuario en su dispositivo móvil. Mientras que Apple utiliza funciones avanzadas como la profundidad para mapear la cara del objetivo, muchos otros dispositivos móviles han implementado métodos más estándar basados ​​en las características de la cara del objetivo; cosas que nosotros, como humanos, también vemos, incluida la ubicación de los ojos, el ancho de la nariz y otras características que, en combinación, pueden identificar con precisión a un solo usuario. Los métodos más simplistas y estándar como estos pueden sufrir inherentemente limitaciones de seguridad en relación con capacidades más avanzadas, como la captura de cámara 3D. En cierto modo, este es el punto; la complejidad añadida de la información de profundidad es lo que hace que los ataques de manipulación de píxeles sean imposibles.

Otro caso de uso emergente para los sistemas de reconocimiento facial es para la aplicación de la ley. En 2019, la Policía Metropolitana de Londres Anunciado el despliegue de una red de cámaras diseñadas para ayudar a la policía a automatizar la identificación de delincuentes o personas desaparecidas. Aunque es muy controvertido, el Reino Unido no está solo en esta iniciativa; otras ciudades importantes han puesto a prueba o implementado variantes de reconocimiento facial con o sin el consentimiento de la población en general. En China, muchos de los sistemas de trenes y autobuses aprovechan el reconocimiento facial para identificar y autenticar a los pasajeros cuando suben o bajan. Los centros comerciales y las escuelas de todo el país están implementando cada vez más tecnología similar.

Más recientemente, a la luz de los perfiles raciales y los prejuicios raciales demostrados repetidamente en la IA de reconocimiento facial, IBM anunció que eliminar sus programas de reconocimiento facial dada la forma en que podría utilizarse en la aplicación de la ley. Desde entonces, muchos otros actores importantes en el negocio del reconocimiento facial han suspendido o eliminado sus programas de reconocimiento facial. Esto puede basarse, al menos parcialmente, en un perfil alto Caso de "falso positivo" en el que las autoridades basaron erróneamente el arresto de un individuo en una coincidencia de reconocimiento facial incorrecta de un hombre negro llamado Robert Williams. El caso se conoce como el primer arresto ilícito del país como resultado directo de la tecnología de reconocimiento facial.

El reconocimiento facial tiene algunos beneficios obvios, por supuesto, y este artículo reciente detalla el uso de la tecnología de reconocimiento facial en China para localizar y reunir a una familia muchos años después de un secuestro. A pesar de esto, sigue siendo un problema muy polarizante con importantes preocupaciones sobre la privacidad, y puede requerir un desarrollo adicional significativo para reducir algunas de las fallas inherentes.

Reconocimiento facial en vivo para la validación de pasaportes

Nuestro próximo caso de uso para el reconocimiento facial puede llegar más cerca de casa de lo que cree. Varios aeropuertos, incluidos muchos en los Estados Unidos, han implementado sistemas de reconocimiento facial para ayudar o reemplazar la interacción humana para la verificación de pasaportes e identidad. De hecho, pude experimentar uno de estos yo mismo en el aeropuerto de Atlanta en 2019. Estaba lejos de estar listo, pero los viajeros pueden esperar ver implementaciones continuas de esto en todo el país. De hecho, en base al impacto global que COVID-19 ha tenido en los viajes y la desinfección, estamos observando una prisa sin precedentes para implementar soluciones sin contacto, como la biometría. Por supuesto, esto se está haciendo desde el punto de vista de la responsabilidad, pero también desde la perspectiva de la rentabilidad de las aerolíneas y los aeropuertos. Si estas dos entidades no pueden convencer a los viajeros de que su experiencia de viaje es de bajo riesgo, muchos viajeros voluntarios optarán por esperar hasta que esta garantía sea más sólida. Esta artículo amplía el impacto que el coronavirus está teniendo en el mercado incipiente del reconocimiento facial de pasaportes, brindando información específica sobre la rápida expansión de la tecnología de Delta y United Airlines en nuevos aeropuertos de inmediato, y más pruebas e integración en muchos países de todo el mundo. Si bien este empujón puede resultar en menos contacto físico y menos infecciones, también puede tener el efecto secundario de aumentar exponencialmente la superficie de ataque de un nuevo objetivo.

El concepto de control de pasaportes mediante reconocimiento facial es bastante simple. Una cámara toma un video en vivo y / o fotos de tu rostro, y un servicio de verificación lo compara con una foto tuya ya existente, recopilada anteriormente. Esto podría ser de un pasaporte o de otras fuentes como la base de datos del Departamento de Seguridad Nacional. Lo más probable es que la foto "en vivo" se procese en un formato similar (tamaño de imagen, tipo de imagen) a la foto de destino y se compare. Si coincide, el titular del pasaporte está autenticado. De lo contrario, un operador humano verificará una fuente alternativa, incluidas las tarjetas de embarque y las formas de identificación.

Como investigadores de vulnerabilidades, debemos ser capaces de ver cómo funcionan las cosas; tanto el método de funcionamiento previsto como cualquier descuido. Mientras reflexionamos sobre esta tecnología en crecimiento y las decisiones extremadamente críticas que permitió, consideramos si las fallas en el sistema subyacente podrían aprovecharse para evitar los sistemas de reconocimiento facial objetivo. Más específicamente, queríamos saber si podíamos crear "imágenes adversas" en un formato de estilo pasaporte, que se clasificaría incorrectamente como un individuo objetivo. (Además, realizamos ataques relacionados en medios digitales y físicos contra los sistemas de reconocimiento de imágenes, incluida la investigación que publicamos sobre la cámara MobilEye implementada en ciertos vehículos Tesla).

El escenario de ataque conceptual aquí es simple. Nos referiremos a nuestro atacante como Sujeto A, y está en la lista de "no volar". Si una foto o video en vivo de él coincide con una imagen de pasaporte almacenada, se le negará el embarque de inmediato y se le marcará, probablemente para arrestarlo. . Asumiremos que nunca ha enviado una foto de pasaporte. El sujeto A (también conocido como Jesse), está trabajando junto con el sujeto B (también conocido como Steve), el cómplice, que lo está ayudando a evitar este sistema. Jesse es un experto en piratería de modelos y genera una imagen falsa de Steve a través de un sistema que construye (mucho más sobre esto por venir). La imagen tiene que parecerse a Steve cuando se envía al gobierno, pero debe verificar que Jesse es la misma persona que el falso "Steve" en la foto del pasaporte. Siempre que un sistema de fotografía de pasaporte clasifique una foto en vivo de Jesse como la imagen falsa de destino, podrá omitir el reconocimiento facial.

Si esto le parece descabellado, no lo es para el gobierno alemán. Política reciente en Alemania incluida verbosidad para rechazar explícitamente fotos combinadas transformadas o generadas por computadora. Si bien las técnicas discutidas en este enlace están estrechamente relacionadas con esto, el enfoque, las técnicas y los artefactos creados en nuestro trabajo varían ampliamente. Por ejemplo, los conceptos de transformación facial en general ya no son ideas novedosas; sin embargo, en nuestra investigación, utilizamos un enfoque de morphing más avanzado, basado en el aprendizaje profundo, que es categóricamente diferente del enfoque de morphing facial de "promediado ponderado" más primitivo.

En el transcurso de 6 meses, el investigador y pasante de McAfee ATR, Jesse Chick, estudió algoritmos de aprendizaje automático de última generación, leyó y adoptó documentos de la industria y trabajó en estrecha colaboración con el equipo de análisis avanzado de McAfee para desarrollar un enfoque novedoso para derrotar a los sistemas de reconocimiento facial. . Hasta la fecha, la investigación ha progresado a través de ataques de caja blanca y caja gris con altos niveles de éxito; esperamos inspirar o colaborar con otros investigadores en ataques de caja negra y demostrar estos hallazgos contra objetivos del mundo real como los sistemas de verificación de pasaportes con la esperanza de mejorarlos.

El método de la locura

El término GAN es un acrónimo cada vez más reconocido en el campo de la ciencia de datos. Significa Generative Adversarial Network y representa un concepto novedoso que utiliza uno o más "generadores" que trabajan en conjunto con uno o más "discriminadores". Si bien este no es un artículo de ciencia de datos y no entraré en grandes detalles sobre GAN, será beneficioso comprender el concepto en un alto nivel. Puede pensar en GAN como una combinación de crítico de arte y falsificador de arte. Un crítico de arte debe ser capaz de determinar si una obra de arte es real o forjada, y de qué calidad es. El falsificador, por supuesto, está simplemente tratando de crear un arte falso que se parezca lo más posible al original, para engañar al crítico. Con el tiempo, el falsificador puede burlar al crítico y, en otras ocasiones, lo contrario puede ser cierto, pero en última instancia, a largo plazo, se obligarán mutuamente a mejorar y adaptar sus métodos. En este escenario, el falsificador es el "generador" y el crítico de arte es el "discriminador". Este concepto es análogo a GAN en el sentido de que el generador y el discriminador trabajan juntos y también se oponen entre sí; como el generador crea una imagen de una cara, por ejemplo, el discriminador determina si la imagen generada realmente se parece a una cara, o si parece otra cosa. Rechaza la salida si no está satisfecha y el proceso comienza de nuevo. Esto se repite en la fase de entrenamiento durante el tiempo que sea necesario para que el discriminador esté convencido de que el producto del generador es de calidad lo suficientemente alta como para "cumplir con el estándar".

Una de esas implementaciones que vimos anteriormente, StyleGAN, usa estas propiedades exactas para generar las caras fotorrealistas que se muestran arriba. De hecho, el equipo de investigación probó StyleGAN, pero determinó que no estaba alineado con la tarea que nos propusimos lograr: generar caras fotorrealistas, pero también poder implementar fácilmente un paso adicional en la verificación facial. Más específicamente, su arquitectura sofisticada y de nicho habría sido muy difícil de aprovechar con éxito para nuestro propósito de transformar el rostro de manera inteligente. Por esta razón, optamos por optar por un marco GAN relativamente nuevo pero poderoso conocido como CycleGAN.

CycleGAN

CycleGAN es un marco GAN que se lanzó en un papel en 2017. Representa una metodología GAN que utiliza dos generadores y dos discriminadores, y en su sentido más básico, se encarga de traducir una imagen a otra mediante el uso de GAN.

Imagen de cebras traducida a caballos a través de CycleGAN

Hay algunos detalles sutiles pero poderosos relacionados con la infraestructura CycleGAN. No profundizaremos en estos, pero un concepto importante es que CycleGAN utiliza funciones de nivel superior para traducir entre imágenes. En lugar de tomar "ruido" o "píxeles" aleatorios en la forma en que StyleGAN se traduce en imágenes, este modelo utiliza características más significativas de la imagen para la traducción (forma de la cabeza, ubicación de los ojos, tamaño del cuerpo, etc.). Esto funciona muy bien para rostros humanos, a pesar de que el documento no menciona específicamente la traducción facial humana como una fortaleza.

Face Net y InceptionResnetV1

Si bien CycleGAN es un uso novedoso del modelo GAN, en sí mismo se ha utilizado para la traducción de imagen a imagen en numerosas ocasiones. Nuestra aplicación de reconocimiento facial facilitó la necesidad de una extensión de este modelo único, con un sistema de verificación de imagen. Aquí es donde entró en juego FaceNet. El equipo se dio cuenta de que nuestro modelo no solo necesitaría crear con precisión imágenes adversas que fueran fotorrealistas, sino que también necesitaría ser verificado como el sujeto original. Más sobre esto en breve. FaceNet es una arquitectura de reconocimiento facial que fue desarrollada por Google en 2015, y se consideraba y quizás todavía se considera de vanguardia en su capacidad para clasificar rostros con precisión. Utiliza un concepto llamado incrustaciones faciales para determinar distancias matemáticas entre dos caras en una dimensión. Para los programadores o expertos en matemáticas, se utiliza un espacio de 512 dimensiones, para ser precisos, y cada incrustación es una lista o vector de 512 dimensiones. Para el profano, cuanto menos similares son los rasgos faciales de alto nivel, más separadas están las incrustaciones faciales. Por el contrario, cuanto más similares son los rasgos faciales, más cerca se trazan estos rostros. Este concepto es ideal para nuestro uso del reconocimiento facial, dado que FaceNet opera contra características de alto nivel de la cara frente a píxeles individuales, por ejemplo. Este es un concepto central y un diferenciador clave entre nuestra investigación y la creación de imágenes adversarias "superficiales", al estilo de FGSM, JSMA, etc., de uso más tradicional. La creación de un ataque que opere al nivel de características comprensibles para los humanos es donde esta investigación abre nuevos caminos .

Una de las principales razones de la popularidad de FaceNet es que utiliza un modelo previamente entrenado con un conjunto de datos entrenado en cientos de millones de imágenes faciales. Esta capacitación se realizó utilizando un conjunto de datos estándar académico / industrial bien conocido, y estos resultados están disponibles para su comparación. Además, logró una precisión publicada muy alta (99,63%) cuando se utilizó en un conjunto de 13.000 imágenes faciales aleatorias de un conjunto de datos de referencia conocido como LFW (Caras etiquetadas en la naturaleza). En nuestras propias pruebas de evaluación internas, nuestros resultados de precisión estuvieron más cerca del 95%.

En última instancia, dada nuestra necesidad de comenzar con una caja blanca para comprender la arquitectura, la solución que elegimos fue una combinación de CycleGAN y una arquitectura variante de FaceNet de código abierto conocida como InceptionResnet versión 1. los ResNet La familia de redes neuronales profundas utiliza filtros aprendidos, conocidos como convoluciones, para extraer información de alto nivel a partir de datos visuales. En otras palabras, el papel del aprendizaje profundo en el reconocimiento facial es transformar una característica abstracta del dominio de la imagen, es decir, la identidad de un sujeto, en un dominio de vectores (también conocidos como incrustaciones) de manera que puedan razonarse matemáticamente. La "distancia" entre las salidas de dos imágenes que representan el mismo tema debe asignarse a una región similar en el espacio de salida, y dos regiones muy diferentes para la entrada que representan diferentes sujetos. Cabe señalar que el éxito o el fracaso de nuestro ataque depende de su capacidad para manipular la distancia entre estas incrustaciones faciales. Para ser claros, FaceNet es la tubería que consta de preprocesamiento de datos, Inception ResNet V1 y separación de datos a través de un umbral de distancia aprendido.

Formación

Quien tenga más datos gana. Esta obviedad es especialmente relevante en el contexto del aprendizaje automático. Sabíamos que necesitaríamos un conjunto de datos lo suficientemente grande para entrenar con precisión el modelo de generación de ataques, pero supusimos que sería más pequeño que muchos otros casos de uso. Esto se debe a que, dado que nuestro objetivo era simplemente llevar a dos personas, el sujeto A (Jesse) y el sujeto B (Steve) a continuación, y minimizar la "distancia" entre las dos incrustaciones faciales producidas cuando se ingresan en FaceNet, al tiempo que se conserva una clasificación errónea en cualquier dirección. En otras palabras, Jesse necesitaba parecerse a Jesse en su foto de pasaporte y, sin embargo, ser clasificado como Steve, y viceversa. En breve, describiremos las visualizaciones y las incrustaciones faciales en detalle.

La capacitación se realizó en un conjunto de 1500 imágenes de cada uno de nosotros, capturadas de video en vivo como imágenes fijas. Proporcionamos múltiples expresiones y gestos faciales que enriquecerían los datos de entrenamiento y representarían con precisión a alguien que intenta tomar una foto de pasaporte válida.

Luego, el equipo de investigación integró la arquitectura CycleGAN + FaceNet y comenzó a entrenar el modelo.

Como puede ver en las imágenes a continuación, la salida inicial del generador es muy aproximada; ciertamente se ven como seres humanos (más o menos), pero no son fácilmente identificables y, por supuesto, tienen perturbaciones extremadamente obvias, también conocidas como "artefactos". . "

Sin embargo, a medida que avanzamos en el entrenamiento durante decenas de ciclos o épocas, algunas cosas se vuelven más evidentes visualmente. Los rostros comienzan a limpiar algunas de las anomalías al mismo tiempo que combinan las características del sujeto A y del sujeto B. Los resultados (algo espantosos) se parecen a esto:

Progresando aún más en las épocas de entrenamiento, el discriminador comienza a estar más satisfecho con la salida del generador. Sí, tenemos algunos detalles que limpiar, pero la imagen comienza a parecerse mucho más al sujeto B.

En un par de cientos de épocas de capacitación, estamos produciendo candidatos que cumplirían con el estándar para esta aplicación; pasarían como fotos de pasaporte válidas.

Imagen falsa del sujeto B

Recuerde que con cada iteración a través de este proceso de entrenamiento, los resultados se introducen sistemáticamente en la red neuronal de reconocimiento facial y se clasifican como Sujeto A o Sujeto B. Esto es esencial ya que cualquier foto que no "clasifique correctamente" como la otra, no lo hace. No cumple con uno de los objetivos principales y debe ser rechazado. También es un enfoque novedoso, ya que hay muy pocos proyectos de investigación que combinen una GAN y una red neuronal adicional en un enfoque coherente e iterativo como este.

Podemos ver visualmente arriba que las caras que se generan en este punto se están volviendo lo suficientemente reales como para convencer a los seres humanos de que no están generadas por computadora. Al mismo tiempo, miremos detrás de la cortina y veamos algunas visualizaciones de incrustaciones faciales que pueden ayudar a aclarar cómo está funcionando realmente.

Para comprender mejor las incrustaciones faciales, podemos usar las siguientes imágenes para visualizar el concepto. Primero, tenemos las imágenes utilizadas tanto para el entrenamiento como para la generación de imágenes. En otras palabras, contiene imágenes reales de nuestro conjunto de datos e imágenes generadas falsas (adversas) como se muestra a continuación:

Imágenes de modelo (Entrenamiento – Real_A y Real_B) – Generadas (Fake_B y Fake_A)

Este conjunto de imágenes es solo una época del modelo en acción; dadas las imágenes falsas altamente realistas generadas aquí, no es sorprendente que sea una época posterior en la evaluación del modelo.

Para ver estas imágenes como incrustaciones matemáticas, podemos usar una visualización que las represente en un plano multidimensional, que se puede rotar para mostrar la distancia entre ellas. Es mucho más fácil ver que este modelo representa un grupo de "Real A" y "Falso B" en un lado, y un grupo separado de "Real B" y "Falso A" en el otro. Este es el escenario de ataque ideal, ya que muestra claramente cómo el modelo confundirá la imagen falsa del cómplice con la imagen real del atacante, nuestra prueba definitiva.

(incrustar) https://www.youtube.com/watch?v=axjgi4SrcBM (/ incrustar)

Aplicación de caja blanca y caja gris

Con gran parte del aprendizaje automático, el modelo debe estar entrenado de manera efectiva y debe ser capaz de reproducir y replicar resultados en aplicaciones futuras. Por ejemplo, considere un clasificador de imágenes de alimentos; su trabajo consiste en identificar y etiquetar correctamente el tipo de comida que ve en una imagen. Debe tener un conjunto de entrenamiento masivo para que reconozca que un French Fry es diferente a una pata de cangrejo, pero también debe poder reproducir esa clasificación en imágenes de alimentos que nunca antes se había visto con una precisión muy alta. Nuestro modelo es algo diferente en el sentido de que se entrena específicamente con solo dos personas (el adversario y el cómplice), y su trabajo se realiza con anticipación durante el entrenamiento. En otras palabras, una vez que hemos generado una imagen fotorrealista del atacante que se clasifica como cómplice, el trabajo del modelo está hecho. Una advertencia importante es que debe funcionar de manera confiable tanto para identificar correctamente a las personas como para diferenciarlas, al igual que el reconocimiento facial funcionaría en el mundo real.

La teoría detrás de esto se basa en el concepto de transferibilidad; si los modelos y características elegidos en la fase de desarrollo (llamado caja blanca, con acceso completo al código y conocimiento del estado interno del modelo y parámetros pre-entrenados) son lo suficientemente similares al modelo y características del mundo real (caja negra , sin acceso al código o clasificador) un ataque será confiable transferir – incluso si la arquitectura del modelo subyacente es muy diferente. Este es realmente un concepto increíble para muchas personas, ya que parece que un atacante necesitaría comprender cada característica, cada línea de código, cada entrada y salida, para predecir cómo un modelo clasificará la "entrada adversaria". Después de todo, así es como funciona la seguridad de software clásica en su mayor parte. Mediante la lectura directa o la ingeniería inversa de un fragmento de código, un atacante puede descubrir la entrada precisa para desencadenar un error. Con la piratería de modelos (a menudo llamada aprendizaje automático adverso), podemos desarrollar ataques en un laboratorio y transferirlos a sistemas de caja negra. Este trabajo, sin embargo, nos llevará a través de los ataques de caja blanca y caja gris, con un posible trabajo futuro centrado en los ataques de caja negra contra el reconocimiento facial.

Como se mencionó anteriormente, un ataque de caja blanca es uno que se desarrolla con acceso completo al modelo subyacente, ya sea porque el investigador desarrolló el modelo o porque está utilizando una arquitectura de código abierto. En nuestro caso, hicimos ambas cosas para identificar la combinación ideal discutida anteriormente, integrando CycleGAN con varios modelos de reconocimiento facial de código abierto. El Google FaceNet real es propietario, pero los investigadores lo han reproducido de manera efectiva como marcos de código abierto que logran resultados muy similares, de ahí nuestro uso de Inception Resnet v1. Llamamos a estas versiones del modelo "caja gris" porque están en algún lugar en el medio de la caja blanca y la caja negra.

Para llevar los conceptos anteriores de la teoría al mundo real, necesitamos implementar un sistema físico que emule un escáner de pasaportes. Sin acceso al sistema de destino real, simplemente usaremos una cámara RGB, como la externa que puede ver en los escritorios de su hogar u oficina. Es probable que la cámara subyacente sea bastante similar a la tecnología utilizada por una cámara de fotos de pasaporte. Se necesitan algunas conjeturas para determinar qué está haciendo la cámara de pasaporte, por lo que nos tomamos algunas libertades informadas. Lo primero que debe hacer es capturar mediante programación cada cuadro individual del video en vivo y guardarlos en la memoria mientras dure su uso. Después de eso, aplicamos algunas transformaciones de imagen, escatándolas a un tamaño más pequeño y una resolución apropiada de una foto estilo pasaporte. Finalmente, pasamos cada fotograma al modelo preentrenado subyacente que construimos y le pedimos que determine si la cara que está analizando es el Sujeto A (el atacante) o el Sujeto B (el cómplice). El modelo ha sido entrenado con suficientes imágenes y variaciones de ambos que incluso los cambios en la postura, la posición, el peinado y más causarán una clasificación errónea. Vale la pena señalar que en este método de ataque, el atacante y el cómplice están trabajando juntos y probablemente intentarán parecerse lo más posible a las imágenes originales en el conjunto de datos en el que se entrena el modelo, ya que aumentaría la confianza general en la clasificación errónea.

Las Demos

Los siguientes videos de demostración demuestran este ataque utilizando nuestro modelo de caja gris. Presentamos a los 3 jugadores en estos videos. En los tres, Steve es el atacante ahora, Sam es nuestra persona de prueba aleatoria y Jesse es nuestro cómplice. El primero mostrará la prueba positiva.

Prueba positiva:

Esto usa una imagen real, no generada en el lado derecho de la pantalla de Steve (ahora actuando como nuestro atacante). Nuestra persona de prueba aleatoria (Sam), primero se para frente a la "cámara de verificación de pasaportes" en vivo y se compara con la imagen real de Steve. Por supuesto, deberían clasificarse como diferentes. Ahora Steve se para frente a la cámara y el modelo lo identifica correctamente contra su imagen, tomada del conjunto de datos original e inalterado. Esto prueba que el sistema puede identificar correctamente a Steve como él mismo.

Prueba negativa:

La siguiente es la prueba negativa, donde el sistema prueba a Sam con una foto real de Jesse. Está correctamente clasificado como diferente, como se esperaba. Luego, Steve se para frente al sistema y también confirma la prueba negativa, lo que demuestra que el modelo diferencia correctamente a las personas en condiciones no adversas.

Prueba de adversario:

Finalmente, en el tercer video, Sam es evaluado contra un adversario o imagen falsa de Jesse, generada por nuestro modelo. Dado que Sam no formaba parte del conjunto de entrenamiento CycleGAN diseñado para causar una clasificación errónea, se muestra correctamente nuevamente como diferente. Por último, nuestro atacante Steve se para frente a la cámara en vivo y está correctamente clasificado como Jesse (ahora el cómplice). Debido a que el modelo fue entrenado para que Jesse o Steve fueran la imagen del adversario, en este caso elegimos a Jesse como la imagen falsa / adversaria.

Si un escáner de pasaportes reemplazara por completo a un ser humano en este escenario, creería que acaba de validar correctamente que el atacante es la misma persona almacenada en la base de datos de pasaportes que el cómplice. Dado que el cómplice no está en una lista de exclusión aérea y no tiene otras restricciones, el atacante puede pasar por alto este paso de verificación esencial y abordar el avión. Vale la pena señalar que es probable que un ser humano detecte la diferencia entre el cómplice y el atacante, pero esta investigación se basa en los riesgos inherentes asociados con la dependencia de la inteligencia artificial y el aprendizaje automático, sin proporcionar una defensa en profundidad o una validación externa, como un ser humano para validar.

(incrustar) https://www.youtube.com/watch?v=YfpBbbEMi0A (/ incrustar)

Video de prueba positiva: confirmación de la capacidad de reconocer a una persona como él mismo

(incrustar) https://www.youtube.com/watch?v=YCAFxMtiAbE (/ incrustar)

Video de prueba negativa: confirmación de la capacidad de diferenciar a las personas

(incrustar) https://www.youtube.com/watch?v=FAEXmhkB17M (/ incrustar)

Video de prueba de adversario: confirmación de la capacidad de clasificar erróneamente con imagen de adversario

¿Qué hemos aprendido?

La biometría es una tecnología en la que se confía cada vez más para autenticar o verificar a las personas y, en muchos casos, está reemplazando eficazmente la contraseña y otros métodos de autenticación potencialmente poco confiables. Sin embargo, la dependencia de los sistemas automatizados y el aprendizaje automático sin considerar las fallas de seguridad inherentes presentes en la misteriosa mecánica interna de los modelos de reconocimiento facial podría proporcionar a los ciberdelincuentes capacidades únicas para eludir sistemas críticos como la aplicación automatizada de pasaportes. Hasta donde sabemos, nuestro enfoque de esta investigación representa la primera aplicación de su tipo de piratería de modelos y reconocimiento facial. Al aprovechar el poder de la ciencia de datos y la investigación de seguridad, buscamos trabajar en estrecha colaboración con los proveedores e implementadores de estos sistemas críticos para diseñar la seguridad desde cero, cerrando las brechas que debilitan estos sistemas. Como un llamado a la acción, buscamos en la comunidad un estándar mediante el cual podamos razonar formalmente sobre la confiabilidad de los sistemas de aprendizaje automático en presencia de muestras adversas. Estos estándares existen en muchas verticales de la seguridad informática, incluida la criptografía, los protocolos, la radiofrecuencia inalámbrica y muchos más. Si vamos a seguir transfiriendo tareas críticas como la autenticación a una caja negra, es mejor que tengamos un marco para determinar los límites aceptables para su resistencia y rendimiento en condiciones adversas.

Para obtener más información sobre los esfuerzos de investigación de McAfee Advanced Threat Research, siga nuestro blog o visite nuestro sitio web.





Enlace a la noticia original