Modelar ADAS para pavimentar caminos más seguros para vehículos autónomos


Los últimos años han sido fascinantes para aquellos de nosotros que hemos estado observando ansiosamente el movimiento constante hacia la conducción autónoma. Si bien los vehículos semiautónomos han existido durante muchos años, la visión de las flotas de vehículos totalmente autónomos que operan como una sola entidad conectada sigue siendo algo del futuro. Sin embargo, los últimos avances técnicos en esta área nos brindan una imagen única y convincente de algunas de las capacidades que podríamos esperar ver "en el futuro". Juego de palabras previsto.

Por ejemplo, casi todos los vehículos nuevos producidos en 2019 tienen un modelo que implementa sensores de última generación que utilizan tecnologías analíticas, como el aprendizaje automático o la inteligencia artificial, y están diseñados para automatizar, ayudar o reemplazar muchas de las funciones que los humanos tenían anteriormente responsable de Estos pueden ir desde sensores de lluvia en el parabrisas para controlar las escobillas del limpiaparabrisas, hasta sensores de detección de objetos que usan radar y lidar para evitar colisiones, hasta sistemas de cámara capaces de reconocer objetos dentro del alcance y proporcionar una entrada de conducción directa al vehículo.

Esta amplia adopción representa un desarrollo fascinante en nuestra industria; Es uno de esos raros momentos en que los investigadores pueden liderar la curva por delante de los adversarios para identificar las debilidades en los sistemas subyacentes.

McAfee Advanced Threat Research (ATR) tiene un objetivo específico: identificar e iluminar un amplio espectro de amenazas en el complejo panorama actual. Con piratería de modelos, el estudio de cómo los adversarios podrían atacar y evadir la inteligencia artificial, tenemos una oportunidad increíble para influir en la conciencia, la comprensión y el desarrollo de tecnologías más seguras antes de que se implementen de una manera que tenga un valor real para el adversario.

Con esto en mente, decidimos centrar nuestros esfuerzos en el sistema de cámara MobilEye ampliamente implementado, utilizado hoy en todo el mundo. 40 millones de vehículos, incluidos los modelos Tesla que implementan Hardware Pack 1.

18 meses de investigación

McAfee Advanced Threat Research sigue una política de divulgación responsable, como se indica en nuestro sitio web. Como tal, revelamos los resultados a continuación tanto a Tesla como a MobilEye 90 días antes de la divulgación pública. McAfee reveló los hallazgos a Tesla el 27 de septiembreth, 2019 y MobilEye el 3 de octubrerd, 2019. Ambos proveedores manifestaron interés y agradecieron la investigación, pero no han expresado ningún plan actual para abordar el problema en la plataforma existente. MobilEye indicó que las versiones más recientes del sistema de cámara abordan estos casos de uso.

MobilEye es uno de los principales proveedores de Advanced Driver Assist Systems (ADAS) que atiende a algunas de las compañías automotrices más avanzadas del mundo. TeslaPor otro lado, es un nombre sinónimo de innovación innovadora, que proporciona al mundo los coches inteligentes innovadores y ecológicos.

Sensor de cámara MobilEye
Una tabla que muestra el EyeQ3 de MobilEye que se está utilizando en el paquete de hardware 1 de Tesla.

Como mencionamos brevemente anteriormente, McAfee Advanced Threat Research ha estado estudiando lo que llamamos "Model Hacking", también conocido en la industria como aprendizaje automático adversario. El pirateo de modelos es el concepto de explotar las debilidades universalmente presentes en los algoritmos de aprendizaje automático para lograr resultados adversos. Hacemos esto para identificar los problemas futuros en una industria que está evolucionando la tecnología a un ritmo que la seguridad no ha seguido.

Comenzamos nuestro viaje en el mundo del pirateo de modelos replicando industria documentos sobre métodos para atacar sistemas de clasificación de imágenes de aprendizaje automático utilizados en vehículos autónomos, con un enfoque en causar clasificaciones erróneas de las señales de tráfico. Pudimos reproducir y ampliar significativamente la investigación previa centrada en las señales de alto, incluidos los ataques dirigidos, que apuntan a una clasificación errónea específica, así como los ataques no dirigidos, que no prescriben qué una imagen está mal clasificada como, solo que es mal clasificado En última instancia, tuvimos éxito en la creación de ataques digitales extremadamente eficientes que podrían causar clasificaciones erróneas de un clasificador altamente robusto, construido para determinar con alta precisión y exactitud lo que está mirando, acercándose al 100% de confianza.

Ataque de caja blanca digital dirigido a la señal de stop, lo que hace que el clasificador de señales de tráfico personalizado se clasifique erróneamente como señal de velocidad de 35 mph

Ampliamos aún más nuestros esfuerzos para crear adhesivos físicos, que se muestran a continuación, que modelan el mismo tipo de perturbaciones o cambios digitales en la foto original, que desencadenan debilidades en el clasificador y hacen que clasifique incorrectamente la imagen de destino.

Ataque de caja blanca físico dirigido a la señal de stop, lo que hace que el clasificador de señales de tráfico personalizado clasifique erróneamente la señal de stop como una señal de carril adicional

Este conjunto de pegatinas se ha creado específicamente con la combinación correcta de color, tamaño y ubicación en el letrero de destino para que un clasificador de imágenes robusto basado en cámara web piense que está mirando un letrero de "Carril agregado" en lugar de una señal de alto.

(incrustar) https://www.youtube.com/watch?v=MsH5t6uPzUQ (/ incrustar)

Video de demostración de nuestro clasificador resistente en el laboratorio que reconoce correctamente la señal de límite de velocidad de 35 mph, incluso cuando está parcialmente obstruida

En realidad, los vehículos modernos aún no confían en las señales de alto para habilitar cualquier tipo de características autónomas, como la aplicación de los frenos, por lo que decidimos alterar nuestro enfoque y cambiar a las señales de límite de velocidad. Sabíamos, por ejemplo, que la cámara MobilEye es utilizada por algunos vehículos para determinar el límite de velocidad, mostrarla en la pantalla de visualización (HUD) y potencialmente incluso alimentar ese límite de velocidad a ciertas características del automóvil relacionadas con la conducción autónoma. . ¡Volveremos a eso!

Luego repetimos los experimentos de las señales de alto en las señales de tráfico, utilizando un clasificador altamente robusto y nuestra confiable cámara web de alta resolución. Y solo para mostrar cuán robusto es nuestro clasificador, podemos hacer muchos cambios en el signo (bloquearlo parcialmente, colocar las etiquetas en ubicaciones aleatorias) y el clasificador hace un trabajo excepcional al predecir correctamente el signo verdadero, como se demuestra en el video anterior . Si bien hubo muchos obstáculos para lograr el mismo éxito, finalmente pudimos probar ataques dirigidos y no dirigidos, digital y físicamente, contra señales de límite de velocidad. Las siguientes imágenes resaltan algunas de esas pruebas.

Ejemplo de perturbaciones digitales específicas impresas con una impresora en blanco y negro que provocan una clasificación errónea de la señal de velocidad de 35 mph a la señal de velocidad de 45 mph.

En este punto, puede que se pregunte "¿qué tiene de especial engañar a una cámara web para que clasifique erróneamente una señal de límite de velocidad, fuera del factor genial?" No mucho realmente. Sentimos lo mismo y decidimos que era hora de probar la "teoría de la caja negra".

Lo que esto significa, en su forma más simple, es el uso de ataques que aprovechan la piratería de modelos que se entrena y ejecuta contra la caja blanca, también conocida como sistemas de código abierto, se transferirá con éxito a la caja negra, o a sistemas completamente cerrados y propietarios, siempre que las características y las propiedades del ataque son lo suficientemente similares. Por ejemplo, si un sistema se basa en los valores numéricos específicos de los píxeles de una imagen para clasificarlo, el ataque debería replicarse en otro sistema de cámara que también se base en características basadas en píxeles.

La última parte de nuestras pruebas de laboratorio consistió en simplificar este ataque y aplicarlo a un objetivo del mundo real. Nos preguntamos si la cámara MobilEye era tan robusta como el clasificador basado en cámara web que creamos en el laboratorio. ¿Realmente requeriría varias calcomanías altamente específicas y fácilmente perceptibles para causar una clasificación errónea? Gracias a varios empleados de oficina amigables, pudimos ejecutar pruebas repetidas en un modelo "S" 2016 y un modelo "X" Tesla 2016 usando la cámara MobilEye (paquete de hardware 1 de Tesla con chip EyeQ3 mobilEye). La primera prueba implicó simplemente intentar recrear la prueba de etiqueta física, y funcionó, casi de inmediato y con una alta tasa de reproducibilidad.

En nuestras pruebas de laboratorio, desarrollamos ataques resistentes al cambio de ángulo, iluminación e incluso reflectividad, sabiendo que esto emularía las condiciones del mundo real. Si bien estos no fueron perfectos, nuestros resultados fueron relativamente consistentes al hacer que la cámara MobilEye pensara que estaba mirando una señal de límite de velocidad diferente de lo que era. El siguiente paso en nuestras pruebas fue reducir la cantidad de calcomanías para determinar en qué punto no pudieron causar una clasificación errónea. Cuando comenzamos, nos dimos cuenta de que el HUD seguía clasificando erróneamente la señal de límite de velocidad. Continuamos reduciendo las calcomanías de 4 calcomanías adversarias en los únicos lugares posibles para confundir nuestra cámara web, hasta una sola pieza de cinta aislante negra, de aproximadamente 2 pulgadas de largo, y extendiendo el centro de las 3 en la señal de tráfico.

Una etiqueta negra robusta y discreta logra una clasificación errónea del modelo S de Tesla, que se usa para Speed ​​Assist cuando se activa TACC (Traffic Aware Cruise Control)

Incluso para un ojo entrenado, esto apenas parece sospechoso o malicioso, y muchos de los que lo vieron no se dieron cuenta de que la señal había sido alterada en absoluto. Esta pequeña pieza de adhesivo fue todo lo que se necesitó para hacer que la mejor predicción de la cámara MobilEye para que la señal fuera de 85 mph.

La línea de meta estaba cerca (último juego de palabras … probablemente).

Finalmente, comenzamos a investigar si alguna de las características del sensor de la cámara podría afectar directamente a cualquiera de las características mecánicas, e incluso más relevantes, de las funciones autónomas del automóvil. Después de un extenso estudio, nos encontramos con un foro haciendo referencia al hecho de que una función conocida como Tesla Automatic Cruise Control (TACC) podría usar señales de límite de velocidad como entrada para establecer la velocidad del vehículo.

Hubo mayoría de consenso entre los propietarios de que esta podría ser una característica compatible. Estaba claro que también había confusión entre los miembros del foro sobre si esta capacidad era posible, por lo que nuestro siguiente paso fue verificar consultando las actualizaciones de software de Tesla y las nuevas versiones.

UN lanzamiento de software para TACC contenía la información suficiente para apuntarnos hacia la asistencia de velocidad, con la siguiente declaración, bajo la descripción de la función de Control automático de crucero Tesla.

"Ahora puede ajustar inmediatamente su velocidad establecida a la velocidad determinada por Speed ​​Assist".

Esto nos llevó a nuestra madriguera final de búsqueda de documentación; Speed ​​Assist, una función lanzada en silencio por Tesla en 2014.

¡Finalmente! Ahora podemos agregar todo esto para suponer que podría ser posible, para los modelos Tesla habilitados con Speed ​​Assist (SA) y Tesla Automatic Cruise Control (TACC), usar nuestra simple modificación a una señal de tráfico para hacer que el automóvil aumente la velocidad ¡por sí mismo!

A pesar de estar seguros de que esto era teóricamente posible, decidimos simplemente ejecutar algunas pruebas para ver por nosotros mismos.

El investigador principal de McAfee ATR en el proyecto, Shivangee Trivedi, se asoció con otro de nuestros investigadores de vulnerabilidad Mark Bereza, quien resultó ser el propietario de un Tesla que exhibía todas estas características. Gracias Mark!

Para una mirada exhaustiva al número de pruebas, condiciones y equipos utilizados para replicar y verificar la clasificación errónea en este objetivo, hemos publicado nuestra matriz de prueba aquí.

El hallazgo final aquí es que pudimos lograr el objetivo original. Al realizar una pequeña modificación basada en una pegatina en nuestra señal de límite de velocidad, pudimos causar una clasificación errónea específica de la cámara MobilEye en un Tesla y usarla para hacer que el vehículo acelere de manera autónoma hasta 85 mph al leer una señal de 35 mph . Por razones de seguridad, la demostración en video muestra que la velocidad comienza a aumentar y TACC acelera en su camino a 85, pero dadas nuestras condiciones de prueba, aplicamos los frenos mucho antes de que alcance la velocidad objetivo. Vale la pena señalar que esto aparentemente solo es posible en la primera implementación de TACC cuando el conductor toca dos veces la palanca, activando TACC. Si la clasificación errónea es exitosa, el piloto automático se activa el 100% del tiempo. Este video de demostración rápida muestra todos estos conceptos unidos.

(incrustar) https://www.youtube.com/watch?v=4uGV_fRj0UA (/ incrustar)

Es de destacar que todos estos hallazgos se probaron en versiones anteriores (paquete de hardware Tesla 1, versión mobilEye EyeQ3) de la plataforma de cámara MobilEye. Tuvimos acceso a un vehículo 2020 que implementaba la última versión de la cámara MobilEye y nos complace ver que no parecía ser susceptible a este vector de ataque o clasificación errónea, aunque nuestras pruebas fueron muy limitadas. Estamos encantados de ver que MobilEye parece haber abrazado a la comunidad de investigadores que trabajan para resolver este problema y están trabajando para mejorar la resistencia de su producto. Aún así, pasará bastante tiempo antes de que la última plataforma de cámara MobilEye se implemente ampliamente. La versión vulnerable de la cámara sigue representando una base de instalación considerable entre los vehículos Tesla. Los modelos más nuevos de vehículos Tesla ya no implementan la tecnología MobilEye, y actualmente no parecen admitir el reconocimiento de señales de tráfico.

Viendo hacia adelante

Creemos que es importante cerrar este blog con una verificación de la realidad. ¿Existe un escenario factible donde un adversario podría aprovechar este tipo de ataque para causar daño? Sí, pero en realidad, este trabajo es altamente académico en este momento. Aún así, representa algunos de los trabajos más importantes en los que nos podemos centrar como industria para adelantarnos al problema. Si los proveedores y los investigadores pueden trabajar juntos para identificar y resolver estos problemas de antemano, realmente sería una victoria increíble para todos nosotros. Te dejamos con esto:

A fin de que conducir éxito en esto llave industria y cambio la percepción de que los sistemas de aprendizaje automático son seguros, necesitamos acelerar discusiones y conciencia de los problemas y dirigir La dirección y el desarrollo de tecnologías de última generación. Puns destinados.





Enlace a la noticia original