Microsoft dice que es hora de atacar tu …



Con acceso a algunos datos de entrenamiento, el equipo rojo de Microsoft recreó un sistema de aprendizaje automático y encontró secuencias de solicitudes que resultaron en una denegación de servicio.

Las empresas maduras deberían realizar ataques de equipo rojo contra sus sistemas de aprendizaje automático para detectar sus debilidades y apuntalar sus defensas, dijo un investigador de Microsoft a los asistentes virtuales a la Conferencia USENIX ENIGMA esta semana.

Como parte de la investigación de la compañía sobre el impacto de los ataques en el aprendizaje automático, el equipo rojo interno de Microsoft recreó un sistema automatizado de aprendizaje automático que asigna recursos de components en respuesta a las solicitudes de la nube. A través de la prueba de su propia versión fuera de línea del sistema, el equipo encontró ejemplos contradictorios que resultaron en que el sistema se gravara en exceso, dijo Hyrum Anderson, arquitecto principal del grupo Azure Reliable Device Studying en Microsoft, durante su presentación.

Al señalar los esfuerzos de los atacantes para sortear los algoritmos de moderación de contenido o los modelos anti-spam, Anderson enfatizó que los ataques al aprendizaje automático ya están aquí.

«Si united states el aprendizaje automático, existe el riesgo de exposición, aunque la amenaza no existe actualmente en su espacio», dijo. «La brecha entre el aprendizaje automático y la seguridad definitivamente existe».

los Presentación de USENIX es el último esfuerzo de Microsoft para llamar la atención sobre el tema de los ataques adversarios en los modelos de aprendizaje automático, que a menudo son tan técnicos que la mayoría de las empresas no saben cómo evaluar su seguridad. Si bien los científicos de datos están considerando el impacto que los ataques adversarios pueden tener en el aprendizaje automático, la comunidad de seguridad debe comenzar a tomar el problema más en serio, pero también como parte de un panorama de amenazas más amplio, dice Anderson.

Los investigadores de aprendizaje automático se centran en los ataques que contaminan los datos del aprendizaje automático, personificados al presentar dos imágenes aparentemente idénticas de, digamos, un gato atigrado, y hacer que el algoritmo de inteligencia synthetic lo identifique como dos cosas completamente diferentes, dijo. Se han escrito más de 2.000 artículos en los últimos años, citando este tipo de ejemplos y proponiendo defensas, dijo.

«Mientras tanto, los profesionales de la seguridad están lidiando con cosas como SolarWinds, actualizaciones de program y parches SSL, phishing y educación, ransomware y credenciales en la nube que acaba de registrar en Github», dijo Anderson. «Y se preguntan qué tiene que ver el reconocimiento de un gato atigrado con los problemas que afrontan hoy».

En noviembre, Microsoft se unió a MITRE y otras organizaciones para lanzar Adversarial ML Danger Matrix, un diccionario de técnicas de ataque creado como una adición al marco MITRE ATT & CK. Casi el 90% de las organizaciones no saben cómo proteger sus sistemas de aprendizaje automático, según una encuesta de Microsoft publicada en ese momento.

Investigación de Microsoft

Anderson compartió un ejercicio de equipo rojo realizado por Microsoft donde el equipo tenía como objetivo abusar de un portal web utilizado para solicitudes de recursos de computer software y el algoritmo interno de aprendizaje automático que determina automáticamente a qué components físico asigna un contenedor o máquina digital solicitada.

El equipo rojo comenzó con las credenciales para el servicio, bajo el supuesto de que los atacantes podrán obtener credenciales válidas, ya sea por phishing o porque un empleado reutiliza su nombre de usuario y contraseña. El equipo rojo descubrió que cualquiera podía ver dos elementos del proceso de aprendizaje automático: acceso de solo lectura a los datos de entrenamiento y piezas clave de la parte de recopilación de datos del modelo ML.

Eso fue suficiente para crear su propia versión del modelo de aprendizaje automático, dijo Anderson.

«Aunque construimos un modelo replicable de pobre que probablemente no sea idéntico al modelo de producción, nos permitió estudiar, como un hombre de paja, y formular y probar una estrategia de ataque fuera de línea», dijo. «Esto es importante porque no sabíamos qué tipo de registro, monitoreo y auditoría se habría adjuntado al servicio de modelo implementado, incluso si tuviéramos acceso directo a nosotros».

Armado con una imagen de contenedor que solicitaba tipos específicos de recursos para causar una condición de «exceso de suscripción», el equipo rojo inició sesión a través de una cuenta diferente y aprovisionó los recursos de la nube.

«Conociendo esas solicitudes de recursos que garantizarían una condición de suscripción excesiva, podríamos instrumentar máquinas virtuales con cargas útiles de recursos hambrientos, uso elevado de CPU y uso de memoria, que se aprovisionarían en exceso y causarían una denegación de servicio a los otros contenedores en el mismo anfitrión físico «, dijo Anderson.

Puede encontrar más información sobre el ataque en una página de GitHub de Microsoft que contiene ejemplos de AA adversarios.

Anderson recomienda que los equipos de ciencia de datos protejan defensivamente sus datos y modelos, y realicen verificaciones de cordura, como asegurarse de que el modelo de ML no sobreaprovisione recursos, para aumentar la solidez.

El hecho de que un modelo no sea accesible externamente no significa que sea seguro, dice.

«Los modelos internos no son seguros por defecto, ese es un argumento que es simplemente &#39seguridad por oscuridad&#39 disfrazada», dijo. «Aunque un modelo puede no ser directamente accesible para el mundo exterior, hay caminos por los cuales un atacante puede explotarlos para causar efectos descendentes en cascada en un sistema common».

Periodista tecnológico veterano de más de 20 años. Ex ingeniero de investigación. Escrito para más de dos docenas de publicaciones, incluidas CNET News.com, Darkish Looking through, MIT&#39s Technology Evaluate, Popular Science y Wired Information. Cinco premios de periodismo, incluido el de Mejor fecha límite … Ver biografía completa

Lectura recomendada:

Más información





Enlace a la noticia original