Cuando la IA se convierte en hacker


Bruce Schneier explora los peligros potenciales de los sistemas de inteligencia synthetic (IA) que se han vuelto rebeldes en la sociedad.

Fuente: Bruce Schneier

Fuente: Bruce Schneier

Durante los últimos años, rEl reconocido tecnólogo e investigador Bruce Schneier ha estado investigando cómo se pueden piratear los sistemas sociales, específicamente las reglas de los mercados financieros, las leyes y el código tributario. Eso lo llevó a su último examen de las posibles consecuencias no deseadas de la inteligencia artificial en la sociedad: cómo los propios sistemas de IA, a los que él se refiere como «IA», podrían evolucionar de manera que automáticamente, e inadvertidamente, abusen de los sistemas sociales.

«Son las IA como piratas informáticos», dice, en lugar de los piratas informáticos que piratean los sistemas de IA.

Schneier discutirá su investigación sobre hackers de IA en un discurso de apertura el lunes en la Conferencia RSA 2021, Que, debido a la pandemia, se lleva a cabo en línea en lugar de en persona en San Francisco. El tema de la IA se basa en un ensayo reciente que escribió para el Cyber ​​Project and Council for the Liable Use of AI en el Belfer Center for Science and International Affairs de la Harvard Kennedy College.

La pregunta central que plantea Schneier es la siguiente: ¿qué pasaría si los sistemas de inteligencia synthetic pudieran piratear los sistemas sociales, económicos y políticos a la escala, velocidad y alcance de las computadoras de manera que los humanos no pudieran detectarlo a tiempo y sufrir las consecuencias?

Es donde las IA evolucionan hacia «el proceso creativo de encontrar hacks».

«Ya están haciendo eso en el program, encontrando vulnerabilidades en el código de la computadora. No son tan buenos en eso, pero eventualmente mejorarán (mientras) los humanos permanecen igual» en sus capacidades de descubrimiento de vulnerabilidades, dice.

En menos de una década a partir de ahora, predice Schneier, las IA podrán «vencer» a los humanos en concursos de piratería para capturar la bandera, apuntando al concurso DEFCON en 2016 cuando un equipo solo de IA llamado Mayhem quedó en último lugar contra todos. -Equipos humanos. Eso es porque la tecnología de IA evolucionará y superará la capacidad humana.

Schneier dice que no se trata tanto de que las IA «ingresen» a los sistemas, sino de que las IA crean sus propias soluciones. «La inteligencia synthetic presenta un truco y una vulnerabilidad, y luego los humanos lo miran y dicen: &#39Eso es bueno&#39» y lo usan como una forma de ganar dinero, como con los fondos de cobertura en el sector financiero, dice.

La ironía aquí, por supuesto, es que la IA comienza con la participación y la programación humanas. Dejando de lado las analogías de Frankenstein, el problema central es que la IA no tiene las mismas funciones cognitivas humanas como la empatía o una prueba de instinto para saber dónde trazar la línea. Schneier señala que, si bien hay mucha investigación sobre la incorporación del contexto, la ética y los valores en los programas de inteligencia synthetic, no es una función incorporada de los sistemas de inteligencia artificial actuales.

Aun así, dice, los seres humanos emplearán la inteligencia artificial para encontrar lagunas en los códigos fiscales, como cuando una importante empresa de contabilidad lo hace para encontrar una nueva «evasión fiscal para vender a sus clientes». Por lo tanto, no es probable que las empresas financieras «programen» reglas que frustran su capacidad para monetizar el conocimiento de la IA.

El mayor riesgo es que las IA encuentren una forma de eludir una regla sin que los humanos lo sepan: «que las IA descubrirán algo que pirateará las reglas y no nos daremos cuenta de eso», dice Schneier.

Schneier señala el escándalo de Volkswagen en 2015, cuando el fabricante de automóviles fue sorprendido haciendo trampa en las pruebas de nivel de manage de emisiones de sus modelos de vehículos después de que los ingenieros programaron los sistemas informáticos de los automóviles para activar la reducción de emisiones solo durante las pruebas, no en sus operaciones normales.

«Allí estaban los humanos atacando las reglas» y no la IA en sí, dice, pero es un buen ejemplo de lo que la IA podría hacer en última instancia para engañar a un sistema si no se controla para aprender formas de evitarlo.

En su ensayo, «The Coming AI Hackers», Schneier lo describe de esta manera: «Si le pidiera que diseñara el application de handle del motor de un automóvil para maximizar el rendimiento y al mismo tiempo pasar las pruebas de management de emisiones, no diseñaría el software program para hacer trampa sin entender que está haciendo trampa. Esto simplemente no es cierto para una IA, no comprende el concepto abstracto de hacer trampas. Pensará «fuera de la caja» simplemente porque no tendrá una concepción de la caja, o de las limitaciones de las soluciones humanas existentes, o de la ética. No entenderá que la solución de Volkswagen daña a otros, que socava la intención de las pruebas de command de emisiones o que está infringiendo la ley «.

Una llamada de atención a la acción
Schneier admite que el concepto de IA como piratas informáticos es «súper especulativo» por ahora, pero es un problema que debe abordarse.

«Tenemos que pensar en esto», dice. «Y no estoy seguro de que puedas detener esto. La facilidad con que esto (piratería de IA) suceda depende mucho del dominio (en cuestión): ¿Cómo podemos codificar las reglas del sistema?»

La clave es aprovechar las IA para la defensa, como encontrar y corregir todas las vulnerabilidades en un programa de software program antes de su lanzamiento.

«Entonces viviríamos en un mundo donde las vulnerabilidades del computer software eran cosa del pasado», dice.

La desventaja es que el período de transición sería vulnerable: el código heredado o ya publicado podría estar en riesgo de ser atacado por herramientas de inteligencia artificial abusadas por los adversarios, dice.

El riesgo es que los sistemas de inteligencia synthetic pirateen otros sistemas de inteligencia artificial en el futuro y los humanos experimenten las consecuencias, dice.

La última investigación de inteligencia synthetic de Schneier evolucionó a partir de su estudio de cómo la mentalidad y las habilidades de los piratas informáticos podrían aplicarse para proteger los sistemas sociales, que presentó por primera vez en la Conferencia RSA 2020 en San Francisco. Este concepto, que él acuñó como «sociedad de piratería», significaría que los piratas informáticos éticos ayudarían a arreglar el código tributario y la legislación de Estados Unidos para evitar lagunas involuntarias o deliberadas, por ejemplo.

Su gran idea se lower a esto: «¿Podemos piratear la sociedad y ayudar a proteger los sistemas que la componen?»

Mientras tanto, esté atento a las IA que piratean la sociedad.

«Las computadoras son mucho más rápidas que las personas. Un proceso humano que puede llevar meses o años podría comprimirse a días, horas o incluso segundos. ¿Qué podría suceder cuando alimentas a una IA con el código tributario de EE. UU. Completo y le ordenas que averigüe todo las formas en que se puede minimizar la cantidad de impuestos adeudados? » escribió en su ensayo.

Kelly Jackson Higgins es la editora ejecutiva de Darkish Looking through. Es una periodista veterana y galardonada en tecnología y negocios con más de dos décadas de experiencia en la elaboración de informes y la edición de varias publicaciones, entre las que se incluyen Network Computing, Protected Organization … Ver biografía completa

Lectura recomendada:

Más información





Enlace a la noticia original