Cuando las IA comienzan a piratear: Schneier on Protection


Cuando las IA comienzan a piratear

Si aún no tiene suficiente de qué preocuparse, considere un mundo en el que las IA sean piratas informáticos.

La piratería es tan antigua como la humanidad. Somos solucionadores de problemas creativos. Aprovechamos las lagunas, manipulamos sistemas y luchamos por obtener más influencia, poder y riqueza. Hasta la fecha, la piratería ha sido una actividad exclusivamente humana. No por mucho tiempo.

Mientras me pongo en un informe que acabo de publicar, la inteligencia artificial eventualmente encontrará vulnerabilidades en todo tipo de sistemas sociales, económicos y políticos, y luego las explotará a una velocidad, escala y alcance sin precedentes. Después de piratear a la humanidad, los sistemas de IA piratearán otros sistemas de IA, y los humanos serán poco más que daños colaterales.

De acuerdo, tal vez esto sea un poco hipérbole, pero no requiere tecnología de ciencia ficción del futuro lejano. No estoy postulando una «singularidad» de la IA, en la que el ciclo de retroalimentación del aprendizaje de la IA se vuelve tan rápido que supera la comprensión humana. No estoy asumiendo androides inteligentes. No estoy asumiendo malas intenciones. La mayoría de estos trucos ni siquiera requieren grandes avances en la investigación de la IA. Ya están sucediendo. Sin embargo, a medida que la IA se vuelve más sofisticada, a menudo ni siquiera nos damos cuenta de que está sucediendo.

Las IA no resuelven problemas como lo hacen los humanos. Ellos buscan más tipos de soluciones que nosotros. Seguirán caminos complejos que no hemos considerado. Esto puede ser un problema debido a algo llamado problema de explicabilidad. Los sistemas de IA modernos son esencialmente cajas negras. Los datos van por un extremo y la respuesta sale por el otro. Puede ser imposible entender cómo el sistema llegó a su conclusión, incluso si eres un programador que mira el código.

En 2015, un grupo de investigación alimentó un sistema de inteligencia synthetic llamado Deep Client datos médicos y de salud de unas 700.000 personas, y probó si podía predecir enfermedades. Podría, pero Deep Affected individual no proporciona una explicación de la foundation de un diagnóstico, y los investigadores no tienen concept de cómo llega a sus conclusiones. Un médico puede confiar o ignorar la computadora, pero esa confianza permanecerá ciega.

Si bien los investigadores están trabajando en una inteligencia artificial que puede explicarse por sí misma, parece haber un equilibrio entre la capacidad y la explicabilidad. Las explicaciones son una abreviatura cognitiva utilizada por los humanos, adecuada para la forma en que los humanos toman decisiones. Obligar a una IA a producir explicaciones podría ser una restricción adicional que podría afectar la calidad de sus decisiones. Por ahora, la IA se está volviendo cada vez más opaca y menos explicable.

Por separado, las IA pueden participar en algo llamado pirateo de recompensas. Debido a que las IA no resuelven los problemas de la misma manera que las personas, invariablemente encontrarán soluciones que los humanos nunca hubiéramos anticipado, y algunas subvertirán la intención del sistema. Esto se debe a que las IA no piensan en términos de las implicaciones, el contexto, las normas y los valores que los humanos compartimos y damos por sentados. Este pirateo de recompensas implica lograr un objetivo, pero de una manera que los diseñadores de la IA no querían ni pretendían.

Tomemos una simulación de fútbol en la que una IA descubrió que si pateaba el balón fuera de los límites, el portero tendría que lanzar el balón y dejar la portería sin defensa. U otra simulación, donde una IA descubrió que en lugar de correr, podría hacerse lo suficientemente alto como para cruzar una línea de meta distante al caer sobre ella. O el robotic aspirador que en lugar de aprender a no chocar contra cosas, aprendió a conducir hacia atrás, donde no había sensores que le indicaran que chocaba contra cosas. Si hay problemas, inconsistencias o lagunas en las reglas, y si esas propiedades conducen a una solución aceptable según lo definido por las reglas, las IA encontrarán estos trucos.

Aprendimos sobre este problema de piratería cuando éramos niños con la historia del Rey Midas. Cuando el dios Dionisio le concede un deseo, Midas le pide que todo lo que toque se convierta en oro. Termina hambriento y depressing cuando su comida, bebida e hija se convierten en oro. Es un problema de especificación: Midas programó el objetivo equivocado en el sistema.

Los genios son muy precisos en la redacción de los deseos y pueden ser maliciosamente pedantes. Lo sabemos, pero todavía no hay forma de burlar al genio. Lo que sea que desee, él siempre podrá concederlo de la manera que usted desearía que no lo hubiera hecho. Hackeará tu deseo. Las metas y los deseos siempre están subespecificados en el lenguaje y el pensamiento humanos. Nunca describimos todas las opciones, ni incluimos todas las advertencias, excepciones y salvedades aplicables. Cualquier objetivo que especifiquemos será necesariamente incompleto.

Si bien los humanos generalmente comprenden implícitamente el contexto y generalmente actúan de buena fe, no podemos especificar completamente los objetivos de una IA. Y las IA no podrán comprender completamente el contexto.

En 2015, Volkswagen fue sorprendido haciendo trampa en las pruebas de handle de emisiones. Esto no era inteligencia artificial [ingenieros humanos programaron una computadora normal para hacer trampa], pero ilustra el problema. Programaron su motor para detectar pruebas de command de emisiones y comportarse de manera diferente. Su trampa no fue detectada durante años.

Si le pidiera que diseñara el software de regulate del motor de un automóvil para maximizar el rendimiento y al mismo tiempo pasar las pruebas de manage de emisiones, no diseñaría el computer software para hacer trampa sin comprender que lo está haciendo. Esto simplemente no es cierto para una IA. Pensará «fuera de la caja» simplemente porque no tendrá una concepción de la caja. No entenderá que la solución de Volkswagen daña a otros, socava la intención de las pruebas de command de emisiones y está infringiendo la ley. A menos que los programadores especifiquen el objetivo de no comportarse de manera diferente cuando se prueban, una IA podría presentar el mismo truco. Los programadores estarán satisfechos, los contables extasiados. Y debido al problema de la explicabilidad, nadie se dará cuenta de lo que hizo la IA. Y sí, conociendo la historia de Volkswagen, podemos establecer explícitamente el objetivo de evitar ese truco en certain. Pero la lección del genio es que siempre habrá trucos inesperados.

¿Qué tan realista es la piratería de IA en el mundo real? La viabilidad de una IA que invente un nuevo truco depende en gran medida del sistema específico que se esté modelando. Para que una IA comience a optimizar un problema, y ​​mucho menos a piratear una solución completamente nueva, todas las reglas del entorno deben formalizarse de una manera que la computadora pueda entender. Es necesario establecer metas, conocidas en IA como funciones objetivas. Y la IA necesita algún tipo de retroalimentación sobre qué tan bien lo está haciendo para poder mejorar.

A veces esto es sencillo. En el ajedrez, las reglas, el objetivo y la retroalimentación: ¿ganaste o perdiste? – están todos especificados con precisión. Y no hay contexto para conocer fuera de esas cosas que enturbiarían las aguas. Esta es la razón por la que la mayoría de los ejemplos actuales de piratería de objetivos y recompensas provienen de entornos simulados. Estos son artificiales y restringidos, con todas las reglas especificadas para la IA. La ambigüedad inherente en la mayoría de los otros sistemas termina siendo una defensa de seguridad a corto plazo contra la piratería de IA.

Donde esto se pone interesante son los sistemas que están bien especificados y son casi completamente digitales. Piense en sistemas de gobernanza como el código fiscal: una serie de algoritmos, con entradas y salidas. Piense en los sistemas financieros, que son más o menos manejables algorítmicamente.

Podemos imaginar equipar una IA con todas las leyes y regulaciones del mundo, además de toda la información financiera del mundo en tiempo true, además de cualquier otra cosa que consideremos relevante y luego darle el objetivo de «beneficio máximo». Supongo que esto no está muy lejos y que el resultado será todo tipo de trucos novedosos.

Pero los avances en IA son discontinuos y contradictorios. Las cosas que parecen fáciles resultan difíciles y las que parecen difíciles resultan fáciles. No lo sabremos hasta que se produzca el gran avance.

Cuando las IA comiencen a piratear, todo cambiará. No estarán limitados de la misma manera, ni tendrán los mismos límites, que las personas. Cambiarán la velocidad, la escala y el alcance de la piratería a tasas y magnitudes para las que no estamos preparados. Los bots de generación de texto de IA, por ejemplo, se replicarán por millones en las redes sociales. Podrán participar en problemas las 24 horas del día, enviar miles de millones de mensajes y abrumar cualquier discusión authentic en línea entre humanos. Lo que veremos como un debate político bullicioso serán los bots discutiendo con otros bots. Influirán artificialmente en lo que creemos que es ordinary, en lo que pensamos que piensan los demás.

El alcance cada vez mayor de los sistemas de IA también hace que los piratas informáticos sean más peligrosos. Las IA ya están tomando decisiones importantes sobre nuestras vidas, decisiones que solíamos creer que eran competencia exclusiva de los humanos: quién obtiene la libertad condicional, recibe préstamos bancarios, ingresa a la universidad o consigue un trabajo. A medida que los sistemas de inteligencia synthetic se vuelvan más capaces, la sociedad les cederá más decisiones, y más importantes. Los ataques a estos sistemas serán más dañinos.

¿Qué pasaría si le dieras a una IA todo el código fiscal de EE. UU.? ¿O, en el caso de una corporación multinacional, los códigos fiscales del mundo entero? ¿Se dará cuenta, sin que le digan, que es inteligente incorporarse en Delaware y registrar su barco en Panamá? ¿Cuántas lagunas encontrará que aún no conocemos? Docenas? Miles? No tenemos ni plan.

Si bien tenemos sistemas sociales que se ocupan de los piratas informáticos, estos se desarrollaron cuando los piratas informáticos eran humanos y reflejan la velocidad, la escala y el alcance humanos. El IRS no puede lidiar con docenas, y mucho menos con miles, de lagunas fiscales recientemente descubiertas. Una IA que descubra hackeos imprevistos pero legales de los sistemas financieros podría alterar nuestros mercados más rápido de lo que podríamos recuperarnos.

Como hablo en mi reporte, mientras que los atacantes pueden utilizar los hacks para explotar sistemas, los defensores también pueden utilizarlos para parchear y proteger los sistemas. Entonces, a largo plazo, los piratas informáticos de inteligencia synthetic favorecerán la defensa porque nuestro program, código fiscal, sistemas financieros, etcetera., se pueden parchear antes de implementarlos. Por supuesto, el período de transición es peligroso debido a todas las reglas heredadas que serán pirateadas. Allí, nuestra solución tiene que ser la resiliencia.

Necesitamos construir estructuras de gobierno resistentes que puedan responder rápida y eficazmente a los ataques. No servirá de nada si se necesitan años para actualizar el código fiscal, o si un truco legislativo se vuelve tan arraigado que no se puede parchear por razones políticas. Este es un problema difícil de la gobernanza moderna. Tampoco es un problema sustancialmente diferente al de construir estructuras de gobierno que puedan operar a la velocidad y complejidad de la period de la información.

Lo que he estado describiendo es la interacción entre los sistemas humanos y informáticos, y los riesgos inherentes cuando las computadoras comienzan a hacer el papel de los humanos. Este también es un problema más typical que los piratas informáticos de inteligencia artificial. También es uno sobre el que están escribiendo los tecnólogos y futuristas. Y aunque es fácil dejar que la tecnología nos guíe hacia el futuro, estaremos mucho mejor si nosotros, como sociedad, decidimos cuál debería ser el papel de la tecnología en nuestro futuro.

Todo esto es algo que debemos resolver ahora, antes de que estas IA se conecten y comiencen a piratear nuestro mundo.

Este ensayo aparecido previamente en Wired.com

Publicado el 26 de abril de 2021 a las 6:06 AM •
11 comentarios



Enlace a la noticia initial