Redes de destrucción habilitadas por IA y la pendiente resbaladiza hacia sistemas de armas autónomos

Fotos originales: Matt Reding y Markus Spiske.

LEl mes pasado, la Convención de las Naciones Unidas sobre Armas Convencionalesons (CCW) se está reuniendo para discutir los Sistemas de Armas Autónomas Letales (LAWS), a veces descritos como 'robots asesinos'. Las LEYES son sistemas que tienen la capacidad de seleccionar objetivos y aplicar la fuerza de forma autónoma, sin un control humano significativo. La CCW ha estado trabajando en este tema desde 2014, pero aún no ha llegado a un acuerdo sobre ninguna acción para abordar las preocupaciones planteadas por estas armas.

Como campaña para detener a los robots asesinos ponerlo a finales de 2019: “La diplomacia avanza a paso de tortuga, pero aumenta la presión sobre los estados para iniciar negociaciones sobre un nuevo tratado sobre armas totalmente autónomas sin demora. Cada vez se reconoce más que los sistemas de armas que seleccionarían y atacarían objetivos sobre la base del procesamiento de sensores y que no permiten un control humano significativo cruzan el umbral de aceptabilidad y deben prohibirse ".

El mes pasado, el Ejército de los EE. UU. Concluyó un ejercicio de tres semanas de duración, llamado Proyecto Convergencia, destinado a probar y desarrollar un "Inteligencia artificial (IA) habilitada para matar la web", una red que vincularía los sistemas computarizados de selección de objetivos automatizados con los sistemas de armas. Se han jactado de poder detectar y disparar a un objetivo (desde artillería terrestre o un dron) dentro de 20 segundos. Los soldados pueden disparar misiles desde drones a través de una aplicación de teléfono inteligente. Los datos de reconocimiento de drones se combinan con otras fuentes y 'la red' presenta amenazas en un mapa digital.

Foto: Deva Darshan.

La Campaña para detener a los robots asesinos tiene como objetivo preservar un control humano significativo sobre el uso de la fuerza. Las tecnologías que se están probando como parte de Project Convergence demuestran muchas de nuestras preocupaciones. ¿Puede un operador tomar una decisión acertada sobre si golpear un objetivo recién detectado en menos de 20 segundos, o simplemente está golpeando un objetivo? 'Botón de creo' para aprobar la recomendación del sistema, delegando la verdadera autoridad de toma de decisiones al software? En un sistema sociotécnico que se optimiza explícitamente para reducir el tiempo desde la detección de una amenaza potencial hasta su destrucción, es posible que un individuo no sea recompensado por ejercer la vigilancia. La idea de realizar ataques a través de la interfaz de usuario muy limitada de un teléfono inteligente también es preocupante.

En ningún lugar de los informes públicos sobre la convergencia del proyecto hay discusión sobre los factores humanos en el diseño de interfaces de software, qué capacitación reciben los usuarios sobre cómo funcionan los sistemas de focalización involucrados (y sobre las deficiencias de esos sistemas), o cómo garantizar que los operadores tengan suficiente contexto y tiempo para tomar decisiones. Eso es consistente con el Principios de IA de la Junta de Innovación de Defensa (DIB), publicado el año pasado, que también omite cualquier mención de factores humanos, interfaces de computadora o cómo lidiar con la probabilidad de sesgo de automatización (la tendencia de los humanos a favorecer las sugerencias de los sistemas automatizados de toma de decisiones).

Los principios de DIB AI incluyen confiabilidad: 'Los sistemas de inteligencia artificial del Departamento de Defensa deben tener un dominio de uso explícito y bien definido, y la seguridad, protección y solidez de dichos sistemas deben probarse y garantizarse a lo largo de todo su ciclo de vida dentro de ese dominio de uso . Este principio contrasta con el enfoque adoptado para Project Convergence, que utiliza 'interfaz [s] plug-and-play […] para que un nuevo módulo funcione en el dron por primera vez, sin una laboriosa integración técnica o recertificaciones de seguridad que consumen mucho tiempo', y un sistema de red'que mejora significativamente la capacidad de combate de nuestras brigadas de maniobra, pero […] no fue enviado para hacer las cosas que estamos haciendo".

Los tipos de sistemas improvisados ​​que se utilizan como parte del Proyecto Convergencia pueden no ser lo que muchos de nosotros pensamos como un sistema de armas autónomo: hay objetivos automáticos, pero el uso de la fuerza está separado de la selección de objetivos, y hay una tomador de decisiones humano en el circuito (aunque no estamos seguros de que el tomador de decisiones siempre tenga suficiente tiempo y contexto).

Sin embargo, estos sistemas son, como mínimo, un paso significativo en una pendiente resbaladiza hacia armas completamente autónomas. Arthur Michel Holland llama a este tipo de herramientas 'Sistemas habilitadores de letalidad'y señala que “en ausencia de estándares sobre tales asuntos, sin mencionar los protocolos para la responsabilidad algorítmica, no hay una buena manera de evaluar si un asesinato mal habilitado algorítmicamente se debió a datos deficientes, error humano o un acto deliberado de agresión contra un grupo protegido. Un actor militar bien intencionado podría ser descarriado por un algoritmo desviado y no saberlo; pero con la misma facilidad, un actor con motivos más oscuros podría usar algoritmos como un velo conveniente para una decisión intencionalmente insidiosa ".

Este tipo de preocupaciones son exactamente la razón por la que la Campaña para detener a los robots asesinos exige la retención de un control humano significativo sobre el uso de la fuerza como medida obligación general, en lugar de buscar regular alguna tecnología específica. El tiempo es ahora. Este artículo ha discutido el Proyecto Convergencia de los Estados Unidos como un ejemplo oportuno (y bien informado), pero muchas potencias militares importantes están explorando la selección de objetivos basada en la inteligencia artificial y la industria de armas está sistemas de construcción con niveles crecientes de autonomía.

Foto: Mufid Majnun

Estamos en 2020. Hemos visto la peor pandemia mundial en cien años. Estamos en una crisis climática y los bosques de todo el mundo se han quemado a un ritmo récord. Nos enfrentamos a una recesión económica, la exposición de las desigualdades sistémicas y las crisis alimentarias que existen desde hace mucho tiempo. Sin embargo, con cada crisis que nos ha abierto el 2020, ha habido personas en todo el mundo que han dado un paso al frente para desempeñar su papel en favor de la humanidad. Entonces, si bien 2020 es una contabilidad sombría, aún podemos elegir un futuro que no agregue 'redes de muerte habilitadas para IA' y armas autónomas a la lista. Los desarrollos tecnológicos no se están desacelerando, pero hay tiempo para actuar, si actuamos rápido.

Para obtener más información sobre los robots asesinos y lo que puede hacer, visite: www.stopkillerrobots.org

Artículo original sobre Medium.com.