Por qué los trabajadores tecnológicos deberían oponerse a Killer Robots

Laura Nolan, tecnóloga y ex ingeniera de software de Google - Foto de Clare Conboy

Hay muchas ético, político y legal razones para oponerse a las armas autónomas, que pueden atacar sin una decisión humana directa de atacar. Estas son buenas razones para preocuparme por las armas autónomas, pero soy ingeniero de software y también me opongo al desarrollo y uso de armas autónomas por motivos tecnológicos.

El software tiene errores y las pruebas no pueden encontrarlos todos

Todo software tiene errores. Pruebas no puedo encontrarlos y eliminarlos a todos. Esto es una consecuencia del hecho de que el software tiene un estado, que cambia con el tiempo. Cada variable adicional que utiliza un programa multiplica el número de estados en los que puede estar (por no hablar del estado en el sistema operativo). Lo solucionamos probando sistemas desde un estado predecible y recién iniciado, pero esto no significa que comprendamos todas las formas en que un programa puede comportarse.

Existen metodologías para implementar sistemas de software críticos para la seguridad. Sin embargo, la investigación sobre cómo construir sistemas autónomos críticos para la seguridad está en su infancia, incluso cuando el enfoque comercial en vehículos autónomos autónomos ha crecido durante la última década. Es posible que el problema no tenga solución.

Las armas autónomas podrían ser pirateadas

Nunca se ha construido ningún sistema informático que no pueda ser pirateado. Incluso los sistemas con espacio de aire, que nunca están conectados a Internet, han sido pirateados. Los drones operados a distancia tienen ya ha sido hackeado. Con las armas autónomas, el problema es peor: como no hay nadie que controle directamente el arma, los atacantes pueden cambiar su comportamiento sin que nadie se dé cuenta de inmediato.

La IA está sobrevalorada y es frágil

Las armas autónomas no son sinónimo de IA (inteligencia artificial), pero es muy probable que muchas armas autónomas incorporen técnicas de IA para la identificación de objetivos, en particular técnicas de reconocimiento de objetos. Desafortunadamente, el reconocimiento de objetos por visión artificial puede ser engañado y también puede percepción basada en lidar.

Las IA son imprevisible y tienden a salir mal cuando los seres humanos intentan engañarlos, o cuando se utilizan en entornos distintos de aquellos para los que fueron entrenados. La guerra es un campo que se caracteriza por el engaño y el cambio constante de tácticas, por lo que la inteligencia artificial y la toma de decisiones en la batalla probablemente sean una mala combinación.

Sesgo de automatización

Sesgo de automatización es un fenómeno bien conocido en el que los seres humanos tienden a creer y favorecer las sugerencias generadas por computadora. Los sistemas militares que incorporan la toma de decisiones humanas aún pueden sufrir este problema: exceso de confianza del operador en el sistema de misiles Patriot se ha citado como un factor en varios incidentes de fuego amigo. Incluso los sistemas automatizados que requieren que un humano dé un visto bueno final a un ataque pueden, por lo tanto, ser un problema debido al sesgo de automatización.

El uso de la IA en los sistemas de toma de decisiones solo agrava este problema, debido al hecho de que las formas modernas de IA no puedo proporcionar cualquier razonamiento humano comprensible para sus decisiones. Otro campo nuevo, la IA explicable (o XAI) tiene como objetivo resolver este problema, pero aún tiene que ceder cualquier progreso real a pesar del enorme interés. Al igual que la investigación en sistemas autónomos críticos para la seguridad, es muy posible que esta sea un área que nunca dará frutos.

Podríamos construir un robot asesino, pero no podemos construir uno responsablemente

Podríamos construir robots que puedan matar hoy. No podemos construir un robot seguro, que no pueda ser pirateado, que funcione de manera predecible en la mayoría o en todas las situaciones, que esté libre de errores y que pueda manejar de manera confiable las complejidades involucradas en el derecho internacional y el leyes de la guerra. Por eso se necesita urgentemente un tratado que prohíba su desarrollo y uso.

Si este artículo le resuena como tecnólogo, consulte la Campaña para detener a los robots asesinos recursos para trabajadores tecnológicos o únete a mí en el uso #Tecnología contra los robots asesinos.

Artículo original publicado en Medium.com.