imagen de héroe de menú

Robots militares y asesinos

El advenimiento de las armas autónomas se describe a menudo como la tercera revolución en la guerra. La pólvora y las armas nucleares fueron la primera y la segunda.

El despliegue y uso de pólvora y armas nucleares cambió fundamentalmente la forma en que los combatientes y los civiles combatían y experimentaban los conflictos.

Los avances en la tecnología ahora permiten que los sistemas de armas seleccionen y ataquen objetivos de forma autónoma mediante el procesamiento de sensores. Esto significa que tenemos menos control humano sobre lo que está sucediendo y por qué. Significa que estamos más cerca de las máquinas que toman decisiones sobre a quién matar o qué destruir.

Las armas autónomas carecerían del juicio humano necesario para evaluar la proporcionalidad de un ataque, distinguir entre civiles y combatientes y respetar otros principios básicos de las leyes de la guerra.

Texto alternativo de la imagen
El advenimiento de las armas autónomas se describe a menudo como la tercera revolución en la guerra. La pólvora y las armas nucleares fueron la primera y la segunda.

La historia muestra que su uso no se limitaría a determinadas circunstancias. No está claro quién, si es que hay alguien, podría ser considerado responsable de los actos ilegales causados ​​por un arma autónoma (el programador, el fabricante, el comandante o la propia máquina) creando una brecha de responsabilidad peligrosa.

Algunos tipos de armas autónomas procesarán datos y operarán a velocidades tremendas. Estos sistemas, complejos, impredecibles e increíblemente rápidos en su funcionamiento, tendrían el potencial de hacer que los conflictos armados se salgan rápidamente de control y provoquen inestabilidad regional y mundial. Los robots asesinos carecen intrínsecamente de la capacidad de empatizar o comprender los matices o el contexto.

Es por eso que Stop Killer Robots está trabajando con veteranos militares, expertos en tecnología, científicos, especialistas en robótica y organizaciones de la sociedad civil de todo el mundo para garantizar un control humano significativo sobre el uso de la fuerza. Hacemos un llamado por una nueva ley internacional porque las leyes que prohíben y regulan las armas crean límites para los gobiernos, los ejércitos y las empresas entre lo que es aceptable y lo que es inaceptable.

Ver mas Texto alternativo de la imagen

Killer Robots: la perspectiva de un ex oficial militar

Lode Dewaegheneire se ha desempeñado durante más de 30 años como oficial en la Fuerza Aérea Belga. Después de una carrera operativa como piloto de helicóptero, también fue Asesor Militar de la delegación belga en las Naciones Unidas en Ginebra. Ahora es Asesor Militar de Mines Action Canada, miembro de Stop Killer Robots.

Preguntas Frecuentes

Algunos partidarios de las armas autónomas han argumentado que serán más precisas que los humanos y, por lo tanto, provocarán menos daños colaterales. Por ejemplo, Ron Arkin ha escrito: "Los robots probablemente poseerán una gama de sensores mejor equipados para las observaciones en el campo de batalla que los humanos, cortando la niebla de la guerra". Los partidarios argumentan que aportarán mayor velocidad y eficiencia al campo de batalla, que podrían operar en entornos con comunicaciones inseguras y que podrían salvar vidas al disminuir la necesidad de soldados humanos y actuar como disuasivo.

Pero se presentaron argumentos similares para otras armas indiscriminadas en el pasado, como las minas terrestres, las municiones en racimo y las armas nucleares. Esas armas cobraron cientos de miles de víctimas antes de ser prohibidas por tratados internacionales. Al reaccionar con su entorno de formas inesperadas, las armas autónomas aumentarían los riesgos tanto para los soldados como para los civiles. Se puede lograr una precisión mejorada sin quitar el control humano significativo del uso de la fuerza. Las ventajas potenciales de las armas autónomas se ven superadas con creces por los graves desafíos que plantean para el derecho y la seguridad internacionales.

Otro peligro que emana del despliegue de armas autónomas es la dependencia de las comunicaciones inalámbricas. Las comunicaciones inalámbricas son susceptibles a interrupciones intencionales, como piratería, "interferencias" y "falsificaciones", que podrían hacer que los sistemas no funcionen o corromper su programación. En 2012 los investigadores utilizaron una señal de comunicaciones GPS 'falsa' para redirigir el camino de un sistema aéreo no tripulado, falsificando con éxito el sistema y demostrando preocupación por la seguridad de las armas autónomas y no tripuladas. En un mundo donde la seguridad cibernética y la guerra cibernética plantean preocupaciones crecientes, la piratería más sofisticada podría permitir la toma de control total del funcionamiento de los sistemas autónomos, incluida la posible liberación de armas.

Las armas autónomas, que seleccionarían y atacarían objetivos sobre la base de los datos de los sensores, darían a los militares la capacidad de apuntar a las personas en función de su raza, etnia, género, estilo de vestimenta, altura, edad, patrón de comportamiento o cualquier otro dato disponible que podría constituir un grupo objetivo. La tecnología no es perfecta, no es neutral y los robots asesinos serían vulnerables a fallas técnicas. También existe la preocupación de que los robots asesinos sean mucho más baratos y fáciles de producir que otras armas de destrucción masiva. Miles de científicos han advertido que sin materias primas costosas o difíciles de obtener es posible que se produzcan armas autónomas en masa. Si el desarrollo no se regula, existe el riesgo de que estos sistemas sean adquiridos y desplegados por actores no estatales o individuos junto con los estados.

También existen problemas éticos, morales, técnicos, legales y de seguridad con las armas autónomas. Las máquinas carecen de características inherentemente humanas como la compasión y la comprensión de los derechos humanos y la dignidad, que son necesarias para tomar decisiones éticas complejas y aplicar las leyes de la guerra. En caso de error o acto ilícito, las armas autónomas presentan una brecha de rendición de cuentas, lo que dificultaría la garantía de justicia, especialmente para las víctimas. La naturaleza de la guerra cambiará drásticamente a medida que el envío de máquinas en lugar de tropas reduzca el umbral del conflicto. Las armas autónomas también podrían usarse en otras circunstancias, como en control de fronteras y vigilancia.

En un enfrentamiento militar donde se dirige o aplica fuerza letal, existe una clara cadena de mando y responsabilidad. Debido a que los militares funcionan como organizaciones jerárquicas, esta estructura de mando es de arriba hacia abajo, desde el comandante que ordena el uso de la fuerza hasta la persona que 'aprieta el gatillo'. Con armas autónomas, el mando y el control están amenazados, y la responsabilidad y la rendición de cuentas no son tan claras.

Si un arma autónoma puede seleccionar y atacar a sus propios objetivos, la cadena de mando se interrumpe. En estos sistemas, tras la activación hay un período de tiempo en el que el sistema de armas puede aplicar fuerza a un objetivo sin la aprobación humana adicional. Incluso si algunos parámetros están predeterminados, debido a la naturaleza dinámica del conflicto, la máquina atacaría objetivos de forma autónoma sin comando directo. Esto significa que el operador humano no determina específicamente dónde, cuándo o contra qué fuerza se aplica.

Los problemas de explicabilidad, previsibilidad y replicabilidad significan que la focalización y la participación de armas autónomas también amenazan el control militar. Habrá poca o ninguna claridad sobre por qué o cómo un robot asesino tomó una decisión específica. Si esas decisiones resultan en errores, como fuego amigo o daño colateral excesivo, será difícil determinar si fue el resultado del funcionamiento de las máquinas o de una manipulación adversa. Cuando el mando y el control se interrumpen de esta manera, la brecha de responsabilidad también se ensancha. ¿Quién es responsable de los actos ilícitos de armas autónomas? ¿Las personas que establecen las variables en su función de utilidad? ¿Las personas que lo programaron en primer lugar? ¿El comandante militar? ¿Quién será responsable?

Algunos han argumentado que el control se puede mantener mediante una supervisión adecuada o la capacidad de intervenir o cancelar un ataque. Sin embargo, existen serias preocupaciones sobre si los operadores humanos podrían mantener la comprensión de la situación necesaria para tener un control significativo. La cantidad de datos que un comandante humano tendría que revisar superaría la capacidad humana para analizarlos. La incapacidad para interpretar los enormes conjuntos de metadatos alejará aún más a los humanos de comprender lo que sucede en el campo de batalla. La velocidad y reacción de las máquinas en comparación con los humanos aumentará el ritmo de la guerra y el resultado será una pérdida de control humano significativo sobre el uso de la fuerza.

Uno de los principios fundamentales del derecho internacional humanitario (DIH) es la distinción: el requisito de distinguir entre combatientes y civiles. Pero en las últimas décadas, los conflictos han sido cada vez más conflictos armados no internacionales librados entre fuerzas estatales y actores no estatales como guerrillas o insurgentes. Los combatientes enemigos en este tipo de guerra rara vez se ven vistiendo uniformes militares estándar, lo que hace que sea más difícil distinguirlos de los civiles. En este tipo de guerra, a menudo el objetivo de los actores no estatales es mezclarse o aparecer como civiles para obtener una ventaja táctica. Dadas las dificultades que enfrentan los soldados humanos para determinar quién es un objetivo legítimo, es fácil ver que el uso de armas autónomas representa un riesgo aún mayor.

Una máquina determinaría si el objetivo era un combatiente basándose únicamente en la programación, probablemente desarrollado en un laboratorio estéril años antes de que se tomara la decisión de matar. Abrogar decisiones de vida o muerte a una máquina es moral, ética y legalmente defectuoso.

John MacBride, LCol (Retd), en una carta abierta sobre el pedido del personal militar de prohibir las armas autónomas.

Las conversaciones diplomáticas sobre la autonomía en los sistemas de armas están entrando en una etapa crítica, aunque las conversaciones en las Naciones Unidas sobre la Convención sobre Armas Convencionales han avanzado poco desde 2014. Un puñado de potencias militares se resisten obstinadamente a las propuestas de iniciar negociaciones sobre un instrumento jurídicamente vinculante que aborde autonomía en los sistemas de armas. Mientras tanto, las inversiones militares en inteligencia artificial y tecnologías emergentes continúan sin cesar. Si no se controla, esto podría resultar en una mayor deshumanización de la guerra y una disminución de la confianza del público en las muchas aplicaciones civiles prometedoras y beneficiosas de las tecnologías emergentes.

Leer más

Stop Killer Robots no busca prohibir las armas que operan bajo un control humano significativo. No nos oponemos a la inteligencia artificial (IA) o la robótica en general, ni siquiera al uso de la IA o la robótica por parte de los militares. No estamos proponiendo una prohibición de los sistemas sin armamento diseñados para salvar vidas, como los sistemas autónomos de eliminación de artefactos explosivos, que pueden funcionar con o sin control humano. Pero creemos que hay una línea que nunca debe cruzarse: la toma de decisiones de vida o muerte no debe delegarse en las máquinas.

El desarrollo o despliegue de armas autónomas dirigidas a personas y que no pueden o no operan bajo un control humano significativo reducirá el umbral de entrada en un conflicto armado, y cualquier sistema de este tipo que se despliegue es vulnerable a la piratería o al mal funcionamiento, lo que aumenta el riesgo para los amigos. tropas y civiles por igual. Tenemos entendido que ningún comandante militar querría ceder el control en el campo de batalla a un arma autónoma.

Las tecnologías son diseñadas y creadas por personas. Tenemos la responsabilidad de establecer límites entre lo que es aceptable y lo que es inaceptable. Tenemos la capacidad para hacer esto, para asegurarnos de que la inteligencia artificial y otras tecnologías emergentes contribuyan a la protección de la humanidad, no a su destrucción.

En el apogeo de la Guerra Fría, un oficial ruso salvó al mundo. El 26 de septiembre de 1983, el teniente oficial Stanislav Petrov decidió no aceptar que las señales de la computadora que lo alertaban de un ataque inminente de las ojivas nucleares estadounidenses fueran precisas. ¿Qué habría pasado si hubiera pulsado el botón "Creo" para aprobar la recomendación del sistema? Asegurar que los sistemas de armas funcionen bajo un control humano significativo significa que las decisiones de vida o muerte no se delegan a las máquinas. La importancia de la toma de decisiones humanas en un contexto militar es tan importante ahora como lo fue durante la Guerra Fría.

¿Qué se puede hacer?

John MacBride, LCol (Retd) ha escrito una carta abierta, con el objetivo de reunir pruebas de apoyo a la prohibición del desarrollo, uso y despliegue de armas autónomas por parte de veteranos y miembros de las fuerzas armadas.

Si le preocupa la inminente tercera revolución en la guerra y lo que esto significará para la cadena de mando, el orden, la responsabilidad y la seguridad de los miembros de las fuerzas armadas y civiles de todo el mundo, sume su voz a nuestro llamado. Su apoyo es invaluable y con su ayuda podemos lograr una respuesta legal a los problemas que plantean las armas autónomas.


Las armas totalmente autónomas son sistemas de armas que pueden identificar y disparar a objetivos sin que un humano los controle. No son drones armados que tengan control humano, sino máquinas que decidirían si matar o no sin la intervención humana. Esa decisión de matar no sería el resultado de las habilidades, el conocimiento, la inteligencia, la capacitación, la experiencia, la humanidad, la moralidad, el conocimiento de la situación y la comprensión de las leyes de la guerra y el derecho internacional humanitario que hombres y mujeres en uniforme usan para tomar tales decisiones. En batalla. Una máquina determinaría si el objetivo era un combatiente basándose únicamente en la programación probablemente desarrollada en un laboratorio estéril años antes de que se tomara la decisión de matar. Abrogar decisiones de vida o muerte a una máquina es moral, ética y legalmente defectuoso.

Ningún país ha desplegado armas totalmente autónomas todavía, pero están en desarrollo en varios países. Ahora es el momento de detener su desarrollo y despliegue definitivo. Algunos argumentan que estas armas son necesarias e inevitables. Entre ellos, el argumento de que mejorarían la capacidad de supervivencia de los militares y las mujeres en servicio y ese podría ser el caso si el enemigo no tuviera armas similares, pero si un lado las tiene, el otro también. Se nos dice que las máquinas no tienen debilidades humanas, no se cansan, no se enojan, no se ven afectadas por el clima o la oscuridad en la medida en que las personas sí, no conocen el miedo y eso hace que estas máquinas sean superiores a un soldado. Las máquinas no tienen estas debilidades, ni son responsables ni deben rendir cuentas por sus decisiones; podrían y atacarían con impunidad. Creemos que las características de estas armas deben prohibirse de acuerdo con el Derecho Internacional Humanitario vigente.

Los avances tecnológicos en robótica ya están ayudando a los soldados en áreas como la detección de artefactos explosivos, búsqueda y rescate y algunas tareas de ingeniería. Sin embargo, muchos en uniforme, tanto en servicio como retirados, están seriamente preocupados por la posibilidad de asignar decisiones sobre si matar, qué y cuándo matar a las máquinas. Las armas autónomas no son responsables de sus acciones. Existe una gran preocupación, particularmente cuando se considera la guerra asimétrica, que las máquinas sean capaces de discriminar de manera confiable entre objetivos que podrían estar comprometidos legalmente y aquellos que no lo son. Como soldados, marineros, aviadores y aviadoras, tanto en servicio como jubilados, nos sumamos al llamado a prohibir el desarrollo, despliegue y uso de sistemas de armas en los que la decisión de aplicar
La fuerza violenta se realiza de forma autónoma.

1

¿Firmarás?

Su apoyo es invaluable y con su ayuda se puede prevenir el desarrollo, la producción y el uso de armas totalmente autónomas.

Ver mas Texto alternativo de la imagen

Los robots asesinos pelearán nuestras guerras: ¿se puede confiar en ellos?

Paul Scharre es el Director del Programa de Tecnología y Seguridad Nacional del Center for a New American Security. Sugiere que responder preguntas, como si un robot podría o no tomar decisiones moralmente sólidas, nos ayudará a encontrar una forma humana de avanzar en el avance de las armas autónomas. El problema de sacar completamente a los humanos del circuito y dar rienda suelta a los robots asesinos se reduce a la importancia de nuestra humanidad.
Ver mas Texto alternativo de la imagen

El amanecer de los robots asesinos

En INHUMAN KIND, Motherboard obtiene acceso exclusivo a una pequeña flota de robots de eliminación de bombas del Ejército de los EE. UU., Las mismas plataformas que el ejército ha armado, ya un par de robots humanoides bípedos de dos metros de altura de DARPA. También conocemos a la ganadora del Premio Nobel de la Paz Jody Williams, el renombrado físico Max Tegmark y otros que lidian con el espectro de la inteligencia artificial, los robots asesinos y un precedente tecnológico forjado en la era atómica. Es una historia sobre la relación en evolución entre humanos y robots, y lo que la IA en las máquinas presagia para el futuro de la guerra y la raza humana.
Ver mas Texto alternativo de la imagen

La decisión de matar no debería pertenecer a un robot.

Como novelista, Daniel Suarez teje historias distópicas del futuro. Pero en el escenario de TEDGlobal, nos habla de un escenario de la vida real sobre el que todos necesitamos saber más: el surgimiento de las armas de guerra robóticas autónomas. Los drones avanzados, las armas automatizadas y las herramientas de recopilación de inteligencia impulsadas por la inteligencia artificial, sugiere, podrían tomar la decisión de librar la guerra de las manos de los humanos.

3

Podcast: Control de sistemas en el tiempo y el espacio

Este episodio explora cómo el tiempo y el espacio deben considerarse como medios para mantener un control humano significativo, respondiendo preguntas clave: 1) ¿Qué sistemas se consideran inaceptables que deberían prohibirse? 2) ¿Cómo se garantiza un control humano significativo sobre los sistemas que no necesitan ser prohibidos?

Texto alternativo de la imagen
Icono de puntos SKR

Detén a los robots asesinos

Únete al equipo

Manténgase al día con los últimos avances en el movimiento para detener a los robots asesinos.

Únete al equipo