Kill Webs activé par l'IA et la pente glissante vers les systèmes d'armes autonomes

Photos originales : Matt Reding et Markus Spiske.

Lle mois dernier, la Convention des Nations Unies sur les armes classiquesons (CCW) se réunit pour discuter des systèmes d'armes létales autonomes (LAWS), parfois décrits comme des «robots tueurs». Les LAWS sont des systèmes qui ont la capacité de sélectionner des cibles et d'appliquer la force de manière autonome, sans contrôle humain significatif. La CCW travaille sur cette question depuis 2014, mais n'est pas encore parvenue à un accord sur une action pour répondre aux préoccupations soulevées par ces armes.

Comme la campagne pour arrêter les robots tueurs le mettre fin 2019: « La diplomatie avance à pas de tortue, mais la pression monte sur les États pour qu'ils lancent sans délai des négociations sur un nouveau traité sur les armes totalement autonomes. Il est de plus en plus reconnu que les systèmes d'armes qui sélectionneraient et engageraient des cibles sur la base du traitement des capteurs et qui ne permettent pas un contrôle humain significatif franchissent le seuil d'acceptabilité et doivent être interdits. »

Le mois dernier, l'armée américaine a conclu un exercice de trois semaines, appelé Project Convergence, visant à tester et développer un « tuer le Web activé par l'intelligence artificielle (IA) », un réseau qui relierait les systèmes automatisés informatisés de sélection de cibles aux systèmes d'armes. Ils se sont vantés de pouvoir détecter et tirer sur une cible (de l'artillerie au sol ou d'un drone) dans 20 secondes. Les soldats peuvent tirer des missiles à partir de drones via une application pour smartphone. Les données de reconnaissance des drones sont combinées avec d'autres sources et « le réseau » présente les menaces sur une carte numérique.

Photo : Deva Darshan.

La Campagne pour arrêter les robots tueurs vise à préserver un contrôle humain significatif sur l'usage de la force. Les technologies testées dans le cadre du projet Convergence illustrent bon nombre de nos préoccupations. Un opérateur peut-il prendre une décision éclairée quant à l'opportunité de frapper une cible nouvellement détectée en moins de 20 secondes, ou s'il ne fait qu'atteindre un 'Bouton je-crois' valider la recommandation du système, en déléguant le véritable pouvoir de décision au logiciel ? Dans un système sociotechnique qui optimise explicitement pour réduire le temps entre la détection d'une menace potentielle et sa destruction, un individu peut ne pas être récompensé pour sa vigilance. L'idée de faire des attaques via l'interface utilisateur très limitée d'un smartphone est également troublante.

Nulle part dans les rapports publics sur le projet Convergence, il n'y a de discussion sur les facteurs humains dans la conception d'interfaces logicielles, sur la formation des utilisateurs sur le fonctionnement des systèmes de ciblage impliqués (et sur les lacunes de ces systèmes), ou sur la manière de garantir que les opérateurs disposent d'un contexte et d'un le temps de prendre des décisions. C'est cohérent avec le Principes de l'IA du Defense Innovation Board (DIB), publié l'année dernière, qui omet également toute mention des facteurs humains, des interfaces informatiques ou de la manière de gérer la probabilité de biais d'automatisation (la tendance des humains à privilégier les suggestions des systèmes de prise de décision automatisés).

Les principes DIB AI incluent la fiabilité : « les systèmes DoD AI doivent avoir un domaine d'utilisation explicite et bien défini, et la sûreté, la sécurité et la robustesse de ces systèmes doivent être testées et assurées tout au long de leur cycle de vie dans ce domaine d'utilisation. .' Ce principe contraste avec l'approche adoptée pour le projet Convergence, qui utilise 'interface[s] plug-and-play […] pour faire fonctionner un nouveau pod sur le drone pour la première fois, sans intégration technique laborieuse ni recertifications de sécurité fastidieuses', et un système de réseau 'qui améliore considérablement la capacité de combat de nos brigades de manœuvre, mais […] n'a pas été déployé pour faire les choses que nous faisons".

Les types de systèmes bricolés utilisés dans le cadre du projet Convergence ne sont peut-être pas tout à fait ce que beaucoup d'entre nous considèrent comme un système d'armes autonome - il y a un ciblage automatisé, mais l'utilisation de la force est séparée de la sélection de la cible, et il y a un décideur humain dans la boucle (bien que nous ne soyons pas sûrs que le décideur ait toujours suffisamment de temps et de contexte).

Cependant, ces systèmes sont, à tout le moins, une étape importante sur une pente glissante vers des armes entièrement autonomes. Arthur Michel Holland appelle ce genre d'outils 'Systèmes permettant la létalité' et note qu'"en l'absence de normes sur de telles questions, sans parler des protocoles de responsabilité algorithmique, il n'y a pas de bon moyen d'évaluer si un mauvais meurtre algorithmiquement activé est dû à des données médiocres, à une erreur humaine ou à un acte d'agression délibéré. contre un groupe protégé. Un acteur militaire bien intentionné pourrait être induit en erreur par un algorithme déviant et ne pas le savoir ; mais tout aussi facilement, un acteur avec des motivations plus sombres pourrait utiliser des algorithmes comme un voile pratique pour une décision intentionnellement insidieuse.

Ce genre de préoccupations est exactement la raison pour laquelle la Campagne pour arrêter les robots tueurs appelle au maintien d'un contrôle humain significatif sur l'utilisation de la force en tant que obligation générale, plutôt que de chercher à réglementer une technologie spécifique. C'est maintenant. Cet article a présenté le projet Convergence des États-Unis comme un exemple opportun (et bien documenté), mais de nombreuses grandes puissances militaires explorent le ciblage basé sur l'IA et l'industrie de l'armement est des systèmes de construction avec des niveaux d'autonomie croissants.

Photo : Mufid Majnoun

Nous sommes en 2020. Nous avons connu la pire pandémie mondiale en cent ans. Nous sommes dans une crise climatique et les forêts du monde entier ont brûlé à un rythme record. Nous sommes confrontés à des ralentissements économiques, à l'exposition à des inégalités systémiques existantes de longue date et à des crises alimentaires. Cependant, avec chaque crise que 2020 a lancée, il y a eu des gens dans le monde qui se sont mobilisés pour jouer leur rôle pour l'humanité. Ainsi, alors que 2020 rend la comptabilité sombre, nous pouvons toujours choisir un avenir qui n'ajoutera pas à la liste de « réseaux de mise à mort activés par l'IA » et d'armes autonomes. Les évolutions technologiques ne ralentissent pas mais il est temps d'agir, si nous agissons vite.

Pour en savoir plus sur les robots tueurs et ce que vous pouvez faire, visitez : www.stopkillerrobots.org

Article original sur Medium.com.