Robots militaires et tueurs

Certains partisans des armes autonomes ont fait valoir qu'elles seraient plus exactes ou précises que les humains, et entraîneraient donc moins de dommages collatéraux. Par exemple, Ron Arkin a écrit : « Les robots posséderont probablement une gamme de capteurs mieux équipés que les humains pour les observations sur le champ de bataille, coupant à travers le brouillard de la guerre. Les partisans soutiennent qu'ils apporteront une vitesse et une efficacité accrues sur le champ de bataille, qu'ils seraient capables d'opérer dans des environnements avec des communications non sécurisées et qu'ils pourraient sauver des vies en diminuant le besoin de soldats humains et en agissant comme un moyen de dissuasion.

Mais des arguments similaires ont été avancés pour d'autres armes aveugles dans le passé, comme les mines terrestres, les armes à sous-munitions et les armes nucléaires. Ces armes ont fait des centaines de milliers de victimes avant d'être interdites par les traités internationaux. En réagissant avec leur environnement de manière inattendue, les armes autonomes augmenteraient les risques pour les soldats et les civils. Une précision améliorée peut être obtenue sans supprimer le contrôle humain significatif de l'utilisation de la force. Les avantages potentiels des armes autonomes sont largement contrebalancés par les graves défis qu'elles posent au droit international et à la sécurité.

Un autre danger émanant du déploiement d'armes autonomes est la dépendance aux communications sans fil. Les communications sans fil sont sujettes à des perturbations intentionnelles telles que le piratage, le « brouillage » et « l'usurpation d'identité », qui pourraient rendre les systèmes inopérants ou corrompre leur programmation. En 2012 les chercheurs ont utilisé un « faux » signal de communication GPS pour rediriger le chemin d'un système aérien sans pilote, en usurpant avec succès le système et en démontrant les préoccupations concernant la sécurité des armes sans pilote et autonomes. Dans un monde où la cybersécurité et la cyberguerre soulèvent des préoccupations croissantes, un piratage plus sophistiqué pourrait permettre une prise en charge complète du fonctionnement des systèmes autonomes, y compris la libération potentielle d'armes.

Les armes autonomes, qui sélectionneraient et engageraient des cibles sur la base de données de capteurs, donneraient aux militaires la possibilité de cibler des personnes en fonction de la race, de l'origine ethnique, du sexe, du style vestimentaire, de la taille, de l'âge, du comportement ou de toute autre donnée disponible qui pourrait constituer un groupe cible. La technologie n'est pas parfaite, elle n'est pas neutre et les robots tueurs seraient vulnérables aux défaillances techniques. On craint également que les robots tueurs soient beaucoup moins chers et plus faciles à produire que d'autres armes de destruction massive. Des milliers de scientifiques ont averti qu'en l'absence de matières premières coûteuses ou difficiles à obtenir, il est possible que des armes autonomes puissent être produites en masse. Si le développement n'est pas régulé, il existe un risque que ces systèmes soient acquis et déployés par des acteurs non étatiques ou des individus avec les États.

Il existe également des problèmes éthiques, moraux, techniques, juridiques et de sécurité avec les armes autonomes. Les machines manquent de caractéristiques intrinsèquement humaines telles que la compassion et la compréhension des droits humains et de la dignité, qui sont nécessaires pour faire des choix éthiques complexes et appliquer les lois de la guerre. En cas d'erreur ou d'acte illégal, les armes autonomes présentent une lacune de responsabilité, ce qui rendrait difficile la justice, notamment pour les victimes. La nature de la guerre changera radicalement à mesure que l'envoi de machines à la place des troupes abaissera le seuil du conflit. Les armes autonomes pourraient également être utilisées dans d'autres circonstances, comme dans contrôle des frontières et police.

Dans un engagement militaire où la force meurtrière est dirigée ou appliquée, il existe une chaîne de commandement et de responsabilité claire. Étant donné que les militaires fonctionnent comme des organisations hiérarchiques, cette structure de commandement est descendante, du commandant qui ordonne le recours à la force à la personne qui « appuie sur la gâchette ». Avec des armes autonomes, le commandement et le contrôle sont menacés, et la responsabilité et l'obligation de rendre compte ne sont pas aussi claires.

Si une arme autonome peut sélectionner et engager ses propres cibles, la chaîne de commandement est perturbée. Dans ces systèmes, lors de l'activation, il y a une période de temps pendant laquelle le système d'arme peut appliquer une force sur une cible sans approbation humaine supplémentaire. Même si certains paramètres sont prédéterminés, en raison de la nature dynamique du conflit, la machine engagerait des cibles de manière autonome sans commande directe. Cela signifie que l'opérateur humain ne détermine pas spécifiquement où, quand ou contre quelle force est appliquée.

Les problèmes d'explicabilité, de prévisibilité et de reproductibilité signifient que le ciblage et l'engagement par des armes autonomes menacent également le contrôle militaire. Il y aura peu ou pas de clarté sur pourquoi ou comment un robot tueur a pris une décision spécifique. Si ces décisions aboutissent à des erreurs – comme des tirs amis ou des dommages collatéraux excessifs – il sera difficile de déterminer si cela résulte du fonctionnement des machines ou d'une falsification contradictoire. Lorsque le commandement et le contrôle sont ainsi perturbés, l'écart de responsabilité s'élargit également. Qui est responsable des actes illicites commis par des armes autonomes ? Les personnes qui définissent les variables dans sa fonction d'utilité ? Les personnes qui l'ont programmé en premier lieu ? Le commandant militaire ? Qui sera tenu responsable ?

Certains ont fait valoir que le contrôle peut être maintenu grâce à une surveillance appropriée ou à la capacité d'intervenir ou d'annuler une attaque. Cependant, il existe de sérieuses inquiétudes quant à savoir si les opérateurs humains seraient en mesure de maintenir la compréhension de la situation nécessaire pour avoir un contrôle significatif. La quantité de données qu'un commandant humain devrait examiner dépasserait la capacité humaine de les analyser. L'incapacité à interpréter les énormes ensembles de métadonnées éloignera davantage les humains de la compréhension de ce qui se passe sur le champ de bataille. La vitesse et la réaction des machines par rapport aux humains augmenteront le rythme de la guerre, et le résultat sera une perte de contrôle humain significatif sur l'utilisation de la force.

L'un des grands principes du droit international humanitaire (DIH) est la distinction – l'exigence de distinguer les combattants des civils. Mais au cours des dernières décennies, les conflits ont de plus en plus été des conflits armés non internationaux menés entre les forces de l'État et des acteurs non étatiques comme les guérilleros ou les insurgés. Les combattants ennemis dans ce type de guerre sont rarement vus portant des uniformes militaires standard, ce qui rend plus difficile de les distinguer des civils. Dans ce type de guerre, le but des acteurs non étatiques est souvent de se fondre ou d'apparaître comme des civils afin d'obtenir un avantage tactique. Compte tenu des difficultés rencontrées par les soldats humains pour déterminer qui est une cible légitime, il est facile de voir un risque encore plus grand posé par l'utilisation d'armes autonomes.

Une machine déterminerait si la cible était un combattant en se basant uniquement sur une programmation, probablement développée dans un laboratoire stérile des années avant que la décision de tuer ne soit prise. Abroger les décisions de vie ou de mort à une machine est moralement, éthiquement et légalement vicié.

John MacBride, Lcol (ret), dans une lettre ouverte sur l'appel du personnel militaire à l'interdiction des armes autonomes.

Les pourparlers diplomatiques concernant l'autonomie des systèmes d'armes entrent dans une phase critique, bien que les pourparlers aux Nations Unies sur la Convention sur les armes classiques aient peu progressé depuis 2014. Une poignée de puissances militaires résistent obstinément aux propositions de lancer des négociations sur un instrument juridiquement contraignant traitant l'autonomie des systèmes d'armes. Pendant ce temps, les investissements militaires dans l'intelligence artificielle et les technologies émergentes se poursuivent sans relâche. Si rien n'est fait, cela pourrait entraîner une déshumanisation accrue de la guerre et une diminution de la confiance du public dans les nombreuses applications civiles prometteuses et bénéfiques des technologies émergentes.

En savoir plus

Stop Killer Robots ne cherche pas à interdire les armes qui opèrent sous un contrôle humain significatif. Nous ne sommes pas opposés à l'intelligence artificielle (IA) ou à la robotique au sens large, ni même à l'utilisation de l'IA ou de la robotique par les militaires. Nous ne proposons pas d'interdire les systèmes sans armement conçus pour sauver des vies, tels que les systèmes autonomes de neutralisation des explosifs et munitions, qui peuvent fonctionner avec ou sans contrôle humain. Mais nous pensons qu'il y a une limite à ne jamais franchir : la prise de décision de vie ou de mort ne doit pas être déléguée aux machines.

Le développement ou le déploiement d'armes autonomes qui ciblent des personnes et ne peuvent pas ou n'opèrent pas sous un contrôle humain significatif abaissera le seuil d'entrée dans un conflit armé, et tout système de ce type qui est déployé est vulnérable au piratage ou au dysfonctionnement, augmentant le risque pour les militaires et civils. Nous comprenons qu'aucun commandant militaire ne voudrait céder le contrôle sur le champ de bataille à une arme autonome.

Les technologies sont conçues et créées par des personnes. Nous avons la responsabilité d'établir des limites entre ce qui est acceptable et ce qui est inacceptable. Nous avons la capacité de le faire, de garantir que l'intelligence artificielle et les autres technologies émergentes contribuent à la protection de l'humanité, et non à sa destruction.

Au plus fort de la guerre froide, un officier russe a sauvé le monde. Le 26 septembre 1983, le lieutenant-officier Stanislav Petrov a décidé de ne pas accepter que les signaux informatiques l'avertissant d'une attaque imminente des ogives nucléaires américaines étaient exacts. Que se serait-il passé s'il avait appuyé sur le « bouton Je crois » pour valider la recommandation du système ? S'assurer que les systèmes d'armes fonctionnent sous un contrôle humain significatif signifie que les décisions de vie ou de mort ne sont pas déléguées aux machines. L'importance de la prise de décision humaine dans un contexte militaire est aussi importante aujourd'hui qu'elle l'était pendant la guerre froide