Problèmes avec les armes autonomes

Les gouvernements et les entreprises développent rapidement des systèmes d'armes avec une autonomie croissante en utilisant les nouvelles technologies et l'intelligence artificielle. Ces « robots tueurs » pourraient être utilisés dans les zones de conflit, par les forces de police et lors du contrôle des frontières. Mais une machine ne devrait pas être autorisée à prendre une décision sur la vie ou la mort.

Des experts de l'ONU ont signalé au Conseil de sécurité l'utilisation récente d'"armes létales autonomes" dans le conflit en Libye. L'utilisation de ces munitions, sans limites spécifiques quant à leur fonctionnement ou à leur utilisation, montre que le besoin d'une nouvelle loi est urgent.

Neuf problèmes avec des robots tueurs 

(et une solution)

1. Déshumanisation numérique

La technologie doit responsabiliser tous les membres de la société, et non nous réduire à des stéréotypes, des étiquettes, des objets. Utilisées contre des personnes, les technologies qui permettent aux armes autonomes de profiler, de faire correspondre et de traiter automatiquement les êtres humains en tant que données. La vérité est que les machines ne peuvent pas reconnaître les gens en tant que « personnes ». Ainsi, les machines qui décident de nous soumettre ou non à des attaques sont la forme ultime de déshumanisation numérique.

Si nous permettons cette déshumanisation, nous lutterons pour nous protéger de la prise de décision par machine dans d'autres domaines de notre vie. Il faut interdire les systèmes d'armes autonomes qui seraient utilisés contre des personnes, pour éviter ce glissement vers la déshumanisation numérique.

2. Biais algorithmiques

Autoriser des systèmes autonomes qui ciblent les personnes signifierait permettre aux systèmes de renforcer ou d'exacerber les structures d'inégalité existantes. Les préjugés dans notre société vivent dans nos ensembles de données, nos catégories, nos étiquettes et nos algorithmes. Tuer des gens sur la base d'étiquettes et d'identités préprogrammées nous entraînera toujours vers le renforcement des préjugés ou des structures d'oppression. Les nouvelles technologies problématiques sont également souvent testées et utilisées d'abord sur les communautés marginalisées. Nous devrions remettre en question les structures d'inégalité, ne pas les intégrer dans des armes.

3. Perte de contrôle humain significatif

La perte d'un contrôle humain significatif signifie que les utilisateurs d'armes ne sont plus pleinement impliqués dans les conséquences de leurs actions. Et cela signifie moins d'espace pour « l'humanité ». Que ce soit sur le champ de bataille ou lors d'une manifestation, les machines ne peuvent pas faire de choix éthiques complexes, elles ne peuvent pas comprendre la valeur de la vie humaine. Les machines ne comprennent ni le contexte ni les conséquences : la compréhension est une capacité humaine – et sans cette compréhension, nous perdons notre responsabilité morale et nous sapons les règles juridiques existantes.

Assurer un contrôle humain significatif signifie comprendre les technologies que nous utilisons, comprendre où nous les utilisons et être pleinement engagé dans les conséquences de nos actions.

4. Manque de jugement humain et de compréhension 

Les gens ne peuvent pas porter de jugements significatifs s'ils ne comprennent pas les systèmes qu'ils utilisent ou les contextes dans lesquels ils les utilisent.

Les systèmes autonomes deviennent de plus en plus complexes. Les formes d'intelligence artificielle et d'apprentissage automatique peuvent présenter des obstacles à la compréhension et à la prévisibilité. Les technologies qui modifient leur propre comportement ou adaptent leur propre programmation de manière indépendante ne peuvent pas être utilisées avec un contrôle réel. D'autres technologies peuvent présenter une « boîte noire », où il n'est pas possible de savoir pourquoi ou comment les décisions sont prises. Cela peut produire des systèmes très efficaces pour accomplir certaines tâches, mais leur utilisation n'est pas appropriée lorsqu'une décision inattendue peut entraîner la vie ou la mort. Nous devons nous assurer que les systèmes sont suffisamment explicables – et interdire les systèmes qui ne peuvent pas être utilisés avec un contrôle humain significatif.

Même les systèmes autonomes simples présentent des défis. En vertu de la loi, les commandants militaires doivent être capables de juger de la nécessité et de la proportionnalité d'une attaque et de faire la distinction entre les civils et les cibles militaires légitimes. Cela signifie non seulement comprendre un système d'armes, mais aussi comprendre le contexte dans lequel il peut être utilisé. Sur une zone plus large ou sur une période plus longue, le « contexte » devient plus complexe – la situation devient de plus en plus imprévisible. De nouvelles règles juridiques sont nécessaires pour limiter cette imprévisibilité et assurer un contrôle humain significatif.

5. Manque de responsabilité

Les gens, et non les machines, doivent être tenus responsables. Mais si les gens ne prennent pas de décisions significatives, alors ils ne peuvent pas à juste titre être considérés comme responsables des conséquences de leurs actes. Il serait injuste de rendre une personne responsable des actions d'un système d'arme autonome fonctionnant au-delà de son contrôle effectif. Si nous nous engageons à rendre des comptes, alors nous avons besoin de règles qui garantissent que les bonnes personnes assument la responsabilité de l'usage de la force.

6. Incapacité à expliquer ce qui s'est passé ou pourquoi

Ces problèmes de contrôle et de responsabilisation risquent de laisser les personnes lésées sans nulle part vers qui se tourner. Si nous ne pouvons pas expliquer comment les résultats se sont produits, alors nous laissons les victimes dans le noir – sans explication et sans responsabilité. Les personnes qui perdent des membres de leur famille et des êtres chers dans un conflit obtiennent rarement justice pour leurs pertes. Nous devrions travailler pour corriger cela – ne pas programmer ce mépris à travers des systèmes que nous ne pouvons pas expliquer et/ou contrôler.

7. Abaisser le seuil de la guerre

Les défis posés par les méthodes existantes de guerre à distance seraient également amplifiés par une autonomie accrue, les humains se détachant davantage de l'usage de la force. Les drones armés existants ont été utilisés par les États pour appliquer une force meurtrière dans des situations où ils n'auraient pas pu l'avoir auparavant – apportant la peur et l'horreur des conflits à des endroits éloignés des champs de bataille actifs.

Il est compréhensible que tous les États veuillent réduire les risques de conflit pour leurs propres troupes. Mais si remplacer les gens par des machines peut rendre l'action militaire plus acceptable sur le plan politique chez « maison », cela peut rendre le conflit plus facile à engager. Il déplace également le fardeau des dommages encore plus loin sur les populations civiles.

8. Une course aux armements déstabilisante

Les grandes puissances militaires utilisent les tensions politiques et les rivalités internationales de puissance comme justification pour investir dans des technologies qui réduisent le contrôle humain. Nous l'avons entendu argumenter des deux côtés : nous avons besoin de plus d'autonomie au cas où nos adversaires auraient plus d'autonomie ». Les fabricants d'armes sont impatients d'encourager cette rhétorique afin d'augmenter leurs profits. Ces dynamiques peuvent profiter à certains, mais elles sont néfastes pour le reste d'entre nous - gaspillant de l'argent en dépenses militaires inutiles, créant des tensions et augmentant le risque de conflit (qu'il soit délibéré ou dû à une réponse autonome accidentelle). Nous avons besoin de plus d'humanité dans nos relations internationales, pas de plus de déshumanisation.

9. Notre rapport à la technologie

La technologie peut et doit être développée pour promouvoir la paix, la justice, les droits de l'homme et l'égalité. Nous devons tous assumer la responsabilité du développement et de l'utilisation de la technologie, ainsi que du rôle qu'elle joue dans nos vies. Décider de tracer une ligne contre les machines qui prennent des décisions pour tuer des gens – tracer une ligne contre les technologies qui appliquent la force sans réel contrôle humain – fournit un test fondamental pour notre relation avec l'IA et les nouvelles technologies dans tous les domaines de la société. Si nous ne traçons pas ces lignes maintenant, cela deviendra de plus en plus difficile à mesure que les États et les entreprises commerciales s'investiront de plus en plus dans le développement. Rejeter la déshumanisation numérique et assurer un contrôle humain significatif sur l'utilisation de la force sont des étapes clés pour construire une relation plus autonomisante avec la technologie pour tous, aujourd'hui et à l'avenir.