Experts en robots tueurs à Davos

Hier (21 janvier 2015), le Forum économique mondial a réuni une heure panel de discussion en coopération avec TIME pour réfléchir à « et si les robots partaient en guerre ? » La session de la réunion annuelle à Davos, en Suisse, comprenait quatre orateurs : l'ancienne chef du désarmement de l'ONU Angela Kane, le président de BAE Systems Sir Roger Carr, expert en intelligence artificielle (IA) Stuart Russell et l'expert en éthique des robots Alan Winfield.

Malgré leurs origines différentes, tous les participants ont convenu que les systèmes d'armes autonomes présentent des dangers et nécessitent une action diplomatique rapide pour négocier un instrument juridiquement contraignant qui met un terme aux armes qui ne sont pas sous contrôle humain. Des préoccupations concernant les robots tueurs ont été soulevées dans d'autres panels, ce qui indique un haut niveau d'intérêt pour le sujet à Davos.

Les panélistes ont été clairs sur ce qu'est un robot tueur et ce qu'il n'est pas. Russell a déclaré qu'une arme entièrement autonome localise ou sélectionne une cible et tire sans intervention humaine. Carr a expliqué qu'il serait capable d'identifier et de sélectionner une cible, d'ajuster son comportement si nécessaire et de déployer une force [feu] sans aucune intervention humaine. Kane a observé qu'il n'y avait pas encore de définition formelle d'une arme entièrement autonome, mais a également averti les États de « ne pas y consacrer trop de temps ».

Carr a décrit "le potentiel d'un marché de 20 milliards de dollars" alors qu'une quarantaine de pays se précipitent pour développer des armes autonomes. La campagne pour arrêter les robots tueurs a répertorié au moins six États comme recherchant, développant ou testant des armes autonomes : les États-Unis, la Chine, Israël, la Corée du Sud, la Russie et le Royaume-Uni. Pour comprendre la différence, il serait utile que Carr puisse préciser les critères et les pays de la longue liste.

Tous les panélistes ont convenu que garder les robots tueurs entre les mains de gouvernements responsables et hors des mains de groupes armés non étatiques sera difficile, voire impossible. D'autres considérations stratégiques incluent la soi-disant valeur de dissuasion, que les panélistes ont rejetée. Russell et Carr ont tous deux observé que les armes entièrement autonomes ne seront pas en mesure de respecter les lois de la guerre, et personne n'a fait valoir qu'elles pouvaient répondre aux exigences du droit international humanitaire.

Les préoccupations éthiques et morales figuraient parmi les préoccupations les plus vives exprimées, peut-être de la manière la plus surprenante du représentant de l'industrie de l'armement Carr, qui a déclaré que les armes entièrement autonomes seraient « dénuées de responsabilité » et n'auraient « aucune émotion ni aucun sentiment de miséricorde ». Il a averti que « si vous supprimez l'éthique, le jugement et la moralité de l'entreprise humaine, que ce soit en temps de paix ou de guerre, vous amenerez l'humanité à un autre niveau qui dépasse notre compréhension ».

Winfield a déclaré qu'il n'était actuellement techniquement pas possible de construire un système artificiel avec une agence morale. Il a déclaré que les scientifiques demandent pourquoi quelqu'un voudrait essayer, car cela franchit une "ligne rouge éthique".

Les panélistes sont revenus à plusieurs reprises sur la notion de contrôle humain, soulignant son importance centrale dans le débat international naissant. Carr a déclaré avec insistance que BAE Systems et le gouvernement britannique sont fermement convaincus que supprimer l'humain est « fondamentalement faux » et a affirmé que personne ne veut permettre aux machines de choisir quoi, où et comment se battre.

Angela Kane, qui est maintenant membre du Centre pour le désarmement et la non-prolifération basé à Vienne, a décrit comment les États peuvent utiliser le cadre de la Convention sur les armes classiques (CCW) pour négocier un autre protocole sur les armes autonomes. Elle a qualifié le rythme des délibérations diplomatiques dans ce forum depuis 2014 de « glacial » et a encouragé les États-Unis à « prendre les devants » diplomatiquement et à « élever le débat » comme le font la France et l'Allemagne sur les robots tueurs à la CCW. Russell a décrit les 18 prochains mois à deux ans comme essentiels pour parvenir à un processus de négociation. Carr à plusieurs reprises qu'« une ligne doit être tracée », notamment parce que d'autres utiliseront probablement des robots tueurs de manière irresponsable.

Carr a décrit le leadership politique comme un « grand défi » pour obtenir la motivation nécessaire pour lutter contre les robots tueurs, car « les personnes qui portent des jugements sur la législation ne comprennent pas pleinement le défi ou le processus » et a recommandé d'impliquer les législateurs dans un processus d'éducation aux risques. Winfield a appelé les membres du public et le public à contacter leur représentant élu ou membre du parlement et à leur dire que les robots tueurs ne sont pas acceptables pour « nous, le peuple ».

Avant et pendant le panel, Davos a mené un sondage de trois questions sur les robots tueurs. Au cours du panel, les premiers résultats ont été présentés, constatant que 88% des personnes dans la salle à Davos et 55% à l'extérieur ont convenu que si elles étaient attaquées, elles devraient être défendues par des armes autonomes plutôt que par des «fils et filles» humains. Les panélistes ont rejeté cette conclusion comme naïve. Winfield a déclaré que cela révélait "une confiance extraordinairement déplacée et malavisée dans les systèmes d'IA" car "même un robot bien conçu se comportera de manière chaotique et fera des erreurs dans un environnement chaotique". On craint également que le public n'achète le battage médiatique sur les avantages potentiels et accorde trop de confiance à de tels systèmes, alors que les générations deviennent insensibles à la guerre par les jeux vidéo.

Selon un article par Russell publié sur le site Web de Davos 2016, de nombreux membres du Global Agenda Council du Forum économique mondial sur l'intelligence artificielle et la robotique ont rejoint plus de 3,000 XNUMX experts en IA pour signer un lettre ouverte 2015 appelant à l'interdiction des armes autonomes.

Le panel 2016 sur les robots tueurs n'est pas la première fois que Davos se penche sur la question. En janvier 2015, un panneau technologique mettant en vedette Russell et Ken Roth de Human Rights Watch a consacré un temps considérable à discuter de la question.

Pour plus d’information :

• Regardez l'enregistrement vidéo du panel sur le Forum économique mondial page web.
• Lisez l'article de Stuart Russell "Robots en guerre : les prochaines armes de destruction massive ?» et le Forum Rapport 2016 « Risques mondiaux », qui liste les armes autonomes comme un risque
• Voir les articles des médias, y compris Agence France Presse, Bloomberg, CNN, Swiss Info, Le Daily Mail, The Times, The Next Web.
• Lire la campagne poster sur les délibérations du Forum économique mondial de 2015 sur les robots tueurs