Le pouvoir d'une question dans la Silicon Valley

Marta Kosmyna, responsable de la Silicon Valley pour la campagne pour arrêter les robots tueurs avec le militant des robots David Wreckham. Photo : Ari Beser.

Poser une question peut déclencher un mouvement. Tout ce que ça prend is pour une personne de se lever, de remettre en question le statu quo et de réfléchir de manière critique à l'état actuel des choses. Nous l'avons vu l'année dernière avec Project Maven, et je le vois tous les jours dans mon travail en tant que responsable de la Silicon Valley pour la campagne pour arrêter les robots tueurs. Jusque là, des milliers de travailleurs de la technologie se sont engagés à garantir que leur travail ne contribuera jamais à des armes entièrement autonomes, et sur les sociétés 200 soutenir un traité pour garantir que ces armes ne soient jamais utilisées.

Lorsqu'il s'agit d'utiliser l'intelligence artificielle dans la guerre et la police, il ne suffit pas de discuter d'éthique. Bien que les lignes directrices, les principes et l'autorégulation soient une première étape admirable, il est clair que pour réduire la menace posée à l'humanité par les armes entièrement autonomes – les « robots tueurs » – une législation urgente est nécessaire. La Campagne exhorte les gouvernements à négocier une nouvelle loi internationale qui conservera un contrôle humain significatif sur l'usage de la force.

Chaque année, notre campagne documente l'opposition croissante de l'industrie technologique au développement et à l'utilisation d'armes entièrement autonomes. Nos alliés technologiques comprennent les limites de cette technologie et ont comblé le fossé entre la technologie et la politique.

Nous avons déjà vu les conséquences imprévues des technologies émergentes. Si les travailleurs de la technologie craignent que leur travail ne soit utilisé dans des robots tueurs, il est important de rester vigilant, de considérer l'utilisation finale de la technologie qu'ils développent et de remettre en question les partenariats, les clients et les investisseurs impliqués dans des projets à haut risque. La prochaine fois qu'un leader de l'industrie, un dirigeant d'entreprise ou un décideur politique montera sur scène, posez-lui directement des questions sur les armes entièrement autonomes. Il est important de les enregistrer afin qu'ils puissent être tenus responsables et de s'assurer que leur déclaration s'aligne sur les valeurs, la mission et la vision qu'ils prétendent représenter.

Un exemple de pochoir à la craie par la Campagne à New York près des bureaux d'Amazon, Microsoft, Palantir et Clarafai. Photo : Clare Conboy.

La Campagne pour arrêter les robots tueurs a pris la parole lors de nombreuses conférences techniques et événements liés à l'éthique cette année pour tirer la sonnette d'alarme sur la menace posée par les armes entièrement autonomes. Cette année encore, nos militants ont présenté à Technologie Viva En France, True North au Canada, Defcon aux États-Unis, et Inteligencia Artificial y Ética: El Desafío de las Armas Autónomas Letalesin en Argentine, parmi de nombreux autres événements dans le monde.

Nous vous encourageons toujours à nous poser vos questions les plus difficiles, mais certaines des questions que nous entendons le plus souvent trouveront ci-dessous une réponse :

L'interdiction des robots tueurs aurait-elle un impact sur la recherche et le développement de l'intelligence artificielle ?

Les représentants du gouvernement, y compris les négociateurs de traités, auront besoin de la contribution d'experts techniques pour s'assurer que le traité interdisant les robots tueurs n'étouffe pas l'innovation et garantit plutôt que la recherche et le développement de l'intelligence artificielle se poursuivent sans entrave. Les biologistes n'ont pas trouvé que la Convention sur les armes biologiques a nui à leurs recherches et développements, et les chimistes ne se plaignent pas non plus que la Convention sur les armes chimiques ait eu un impact négatif sur leur travail. En fait, si la technologie permettant de développer des armes entièrement autonomes est autorisée à se développer sans réglementation, de nombreux experts en intelligence artificielle, roboticiens et travailleurs de la technologie craignent que les applications positives de l'intelligence artificielle en souffrent. Tout dysfonctionnement, erreur ou crime de guerre commis par des systèmes d'armes entièrement autonomes ferait l'objet d'une publicité négative, ce qui entraînerait un recul du public sur la tendance à développer l'intelligence artificielle et d'autres technologies émergentes.

Un exemple de pochoir à la craie par la Campagne à New York près des bureaux d'Amazon, Microsoft, Palantir et Clarafai. Photo : Clare Conboy.

La Campagne exige-t-elle que les entreprises privées ne travaillent pas avec les militaires ?

Nous sommes une coalition à problème unique axée sur l'obtention d'un traité interdisant les armes entièrement autonomes et conservant un contrôle humain significatif sur l'utilisation de la force. Nos membres remettent souvent en question des projets militaires spécifiques qui pourraient ouvrir la voie à des armes entièrement autonomes, mais nous ne demandons ni ne plaidons pour que les entreprises ne travaillent pas avec les militaires ou les gouvernements. Nous conseillons aux technologues de considérer les partenariats, les clients et les investisseurs avec lesquels ils travaillent et de réfléchir de manière critique aux conséquences de toute relation commerciale à haut risque qu'ils nouent.

La Campagne contre l'intelligence artificielle est-elle dans la guerre et le maintien de l'ordre ?

Notre campagne n'est pas anti-technologie. Il ne s'oppose pas aux applications militaires ou policières de l'intelligence artificielle et des technologies émergentes en général. Nous nous opposons à l'autonomie dans les fonctions critiques de sélection et d'engagement des cibles, en toutes circonstances. En tant qu'initiative centrée sur l'humain, nous pensons qu'un nouveau traité international interdisant les robots tueurs apporterait de nombreux avantages à l'humanité. Une nouvelle loi aiderait à clarifier le rôle de la prise de décision humaine liée aux armes et à l'utilisation de la force dans la guerre, le maintien de l'ordre et d'autres circonstances.

Si nous ne construisons pas d'armes entièrement autonomes, quelqu'un d'autre ne le fera-t-il pas ?

Le développement actuel de l'IA et des technologies émergentes dépasse la capacité des décideurs à réglementer, et cela se voit clairement dans le cas des armes entièrement autonomes. Les entreprises technologiques et les travailleurs doivent s'engager à ne pas contribuer au développement d'armes entièrement autonomes. De nombreuses technologies en cours de développement sont à « double usage », ce qui signifie qu'elles peuvent être utilisées dans divers scénarios : civils, militaires, policiers, etc. Par conséquent, il est crucial que le secteur technologique reste vigilant et tienne toujours compte de l'utilisation finale prévue.

Des armes entièrement autonomes seraient-elles plus précises et ainsi sauveraient des vies ?

Les armes ne sont pas conçues pour sauver des vies, elles sont conçues pour prendre des vies. Des armes entièrement autonomes seraient imprévisibles. En réagissant avec leur environnement de manière inattendue, ils pourraient causer un fratricide ou nuire aux troupes amies. Une précision améliorée peut être obtenue sans supprimer le contrôle humain significatif des attaques individuelles. La Campagne cherche à interdire le développement et une application spécifique de certaines technologies, à codifier les limites de son utilisation prévue et à garantir la responsabilité en vertu du droit international. Il n'y a pas encore de victimes de robots tueurs, et nous voulons qu'il en soit ainsi.

Un nouveau traité arrêtera-t-il vraiment les robots tueurs ? Comment une interdiction serait-elle appliquée?

Depuis 2014, plus de 90 pays ont participé aux pourparlers diplomatiques sur les systèmes d'armes létales autonomes aux Nations Unies et une majorité de ces États voient maintenant la nécessité d'un nouveau traité pour interdire ou restreindre ces armes. Une poignée de puissances militaires, notamment la Russie et les États-Unis, s'opposent à tout effort visant à réglementer de tels systèmes d'armes. Ces pourparlers sont un exercice d'acquisition de connaissances et de transparence, mais doivent déboucher sur la négociation d'un nouveau traité. C'est la seule réponse multilatérale capable de faire face à la menace pour l'humanité posée par les armes autonomes. Les lois de la guerre existantes ont été écrites pour les humains, pas pour les machines, et doivent être renforcées pour garantir la responsabilité et la pérennité contre de nouveaux développements technologiques. Un nouveau traité établirait une norme puissante stigmatisant la suppression du contrôle humain significatif de l'usage de la force. Cela favoriserait la conformité même par les pays et les acteurs qui ne signent pas initialement.

www.stopkillerrobots.org Photo : Ari Beser. Graphique : Clare Conboy

Si cet article résonne avec vous en tant que travailleur technologique, consultez les ressources de la campagne pour arrêter les robots tueurs pour les travailleurs technologiques : www.stopkillerrobots.org/tech ou rejoignez la conversation en utilisant #TechAgainstKillerRobots

Article original publié le Medium.com.