RightsCon : Prévenir la déshumanisation numérique

Le 10 juin, la Campagne pour arrêter les robots tueurs a tenu sa table ronde « Prévenir la déshumanisation numérique » dans le cadre de l'événement annuel RightsCon d'Access Now. Célébrant son 10e anniversaire, RightsCon s'est déroulé du 7 au 11 juin 2021 et a eu lieu virtuellement pour la deuxième année. La conférence a réuni des individus, des parties prenantes et des militants du monde entier pour discuter de questions clés dans le domaine de la technologie et des droits de l'homme. C'est la deuxième fois que la Campagne participe à RightsCon.

La séance d'une heure a été tweeté en direct et s'est concentré sur l'exploration de la manière dont les technologies émergentes, telles que les machines dotées de capacités de prise de décision automatisées ou autonomes, peuvent reproduire ou exacerber les méfaits sociaux, les inégalités et l'oppression. L'événement mettait en vedette Lucy Suchman, professeur émérite d'anthropologie des sciences et technologies à l'Université de Lancaster ; Dr Sarah Shoker, boursière postdoctorale à l'Université de Waterloo et fondatrice de Glassbox; Laura Nolan, ingénieur logiciel et membre du Comité international de contrôle des armements robotiques (ICRAC) ; et Mutale Nkonde Nkonde, directeur exécutif d'AI for the People. La responsable de la sensibilisation de la campagne, Isabelle Jones, a animé la séance avec plus de 85 participants.

La session s'est ouverte par une discussion sur ce que signifie la déshumanisation numérique, comme indiqué précédemment dans un blog récents par Nolan. La déshumanisation numérique a été décrite comme un phénomène dans lequel le recours à des logiciels de machines et de systèmes pour analyser, évaluer et prendre des décisions concernant les humains réduit une personne à « quelque chose sur lequel agir [comme] un objet, et non une personne ayant des droits humains et agence." Nkonde a souligné la discrimination raciale comme l'un des aspects de la déshumanisation numérique. L'utilisation d'ensembles de données de formation biaisés pour les systèmes se prête aux mêmes structures de « vieux racisme utilisant de nouvelles machines » qui continuent d'alimenter une violence accrue contre les corps noirs et d'aggraver les inégalités.

De tels systèmes – de la police prédictive à la notation sociale – peuvent avoir des intentions bien intentionnées, mais peuvent en réalité avoir des effets néfastes car ils continuent de perpétuer des cycles d'oppression et de violence. Les orateurs ont pointé du doigt le chien robot déployé à New York ou le bugsplat programme comme exemples de la façon dont ces technologies sont déjà déployées. Suchman a poursuivi en parlant de « l'apprentissage » qui permet de développer ce qui sont essentiellement des systèmes de ciblage. Entraîner les machines à différencier les ensembles de données de pommes et d'oranges, ou de chiens et de chats, n'est pas la même chose que d'entraîner le système à faire la distinction entre les civils et les combattants qui possèdent des identités et des relations humaines différentes. Au lieu de cela, ce que nous obtenons est un « stéréotype très grossier… puis prétendant que cela permet un ciblage plus précis et précis ».  

Shoker a également souligné lorsque « en utilisant tout type de logiciel d'apprentissage automatique, vous auditez essentiellement la vie humaine, en sélectionnant certains attributs à des fins d'intervention humaine ». Avec l'opacité de l'apprentissage automatique, cela soulève de sérieuses inquiétudes quant au fait que les identités qui nous sont attribuées réduisent en fin de compte l'action humaine et enfreignent les droits. Shoker s'appuie sur l'exemple de l'utilisation d'hypothèses patriarcales et sexospécifiques dans le ciblage pour identifier les hommes d'âge militaire, ce qui place souvent des garçons aussi jeunes que 15 ans dans une catégorie de combattants.

La session s'est terminée par des réflexions de chaque panéliste sur ce que nous pouvons faire pour prendre des mesures et entraîner des changements de politique afin de prévenir de futurs préjudices. Les réflexions comprenaient un appel à une meilleure réglementation des données par le biais d'audits et d'évaluations d'impact sur les droits de l'homme, des conseils pour la conformité, la réimagination des récits existants pour le changement de politique, la démystification de la technologie et l'action collective.