Histoires réelles

Salut! Je suis Laura, ingénieur logiciel. Je vis à Dublin, en Irlande avec mon partenaire et nos deux chats complètement gâtés (même si nous essayons actuellement d'acheter une maison de 170 ans à une heure de la ville, car nous travaillons tous les deux à distance la plupart du temps). En dehors du travail et de la paperasserie hypothécaire, je passe actuellement beaucoup de temps à lire et à étudier, car je rédige une thèse de maîtrise à temps partiel.

Publicité ciblée, approbations de prêts bancaires, police prédictive… autonomie dans les armes, l'automatisation fait de plus en plus partie de nos vies. Quels types de déshumanisation numérique vous inquiètent le plus et pourquoi ?

Je m'inquiète de l'effet cumulatif de tout ça ! Les systèmes les plus manifestement préoccupants sont ceux où il y a des impacts dramatiques sur les individus – des choses comme les armes, ainsi que tout ce qui a trait au maintien de l'ordre ou à la justice.

Je pense que le récent scandale de la poste britannique en est un bon exemple – le système informatique Horizon montrait fréquemment des manques à gagner dans les bureaux locaux, entraînant des poursuites judiciaires contre les maîtres de poste et les employés locaux. L'ensemble de l'affaire a été appelé l'un des 'les erreurs judiciaires les plus graves de l'histoire récente de l'Angleterre".

Il y avait certainement des lacunes éthiques de la part de la poste et de Fujitsu, mais la clé de tout ce gâchis est également le fait que le système Horizons ne semble pas avoir été conçu pour donner aux personnes qui l'utilisent un moyen de comprendre les transactions en le système et de corriger les problèmes. Elle a fondamentalement miné l'autonomie des maîtresses de poste locales et leur capacité à comprendre leur monde selon leurs propres termes. C'est une mauvaise conception de logiciel. Ils devaient avoir l'impression d'être dans l'une des histoires de Kafka.

Chaque jour maintenant, les gens sont piégés dans une sorte de cauchemar technologique mini-kafkaïen comme celui-ci, qu'il s'agisse de faire fonctionner leur logiciel de surveillance d'examen virtuel, de faire passer leur candidature à travers les fourrés de filtres automatisés ou d'obtenir les avantages auxquels ils peuvent avoir droit. Nous ne devrions pas créer de logiciels comme celui-ci.

Croyez-vous que les individus peuvent faire une différence?

Absolument – ​​l'histoire est pleine d'individus qui ont fait la différence – Martin Luther (sur les 95 thèses), Rosa Parks, Nelson Mandela. Aujourd'hui, nous avons des gens comme Greta Thunberg, qui a mis tellement d'énergie dans le mouvement environnemental ; et comme Max Schrems, qui continue de bousculer le droit international de la protection des données. En Irlande, où je vis, nous avons récemment modifié nos lois très restrictives sur l'avortement, et cela a beaucoup à voir avec Savita Halappanavar, qui est malheureusement décédée dans un hôpital irlandais parce que les lois irlandaises étaient un obstacle aux soins dont elle avait besoin. Le mari et la famille de Savita étaient des gens incroyablement courageux qui se sont exprimés publiquement, et cela a changé le cours de l'histoire irlandaise.

Toutes les personnes qui font un don à une campagne, qui vont à des marches, qui organisent, qui frappent aux portes ou qui écrivent des lettres à nos politiciens – nous comptons tous aussi. Nous avons le pouvoir !

Quand avez-vous entendu parler pour la première fois des robots tueurs et qu'en avez-vous pensé ?

Les robots tueurs sont un problème très personnel pour moi. En 2017, alors que je travaillais chez Google, en tant que membre de l'équipe qui gère l'infrastructure Cloud de Google, on m'a demandé d'effectuer quelques travaux de support Projet Maven, le projet du DoD américain visant à automatiser l'analyse des images de surveillance des drones. On m'a demandé de travailler sur un projet pour obtenir une certification de sécurité plus élevée pour sa plateforme Cloud afin d'exécuter Maven en interne, plutôt que sur les propres machines du DoD.

Maven était, sans aucun doute, un travail de « chaîne de destruction » : il analysait des images pour générer des données qui seraient utilisées pour l'identification et la sélection de cibles. Ce n'était pas seulement un travail de vision par ordinateur moralement neutre. En 2020, l'armée américaine était mettre Maven sur des drones Grey Eagle pour détecter les menaces de manière autonome. Maven ne recherche pas sans ambiguïté des objets militaires comme des chars. Il recherche des personnes et des véhicules, y compris des véhicules civils.

Cibler les êtres humains en conflit n'est pas quelque chose que nous devons automatiser : c'est un problème trop important, trop complexe et dépendant du contexte, et bien trop risqué.

Les années 2020 ont été un peu difficiles jusqu'à présent. Qu'est-ce qui te donne de l'espoir ?

Les années 2020 ont certainement été des moments intéressants! Mais en fait, c'est une chose qui me donne de l'espoir. Nous sommes dans une période de flux. Peut-être pouvons-nous remplacer l'ancien « normal » par un meilleur « normal ».

Pourquoi faites-vous partie du mouvement Stop Killer Robots ?

Je fais partie de ce mouvement parce que j'ai la responsabilité professionnelle de m'exprimer, en tant que technologue. Le logiciel est bon pour faire le travail de routine et très mauvais pour faire le travail où il y a une ambiguïté ou des zones grises. Malheureusement, Big Tech survente souvent les capacités de la technologie, ce qui entraîne des dommages. Tesla appelle son logiciel de voiture « Autopilot » en est un excellent exemple : c'est un régulateur de vitesse très sophistiqué, mais il est nommé comme s'il s'agissait d'une conduite entièrement autonome. Allemagne et Californie ont tous deux demandé à Tesla d'utiliser un nom différent pour le produit.

Les logiciels doivent être utilisés avec une extrême prudence dans tout type de travail à enjeux élevés, ce qui inclut certainement la décision d'utiliser la force militaire. Un contrôle humain significatif doit rester au premier plan tout le temps.