Que sont la loi sur l'IA et la convention du Conseil de l'Europe

*Ce blog a été écrit par Francesca Fanucci, Conseiller juridique senior au Centre européen de droit des organisations à but non lucratif (ECNL) , et Catherine Connolly, Stop Killer Robots' Responsable de la recherche décisionnelle automatisée. 

Les trois institutions législatives de l'Union européenne - à savoir la Commission européenne, le Parlement européen et le Conseil de l'UE - négocient actuellement une proposition visant à réglementer l'intelligence artificielle (IA) dans les 27 États membres de l'Union européenne. Plus précisément, la loi de l'UE sur l'intelligence artificielle (loi sur l'IA) établira des règles et des obligations communes pour les fournisseurs et les utilisateurs (c'est-à-dire les déployeurs) de systèmes basés sur l'IA dans le marché intérieur de l'UE. L'AIA devrait être finalisé avant la fin de 2023.

Dans le même temps, le Conseil de l'Europe (CoE) - une autre organisation intergouvernementale composée de 46 États membres, dont les 27 États membres de l'UE - négocie un traité international - alias "Convention-cadre" - sur le développement, la conception et l'application de systèmes d'IA basés sur les normes du Conseil de l'Europe en matière de droits de l'homme, de démocratie et d'État de droit. La Convention-cadre sera également ouverte à l'adhésion d'autres États non européens, devenant ainsi un instrument normatif mondial sur l'IA.

Les deux instruments juridiques - la loi sur l'IA de l'UE et le cadre du CdE - peuvent se chevaucher sur certaines questions, mais se complèteront essentiellement, puisque le premier établira des règles communes pour harmoniser le marché intérieur de l'UE des systèmes d'IA, tandis que le second se concentrera sur les systèmes d'IA. ' le respect des droits de l'homme internationalement reconnus, de la démocratie et de l'état de droit. Cependant, les négociations de l'UE et du Conseil de l'Europe envisagent d'exclure les systèmes d'IA conçus, développés et utilisés à des fins militaires, les questions de défense nationale et de sécurité nationale du champ d'application de leurs cadres réglementaires définitifs. 

En tant que société civile et défenseurs des droits de l'homme, nous sommes sérieusement préoccupés par ces exemptions proposées et leur effet cumulatif si elles sont approuvées à la fois par l'UE et le Conseil de l'Europe : si l'UE dans ses 27 États membres n'harmonise pas les règles applicables aux systèmes d'IA à des fins militaires, de défense nationale et de sécurité nationale, et que le Conseil de l'Europe n'établit pas non plus de normes contraignantes en matière de droits de l'homme applicables aux systèmes d'IA à des fins de défense nationale et de sécurité nationale dans son 47 États membres et autres parties à la convention-cadre, nous aurons un énorme vide réglementaire affectant la conception, le déploiement et l'utilisation de ces systèmes. Pour être tout à fait clair : nous n'affirmons pas qu'aucune règle ne leur serait applicable, les États individuels conservant le pouvoir d'adopter une réglementation dans leur juridiction. Cependant, des règles potentiellement différentes au niveau national ne seraient pas efficaces, car les politiques de défense nationale sont inévitablement interconnectées, ont un impact au-delà du territoire national et doivent également prendre en compte les actions de grands acteurs internationaux comme les États-Unis, la Chine et La fédération Russe. Ce dont nous avons besoin, c'est des garanties réglementaires essentielles communes minimales, y compris des évaluations d'impact obligatoires sur les droits de l'homme, pour les systèmes basés sur l'IA qui peuvent être développés et utilisés dans ces contextes.

Lorsque nous parlons de conception, de développement et d'utilisation de systèmes d'IA dans le secteur militaire ou pour la défense nationale, il peut être instinctif pour nous de penser immédiatement à des armes autonomes ou à d'autres systèmes d'armes activés par l'IA. Mais le secteur militaire et le secteur de la défense nationale peuvent utiliser - et dans certains cas, utilisent déjà en pratique - d'autres types d'IA, par exemple :

• Dispositifs de reconnaissance des menaces via des capteurs mobiles coopératifs et autonomes, tels que, par exemple, des véhicules aériens et terrestres qui détectent les menaces - telles que les navires ennemis et leur comportement prévu - via l'intelligence artificielle, (ces éléments ont déjà été développé par l'armée américaine);
• Appareils cartographiant les champs de bataille en temps réel, toujours via des capteurs mobiles coopératifs et autonomes, afin d'identifier les cibles d'attaque et d'exclure les zones civiles ;
• Des outils de reconnaissance faciale déployés aux frontières pour détecter les infiltrations ennemies (voir, par exemple, le document du ministère ukrainien de la Défense utilisation de Clearview AI pour découvrir des individus russes)
• Dispositifs de recrutement d'emplois utilisés par les agences de défense nationale, basés sur des systèmes d'IA qui identifient les candidats appropriés en triant les CV, en parcourant les bases de données existantes des visites/demandes reçues dans le passé et en identifiant les tendances (par exemple, les candidats retenus proviennent très probablement de certains groupes ethniques ou formation scolaire, etc.);;
• Des outils de formation basés sur l'IA qui proposent des contenus de préparation et mesurent les progrès réalisés par les militaires (déjà utilisés, par exemple, aux États-Unis par les programmes pilotes de l'Air Force).
• Des systèmes d'IA ajoutés aux véhicules autonomes afin que le personnel militaire puisse obtenir de l'aide pour ses déplacements.

Si nous y réfléchissons, la plupart de ces dispositifs non spécifiques à une arme, même lorsqu'ils ont été spécifiquement étudiés ou conçus pour être utilisés dans le secteur militaire, sont de nature "à double usage", car ils peuvent être adaptés et réutilisés pour un usage civil. également : par exemple, des dispositifs de reconnaissance des menaces basés sur l'IA sont déjà utilisés pour entraîner les véhicules à conduite autonome à reconnaître les dangers dans la rue ; la reconnaissance des émotions est déjà utilisée pour tester réactions des clients aux produits annoncés; Les dispositifs de recrutement basés sur l'IA peuvent être utilisés par des entreprises privées ou même des universités pour les aider à sélectionner les meilleurs candidats; Les territoires de cartographie basés sur l'IA sont utilisés dans les systèmes de navigation GPS fou déterminer les itinéraires optimaux (par exemple, les itinéraires les plus courts, les moins fréquentés, etc.). En outre, leur impact sur les cibles tant civiles que militaires peut être inutile et disproportionné même lorsqu'il n'entraîne pas la mort, car il peut toujours compromettre leurs droits humains, tels que le droit à la vie privée et à la non-discrimination (par exemple, voir le tristement célèbre cas de L'outil de recrutement d'Amazon qui a fini par favoriser uniquement les candidats masculins).

Les l'infâme Pegasus du groupe NSO spyware est également un parfait exemple de technologie nominalement désignée comme « développée ou utilisée exclusivement à des fins de sécurité nationale et de défense ». Cependant, la pratique a démontré comment cette technologie était également utilisée prétendument à des fins de sécurité nationale ou d'application de la loi (et en effet, l'entreprise s'est vantée d'avoir aidé les autorités à découvrir des réseaux de trafic de drogue et d'autres activités criminelles) et a été abusée même dans ces circonstances, entraînant des violations des droits de l'homme : des exemples notables de telles violations incluent la surveillance massive et aveugle de dissidents politiques, d'avocats, de défenseurs des droits de l'homme, de journalistes, d'universitaires, de hauts fonctionnaires, de représentants de la société civile, etc., dont les téléphones portables ont été piratés et dont les données ont été divulguées par leurs gouvernements qui avaient acheté cette technologie et l'avaient réutilisée pour leurs activités d'espionnage.

So pourquoi la prétendue destination des systèmes d'IA au secteur militaire, de la sécurité nationale ou de la défense nationale devrait-elle les exempter complètement des évaluations d'impact, des obligations minimales de transparence et de responsabilité, que nous attendons lorsque les mêmes systèmes sont appliqués dans le secteur civil ? 

Comme le Centre européen pour le droit des organisations à but non lucratif (ECNL) indiqué précédemment en ce qui concerne l'AIA, "sans garanties réglementaires appropriées, les technologies intrusives basées sur l'IA - y compris avec des résultats de surveillance de masse - pourraient être utilisées dans le secteur public sans limitations ni garanties particulières chaque fois que des motifs de "sécurité nationale" sont invoqués par un État membre. Même les systèmes d'IA présentant des niveaux de risques "inacceptables" et donc interdits par l'AIA pourraient être facilement "ressuscités" ou "recyclés" en le but exclusif de la sécurité nationale, affectant nos libertés de mouvement, de réunion, d'expression, de participation et de vie privée, entre autres.

Que des exemptions sont demandées pour les systèmes d'IA conçu, développé et utilisé à des fins militaires, de défense nationale et de sécurité nationale au niveau de l'Union européenne et du Conseil de l'Europe souligne davantage les lacunes réglementaires internationales plus larges en ce qui concerne l'IA et son utilisation à des fins militaires, de sécurité nationale et de défense nationale. Comme indiqué ci-dessus, les systèmes d'IA seront utilisés à de nombreuses fins militaires différentes, y compris dans les systèmes d'armes dotés de capacités autonomes. 

Concernant la réglementation des armes autonomes, le Comité international de la Croix-Rouge a exhorté les États négocier de nouvelles règles juridiquement contraignantes sur l'autonomie des systèmes d'armes, contenant à la fois des interdictions et des réglementations. Depuis près de dix ans, des discussions au niveau de l'ONU sur les systèmes d'armes autonomes se poursuivent dans le cadre de la Convention sur certaines armes classiques (CCAC). La majorité des États impliqués dans ces discussions soutenir la négociation de nouvelles règles internationales sur les systèmes d'armes autonomes; cependant, une petite minorité d'États fortement militarisés continuer à bloquer la progression. Au niveau de l'UE, dans les deux 2021 ainsi que le 2018, le Parlement européen a adopté des résolutions appelant au lancement de négociations en vue d'un instrument juridiquement contraignant sur les armes autonomes. Le rapport 2022 de la commission spéciale du Parlement européen sur l'intelligence artificielle à l'ère numérique (AIDA) a également appeler pour le lancement de négociations, arguant que "les machines ne peuvent pas prendre de décisions à l'image de l'homme impliquant les principes juridiques de distinction, de proportionnalité et de précaution". Entre-temps, les progrès technologiques dans ce domaine se poursuivent à un rythme soutenu et croître en prévalence, avec de nombreux systèmes incorporant maintenant différentes fonctions autonomes, telles que reconnaissance de cible ainsi que le classification des menaces capacités. Le besoin urgent de nouvelles règles internationales sur l'autonomie des systèmes d'armes ne saurait être plus clair.

Cependant, les discussions sur l'autonomie des systèmes d'armes à l'ONU et au sein des organes de l'UE se sont jusqu'à présent principalement concentrées sur l'utilisation de ces systèmes dans les conflits et dans le contexte du droit international humanitaire. Il est impératif que les États et les organismes et organisations internationaux tiennent également compte des droits de l'homme lors de l'examen de l'IA dans les systèmes d'armes, ainsi que lors de l'examen de tous les autres systèmes d'IA utilisés à des fins militaires, de sécurité nationale et de défense nationale. 

Les frontières entre technologies de guerre et technologies de pouvoir étatique et policier ont toujours été poreuses. Déshumanisation numérique et par préjudices bien documentés des systèmes d'IA, qui touchent particulièrement les groupes marginalisés et les plus vulnérables de nos sociétés, ne se limiteront pas au secteur civil. L'UE et le Conseil de l'Europe doivent veiller à ce que : a) il n'y ait pas d'exemptions générales pour Systèmes d'IA conçus, développés et utilisés à des fins militaires, en matière de défense nationale et de sécurité nationale ; b) ces systèmes entreprennent des évaluations des risques et des impacts avant leur déploiement et tout au long de leur utilisation. Le fait de ne pas inclure ces systèmes dans le champ d'application de l'AIA et du cadre du CdE représenterait une grave dérogation à la responsabilité de la part de ces institutions. L'ECNL appelle tous les citoyens et résidents de l'UE et du Conseil de l'Europe à contacter les représentants de leur gouvernement et de leur parlement et à les encourager à veiller à ce qu'il n'y ait pas d'exemptions générales et à ce que des évaluations des risques soient nécessaires lors des négociations de la loi européenne sur l'IA. et dans ceux de la Convention-cadre du CdE sur l'IA. Stop Killer Robots appelle à la négociation urgente d'une nouvelle loi internationale sur l'autonomie des systèmes d'armes - pour montrer votre soutien, veuillez signer notre pétition ici.