¿Qué son la Ley AI y el Convenio del Consejo de Europa?

*Este blog fue escrito por Francesca Fanucci, Asesor Jurídico Senior en el Centro Europeo de Derecho sin Fines de Lucro (ECNL) , y Catherine Connolly, Stop Killer Robots' Gerente de Investigación de Decisiones Automatizadas. 

Las tres instituciones legislativas de la Unión Europea, es decir, la Comisión Europea, el Parlamento Europeo y el Consejo de la UE, están negociando actualmente una propuesta para regular la inteligencia artificial (IA) en los 27 estados miembros de la Unión Europea. Más específicamente, la Ley de Inteligencia Artificial de la UE (Ley AI) establecerá reglas y obligaciones comunes para proveedores y usuarios (es decir, implementadores) de sistemas basados ​​en IA en el mercado interior de la UE. Se espera que el AIA esté finalizado antes de finales de 2023.

Al mismo tiempo, el Consejo de Europa (CoE), una organización intergubernamental diferente compuesta por 46 estados miembros, incluidos los 27 estados miembros de la UE, está negociando un tratado internacional, también conocido como "Convención marco", sobre el desarrollo, diseño y aplicación de sistemas de IA basados ​​en los estándares del Consejo de Europa sobre derechos humanos, democracia y estado de derecho. El Convenio Marco también estará abierto a la adhesión de otros estados no europeos, convirtiéndose en un instrumento de establecimiento de estándares globales sobre IA.

Los dos instrumentos legales, la Ley de IA de la UE y el Marco del CoE, pueden superponerse en algunos temas, pero esencialmente se complementarán entre sí, ya que el primero establecerá reglas comunes para armonizar el mercado interior de la UE de los sistemas de IA, mientras que el segundo se centrará en los sistemas de IA. ' cumplimiento de los derechos humanos establecidos internacionalmente, la democracia y el estado de derecho. Sin embargo, tanto la UE como las negociaciones del Consejo de Europa están considerando excluir los sistemas de IA diseñados, desarrollados y utilizados con fines militares, asuntos de defensa nacional y seguridad nacional del alcance de sus marcos regulatorios finales. 

Como sociedad civil y defensores de los derechos humanos, estamos seriamente preocupados por estas exenciones propuestas y su efecto acumulativo si la UE y el Consejo de Europa las aprueban: si la UE dentro de sus 27 Estados miembros no armoniza las reglas para los sistemas de IA con fines militares, de defensa nacional y de seguridad nacional, y el Consejo de Europa tampoco establece estándares vinculantes de derechos humanos aplicables a los sistemas de IA para la defensa nacional y la seguridad nacional en su 47 Estados miembros y otras Partes del Convenio Marco, tendremos un enorme vacío regulatorio que afectará el diseño, el despliegue y el uso de tales sistemas. Para ser absolutamente claro: no estamos afirmando que no se les aplicaría ninguna regla, ya que los Estados individuales conservarían el poder de adoptar regulaciones dentro de su jurisdicción. Sin embargo, las reglas potencialmente diferentes a nivel nacional no serían efectivas, ya que las políticas de defensa nacional están inevitablemente interconectadas entre sí, tienen un impacto más allá del territorio nacional y también deben tener en cuenta las acciones de grandes actores internacionales como los EE. UU., China y China. La Federación Rusa. Lo que necesitamos es salvaguardias reglamentarias mínimas comunes esenciales, incluidas las evaluaciones obligatorias del impacto en los derechos humanos, para los sistemas basados ​​en IA que pueden desarrollarse y utilizarse en esos contextos.

Cuando hablamos sobre el diseño, desarrollo y uso de sistemas de IA en el sector militar o para la defensa nacional, puede ser instintivo que pensemos inmediatamente en armas autónomas u otros sistemas de armas habilitados para IA. Pero el sector militar y el sector de la defensa nacional pueden usar, y en algunos casos ya están usando en la práctica, otros tipos de IA, por ejemplo:

• Dispositivos de reconocimiento de amenazas a través de sensores cooperativos y autónomos móviles, como por ejemplo, vehículos aéreos y terrestres que detectan amenazas, como barcos enemigos y su comportamiento previsto, a través de inteligencia artificial (tales elementos tienen ya ha sido desarrollado por el ejército de EE. UU.);
• Dispositivos de mapeo de campos de batalla en tiempo real, aún a través de sensores cooperativos y autónomos móviles, para identificar objetivos de ataque y dejar fuera áreas civiles;
• Herramientas de reconocimiento facial desplegadas en las fronteras para detectar la infiltración enemiga (ver, por ejemplo, el Ministerio de Defensa de Ucrania). uso de Clearview AI para descubrir individuos rusos)
• Dispositivos de contratación de empleo utilizados por las agencias de defensa nacional, basados ​​en sistemas de IA que identifican a los candidatos adecuados clasificando los currículos, revisando las bases de datos existentes de visitas/consultas recibidas en el pasado e identificando tendencias (p. ej., candidatos exitosos que probablemente provengan de cierto grupo étnico o antecedentes educativos, etc.);;
• Herramientas de capacitación basadas en IA que ofrecen contenido para la preparación y miden el progreso logrado por el personal militar (ya utilizadas, por ejemplo, en los EE. UU. por los programas piloto de la Fuerza Aérea).
• Sistemas de IA agregados a vehículos autónomos para que el personal militar pueda obtener ayuda con su viaje.

Si lo pensamos bien, la mayoría de estos dispositivos no específicos de armas, incluso cuando se investigan o diseñan específicamente para su uso en el sector militar, son de naturaleza de "doble uso", porque pueden adaptarse y reutilizarse para uso civil. también: por ejemplo, los dispositivos de reconocimiento de amenazas basados ​​en IA ya se utilizan para entrenar vehículos de conducción autónoma para reconocer peligros en la calle; el reconocimiento de emociones ya se usa para probar reacciones de los clientes a los productos anunciados; Las empresas privadas o incluso las universidades pueden utilizar dispositivos de contratación basados ​​en IA para ayudarlos a seleccionar a los mejores candidatos; Los territorios de mapeo basados ​​en IA se utilizan en los sistemas de navegación GPS fo determinar las rutas óptimas (p. ej., las rutas más cortas y menos transitadas, etc.). Además, su impacto en objetivos tanto civiles como militares puede ser innecesario y desproporcionado incluso cuando no resulta en la pérdida de vidas, porque aún puede comprometer sus derechos humanos, como el derecho a la privacidad y la no discriminación (por ejemplo, ver el infame caso de Herramienta de reclutamiento de Amazon que terminó favoreciendo solo a los candidatos masculinos).

El infame Pegasus de NSO Group software espía es también un ejemplo perfecto de tecnología a la que se hace referencia nominalmente como "desarrollada o utilizada exclusivamente para fines de seguridad y defensa nacional". Sin embargo, la práctica ha demostrado cómo esta tecnología también se usó supuestamente con fines de seguridad nacional o aplicación de la ley (y, de hecho, la empresa se jactó de haber ayudado a las autoridades a descubrir redes de tráfico de drogas y otras actividades delictivas) y se abusó incluso en esas circunstancias, lo que resultó en violaciones de los derechos humanos: ejemplos notables de tales violaciones incluyen la vigilancia masiva indiscriminada de disidentes políticos, abogados, defensores de los derechos humanos, periodistas, académicos, altos funcionarios gubernamentales, representantes de la sociedad civil, etc., cuyos teléfonos móviles fueron pirateados y sus datos filtrados por sus gobiernos que había comprado esta tecnología y la reutilizó para sus actividades de espionaje.

So ¿Por qué el supuesto destino de los sistemas de IA al sector militar, de seguridad nacional o de defensa nacional debería eximirlos por completo de las evaluaciones de impacto, la transparencia mínima y las obligaciones de rendición de cuentas?, que esperamos cuando se aplican los mismos sistemas en el sector civil? 

Como ha señalado el Centro Europeo de Derecho sin Fines de Lucro (ECNL) previamente señalado con respecto a la AIA, 'Sin las garantías regulatorias adecuadas, las tecnologías intrusivas basadas en IA, incluso con resultados de vigilancia masiva, podrían usarse en el sector público sin limitaciones o garantías especiales siempre que un Estado miembro invoque motivos de "seguridad nacional". Incluso aquellos sistemas de IA que presentan niveles de riesgo "inaceptables" y, por lo tanto, prohibidos por la AIA podrían "resucitar" o "reciclarse" fácilmente. para el fin exclusivo de la seguridad nacional, afectando nuestras libertades de circulación, reunión, expresión, participación e intimidad, entre otras”.

Que se buscan exenciones para los sistemas de IA diseñado, desarrollado y utilizado para fines militares, asuntos de defensa nacional y seguridad nacional tanto a nivel de la Unión Europea como del Consejo de Europa destaca aún más las brechas regulatorias internacionales más amplias en lo que respecta a la IA y su uso con fines militares, de seguridad nacional y de defensa nacional. Como se señaló anteriormente, los sistemas de IA se utilizarán para muchos fines militares diferentes, incluso en sistemas de armas con capacidades autónomas. 

En cuanto a la regulación de las armas autónomas, el Comité Internacional de la Cruz Roja ha instado a los estados negociar nuevas normas jurídicamente vinculantes sobre la autonomía de los sistemas de armas, que contengan tanto prohibiciones como regulaciones. Durante casi diez años, las discusiones a nivel de la ONU sobre sistemas de armas autónomos han estado en curso bajo la Convención sobre Ciertas Armas Convencionales (CCW). La mayoría de los estados involucrados en estas discusiones apoyar la negociación de nuevas reglas internacionales sobre sistemas de armas autónomos; sin embargo, una pequeña minoría de estados fuertemente militarizados seguir bloqueando el progreso. A nivel de la UE, en ambos 2021 y 2018, el Parlamento Europeo aprobó resoluciones pidiendo el inicio de negociaciones para un instrumento legalmente vinculante sobre armas autónomas. El informe de 2022 del Comité Especial sobre Inteligencia Artificial en la Era Digital (AIDA) del Parlamento Europeo también pedido el lanzamiento de negociaciones, argumentando que 'las máquinas no pueden tomar decisiones similares a las humanas que involucran los principios legales de distinción, proporcionalidad y precaución'. Mientras tanto, los avances tecnológicos en esta área continúan a buen ritmo y crecer en prevalencia, con las numerosos sistemas incorporando ahora diferentes funciones autónomas, como reconocimiento de objetivos y clasificación de amenazas capacidades. La necesidad urgente de nuevas reglas internacionales sobre autonomía en los sistemas de armas no podría ser más clara.

Sin embargo, los debates sobre la autonomía de los sistemas de armas en la ONU y en los órganos de la UE hasta la fecha se han centrado principalmente en el uso de dichos sistemas en los conflictos y en el contexto del derecho internacional humanitario. Es imperativo que los estados y los organismos y organizaciones internacionales también tengan en cuenta los derechos humanos al considerar la IA en los sistemas de armas, así como al considerar todos los demás sistemas de IA utilizados con fines militares, de seguridad nacional y de defensa nacional. 

Los límites entre las tecnologías de la guerra y las tecnologías del poder estatal y policial siempre han sido porosos. Deshumanización digital y del daños bien documentados de los sistemas de IA, que afectan especialmente a los grupos marginados y más vulnerables de nuestras sociedades, no se limitará al sector civil. La UE y el Consejo de Europa deben garantizar que: a) no existan exenciones generales para Sistemas de IA diseñados, desarrollados y utilizados con fines militares, asuntos de defensa nacional y seguridad nacional; b) dichos sistemas llevan a cabo evaluaciones de riesgos e impactos antes de su despliegue y durante su uso. No incluir dichos sistemas en el ámbito de la AIA y el marco del CoE representaría una grave derogación de responsabilidad por parte de estas instituciones. La ECNL insta a todos los ciudadanos y residentes de la UE y del Consejo de Europa a ponerse en contacto con los representantes de su gobierno y parlamento y pedirles que animen a sus gobiernos a garantizar que no haya exenciones generales y que se requieran evaluaciones de riesgo en las negociaciones de la Ley de IA de la UE. y en los del Convenio Marco del CoE sobre IA. Stop Killer Robots pide la negociación urgente de una nueva ley internacional sobre la autonomía en los sistemas de armas. Para mostrar su apoyo, firme nuestra petición. esta página.