什么是《人工智能法案》和《欧洲委员会公约》

*本博客由 Francesca Fanucci 撰写， 欧洲非营利法中心 (ECNL) 高级法律顾问 和凯瑟琳·康诺利，《停止杀手机器人》 自动决策研究经理. 

欧盟三个立法机构——欧盟委员会、欧洲议会和欧盟理事会——目前正在欧盟27个成员国就一项监管人工智能(AI)的提案进行谈判。 更具体地说，《欧盟人工智能法案》（AI Act）将为欧盟内部市场中基于人工智能的系统的提供商和用户（即部署者）制定共同规则和义务。 AIA 预计将于 2023 年底前完成。

与此同时，欧洲委员会 (CoE)——一个由 46 个成员国组成的不同政府间组织，其中包括 27 个欧盟成员国——正在就一项国际条约（又名“框架公约”）进行谈判。 基于欧洲委员会人权、民主和法治标准的人工智能系统的开发、设计和应用。 该框架公约也将开放给其他非欧洲国家加入，从而成为人工智能的全球标准制定工具。

欧盟人工智能法案和 CoE 框架这两项法律文书可能在某些问题上有所重叠，但本质上是相互补充的，因为前者将建立共同规则来协调欧盟内部人工智能系统市场，而后者将重点关注人工智能系统' 遵守国际公认的人权、民主和法治。 然而欧盟和欧洲委员会的谈判都在考虑排除为军事目的、国防和国家安全问题而设计、开发和使用的人工智能系统 从其最终监管框架的范围来看。 

作为民间社会和人权捍卫者，我们对这些拟议的豁免及其如果获得欧盟和欧洲委员会批准的累积影响表示严重关切： 如果欧盟在其27个成员国内不协调用于军事目的、国防和国家安全目的的人工智能系统的规则，并且欧洲委员会也不制定适用于其国防和国家安全的人工智能系统的具有约束力的人权标准47 个框架公约成员国和其他缔约方，我们将面临巨大的监管差距，影响此类系统的设计、部署和使用。 需要绝对明确的是：我们并不是断言任何规则都不适用于它们，因为各个州将保留在其管辖范围内制定法规的权力。 然而，国家层面的不同规则不会有效，因为国防政策不可避免地相互关联，影响超越国家领土，还必须考虑到美国、中国和其他国际大国的行动。俄罗斯联邦。 我们需要的是 针对可能在这些情况下开发和使用的基于人工智能的系统，制定最低限度的共同基本监管保障措施，包括强制性人权影响评估。

当我们谈论人工智能系统在军事部门或国防领域的设计、开发和使用时，我们可能会本能地立即想到自主武器或其他人工智能武器系统。 但军事部门和国防部门可以使用（在某些情况下，已经在实践中使用）其他类型的人工智能，例如：

• 通过移动协作和自主传感器的威胁识别设备，例如 通过人工智能检测威胁（例如敌舰及其预测行为）的空中和地面车辆（此类物品已 已经由美国陆军开发);
• 设备实时绘制战场地图仍然通过移动协作和自主传感器来识别攻击目标并排除平民区域；
• 部署在边境的面部识别工具用于检测敌人的渗透（例如，参见乌克兰国防部的 使用 Clearview AI 来发现俄罗斯人)
• 国防机构使用的招聘设备，基于人工智能系统，通过整理简历、搜索过去收到的访问/询问的现有数据库并识别趋势来识别合适的候选人（例如，成功的候选人最有可能来自某些种族群体或教育背景等）；；
• 基于人工智能的培训工具，提供准备内容并衡量军事人员取得的进展（已在美国空军飞行员项目中使用）。
• 自动驾驶汽车中添加人工智能系统 以便军事人员在旅行时可以获得帮助。

如果我们考虑一下，大多数这些非武器专用设备，即使专门研究或设计用于军事部门，也具有“双重用途”性质，因为它们可以进行改造并重新用于民用此外：例如，基于人工智能的威胁识别设备已经用于训练自动驾驶车辆识别街道上的危险； 情绪识别已经用于测试 顾客对广告产品的反应; 私营公司甚至大学可以使用基于人工智能的招聘设备 帮助他们选择最好的候选人; GPS 导航系统使用基于人工智能的地图测绘领域 f或确定最佳路线（例如，最短、最不繁忙的路线等）。 此外，它们对民用和军事目标的影响可能是不必要和不成比例的，即使它没有导致生命损失，因为它仍然可能损害他们的人权，例如隐私权和不受歧视的权利（例如，参见臭名昭著的案件 亚马逊的招聘工具 最终只对男性候选人有利）。

臭名昭著的 NSO 集团的 Pegasus 间谍 这也是名义上称为“专门为国家安全和国防目的开发或使用”的技术的完美例子。 然而，这种做法表明，这项技术也被据称用于国家安全或执法目的（事实上，该公司吹嘘帮助当局发现毒品贩运团伙和其他犯罪活动），甚至在这些情况下也被滥用，导致侵犯人权行为：此类侵犯行为的显着例子包括对政治异见人士、律师、人权维护者、记者、学者、政府高级官员、民间社会代表等进行不分青红皂白的大规模监视，他们的手机被黑客入侵，其数据被政府泄露购买了这项技术并将其重新用于间谍活动。

So 为什么所谓的人工智能系统目的地应该是军事、国家安全或国防部门，从而免除它们的影响评估、最低透明度和问责义务，当相同的系统应用于民用领域时我们期望什么？ 

正如欧洲非营利法中心 (ECNL) 所 先前指出 关于AIA，“如果没有适当的监管保障措施，只要成员国援引‘国家安全’理由，基于人工智能的侵入性技术——包括大规模监控成果——就可以在公共部门使用，没有任何特殊限制或保障措施。” 即使那些存在“不可接受”风险水平并因此被 AIA 禁止的人工智能系统也可以轻松“复苏”或“回收”   国家安全的唯一目的，影响我们的行动、集会、言论、参与和隐私等自由。”

正在寻求人工智能系统的豁免 为军事目的、国防和国家安全事务而设计、开发和使用 欧盟和欧洲委员会层面的监管进一步凸显了人工智能及其在军事、国家安全和国防用途方面存在的更广泛的国际监管差距。 如上所述，人工智能系统将用于许多不同的军事目的，包括具有自主能力的武器系统。 

关于自主武器的监管，红十字国际委员会 已敦促各国 就武器系统自主性谈判制定新的、具有法律约束力的规则，其中包括禁令和法规。 近十年来，联合国层面关于自主武器系统的讨论一直在《特定常规武器公约》（CCW）下进行。 参与这些讨论的大多数州 支持新国际规则的谈判 关于自主武器系统； 然而，少数高度军事化的国家 继续阻碍进展。 在欧盟层面， 2021 和 2018欧洲议会通过决议，呼吁就自主武器问题启动具有法律约束力的文书谈判。 欧洲议会数字时代人工智能特别委员会（AIDA）的2022年报告还 呼吁 启动谈判，认为“机器无法做出像人类一样的决定，涉及区分、相称和预防的法律原则”。 与此同时，该领域的技术进步持续快速发展 流行率上升, 众多系统 现在合并了不同的自主功能，例如 目标识别 和 威胁分类 能力。 迫切需要制定有关武器系统自主权的新国际规则。

然而，迄今为止，联合国和欧盟机构内部关于武器系统自主性的讨论主要集中在冲突中和国际人道法背景下使用此类系统。 各国、国际机构和组织在考虑武器系统中的人工智能以及考虑用于军事、国家安全和国防目的的所有其他人工智能系统时也必须考虑到人权。 

战争技术与国家和警察权力技术之间的界限一直是模糊的。 数字非人化 和 有据可查的危害 人工智能系统对我们社会中的边缘群体和最弱势群体的影响尤其大，而且不会仅限于民用部门。 欧盟和欧洲委员会必须确保： a) 不存在全面豁免 为军事目的、国防和国家安全事务而设计、开发和使用的人工智能系统； b) 此类系统在部署之前和整个使用过程中进行风险和影响评估。 如果未能将此类系统纳入 AIA 和 CoE 框架的范围，将严重减损这些机构的责任。 ECNL 呼吁所有欧盟和 CoE 公民和居民联系其政府和议会代表，并呼吁他们鼓励其政府在《欧盟人工智能法案》谈判中确保不存在全面豁免，并要求进行风险评估以及 CoE 人工智能框架公约。 停止杀手机器人组织呼吁就武器系统自主权的新国际法进行紧急谈判——为了表示支持，请签署我们的请愿书 此处.