人工智能使能杀戮网络和自动武器系统的滑坡

原始照片：马特·雷丁和马库斯·斯皮斯克。

L上个月，《联合国常规武器公约》ons (CCW) 正在开会讨论致命自主武器系统 (LAWS)，有时被称为“杀手机器人”。 LAWS 是能够自主选择目标和施加力量的系统，无需人为控制。 自 2014 年以来，CCW 一直在研究这个问题，但尚未就解决这些武器引起的担忧的任何行动达成协议。

作为阻止杀手机器人的运动 把它放在2019年底：“外交正在以蜗牛般的速度向前发展，但各国面临的压力正在增加，要求立即就一项关于完全自主武器的新条约进行谈判。 人们越来越认识到，根据传感器处理选择和攻击目标的武器系统已经超出了可接受的门槛，必须予以禁止。”

上个月，美国陆军结束了一项为期三周的演习，名为 Project Convergence，旨在测试和开发一种 “人工智能 (AI) 启用杀网”，一个将计算机化的自动目标选择系统与武器系统连接起来的网络。 他们吹嘘能够探测目标并向其开火（来自地面火炮或无人机） 在20秒内. 军人可以 通过智能手机应用程序从无人机发射导弹. 来自无人机的侦察数据与其他来源相结合，“网络”在数字地图上呈现出威胁。

照片：德瓦·达山。

 阻止杀手机器人的运动 旨在保持人类对武力使用的有意义的控制。 作为 Project Convergence 的一部分进行测试的技术表明了我们的许多担忧。 操作员能否在 20 秒内就是否打击新检测到的目标做出合理的决定，或者他们只是击中了一个目标？ '我相信按钮' 橡皮图章系统的建议，将真正的决策权委托给软件？ 在明确优化以减少从检测到潜在威胁到摧毁它的时间的社会技术系统中，个人可能不会因保持警惕而获得奖励。 通过智能手机非常有限的用户界面进行攻击的想法也令人不安。

在关于 Project Convergence 的公开报道中，没有任何关于软件界面设计中的人为因素的讨论，没有任何关于目标系统如何工作（以及这些系统的缺点）的培训用户，或者如何确保操作员有足够的背景和做出决定的时间。 这与 国防创新委员会 (DIB) 人工智能原则，去年发表，其中也没有提及人为因素、计算机接口或如何处理 自动化偏见 （人类倾向于支持来自自动决策系统的建议）。

DIB AI 原则确实包括可靠性：“国防部 AI 系统应该有一个明确的、明确定义的使用领域，并且应该在该使用领域内的整个生命周期内测试和确保此类系统的安全性、安全性和稳健性.' 该原则与 Project Convergence 所采用的方法形成对比，后者使用 '即插即用界面 [s] […] 使新吊舱首次在无人机上工作，无需费力的技术集成或耗时的安全重新认证'，以及一个网络系统'这显着提高了我们机动旅的作战能力，但是 [...] 并没有被部署来做我们正在做的事情“。

作为融合计划的一部分使用的各种拼凑在一起的系统可能并不像我们许多人认为的自主武器系统——有自动瞄准，但武力的使用与目标选择是分开的，并且有一个循环中的人类决策者（尽管我们不确定决策者总是有足够的时间和背景）。

然而，这些系统至少是朝着完全自主武器迈出的重要一步。 亚瑟·米歇尔·霍兰德称这些工具为“致死系统' 并指出，“由于没有关于此类问题的标准，更不用说算法问责的协议，没有好的方法来评估一个糟糕的算法导致的杀戮是否归结为糟糕的数据、人为错误或故意的侵略行为反对受保护的群体。 一个善意的军事行动者可能会被异常的算法引入歧途，而不知道它； 但同样容易的是，一个有着更阴暗动机的演员可能会使用算法作为一个方便的面纱来做出故意阴险的决定。”

这些顾虑正是阻止杀手机器人运动呼吁保留人类对使用武力的有意义的控制的原因 一般义务，而不是寻求规范任何特定技术。 就是现在。 本文讨论了美国的 Project Convergence 作为一个及时（并且得到充分报道）的例子，但许多主要军事大国正在探索基于人工智能的瞄准，而军火工业正在 构建自治程度不断提高的系统.

照片：Mufid Majnun

这是 2020 年。我们目睹了一百年来最严重的全球大流行。 我们正处于气候危机之中，全球的森林以创纪录的速度燃烧。 我们正面临经济衰退、长期存在的系统性不平等和粮食危机。 然而，随着 2020 年的每一次危机，世界各地都有人挺身而出，为人类贡献自己的一份力量。 因此，尽管 2020 年的会计核算很严峻，但我们仍然可以选择一个不会将“支持 AI 的杀伤网络”和自主武器添加到列表中的未来。 技术发展并没有放缓，但如果我们迅速行动，就有时间采取行动。

要了解有关杀手机器人的更多信息以及您可以做什么，请访问： www.stopkillerrobots.org

原创文章 Medium.com.