为什么科技工作者应该反对杀手机器人

Laura Nolan，技术专家和前 Google 软件工程师 – Clare Conboy 摄

有许多 伦理, 政治 和 法律 反对自主武器的理由，自主武器可以在没有人类直接决定攻击的情况下进行攻击。 这些都是担心自主武器的充分理由，但我是一名软件工程师，我也以技术为由反对自主武器的开发和使用。

软件有缺陷，测试无法全部找到

所有软件e 有错误。 测试 无法全部找到并消除它们. 这是软件具有状态这一事实的结果，状态会随着时间而变化。 程序使用的每个附加变量都会增加它可以处于的状态数（更不用说操作系统中的状态了）。 我们通过从新启动的、可预测的状态测试系统来实现这一点，但这并不意味着我们了解程序的所有行为方式。

确实存在用于实施安全关键软件系统的方法。 然而，关于如何构建安全关键的自主系统的研究 处于起步阶段，即使在过去十年中对自动驾驶自动驾驶汽车的商业关注有所增长。 问题很可能无法解决。

自主武器可能被黑客入侵

从来没有构建过无法被黑客入侵的计算系统。 即使是从未连接到 Internet 的气隙系统， 被黑了. 遥控无人机有 已经被黑了. 对于自主武器，问题更严重——因为没有人直接控制武器，攻击者可能能够在没有人立即意识到的情况下改变其行为。

人工智能被过度炒作和脆弱

自主武器不是 AI（人工智能）的同义词，但很可能许多自主武器将采用人工智能技术进行目标识别，尤其是物体识别技术。 不幸的是，计算机视觉的对象识别 可以被愚弄 也可以 基于激光雷达的感知.

人工智能是 变幻莫测 当人类试图愚弄他们时，或者当他们在不同于他们受过训练的环境中使用时，往往表现不佳。 战争是一个以欺骗和战术不断变化为特征的竞技场，因此人工智能和战斗中的决策很可能是一个糟糕的匹配。

自动化偏差

自动化偏差 是一种众所周知的现象，人类倾向于相信并喜欢计算机生成的建议。 确实包含人类决策的军事系统可能仍会遇到这个问题—— 操作员过度自信 爱国者导弹系统被认为是几起友军开火事件的一个因素。 由于自动化偏差，即使是需要人工对攻击做出最终确认的自动化系统也可能成为问题。

在决策系统中使用人工智能只会使这个问题更加复杂，因为现代形式的人工智能 不能提供 他们的决定的任何人类可以理解的推理。 另一个新领域，可解释的人工智能（或 XAI）旨在解决这个问题，但它尚未产生 任何真正的进步 尽管有极大的兴趣。 就像对安全关键的自主系统的研究一样，这完全有可能是一个永远不会取得成果的领域。

我们可以建造一个杀手机器人，但我们不能负责任地建造一个

我们可以建造今天可以杀人的机器人。 我们无法建造一个安全的机器人，它不会被黑客入侵，在大多数或所有情况下都能正常工作，没有错误，并且能够可靠地管理涉及国际法和国际事务的复杂性。 战争法. 这就是为什么迫切需要禁止开发和使用它们的条约。

如果这篇文章与您作为技术专家产生共鸣，请查看阻止杀手机器人的运动 技术工作者的资源 或和我一起使用 #TechAgainstKillerRobots。

原文章发表于 Medium.com.