火药和核武器的部署和使用从根本上改变了战斗人员和平民的战斗和体验方式。
技术的进步现在允许武器系统使用传感器处理自主选择和攻击目标。 这意味着我们对正在发生的事情及其原因的控制较少。 这意味着我们更接近于决定杀死谁或摧毁什么的机器。
自主武器将缺乏评估攻击相称性、区分平民与战斗人员以及遵守战争法的其他核心原则所需的人类判断力。
历史表明它们的使用不限于某些情况。 目前尚不清楚谁(如果有的话)会对自主武器(程序员、制造商、指挥官或机器本身)造成的非法行为负责,这造成了危险的问责制差距。
某些类型的自主武器将处理数据并以极快的速度运行。 这些系统复杂、不可预测且运行速度极快,有可能使武装冲突迅速失控,导致地区和全球不稳定。 杀手机器人本质上缺乏同情或理解细微差别或背景的能力。
这就是 Stop Killer Robots 与世界各地的退伍军人、技术专家、科学家、机器人专家和民间社会组织合作的原因,以确保人类对武力的使用进行有意义的控制。 我们呼吁制定新的国际法,因为禁止和规范武器的法律为政府、军队和公司在可接受和不可接受之间划定了界限。
杀手机器人:一位前军官的视角
常见问题解答
一些自主武器的支持者认为,它们将比人类更准确或更精确,因此导致的附带损害更少。 例如,罗恩·阿金 (Ron Arkin) 写道,“机器人可能会拥有一系列传感器,比人类更适合进行战场观察,冲破战争迷雾。” 支持者争辩说,它们将为战场带来更高的速度和效率,它们将能够在通信不安全的环境中作战,并且它们可以通过减少对人类士兵的需求并起到威慑作用来挽救生命。
但过去也有人对其他滥杀滥伤的武器提出了类似的论点,例如地雷、集束弹药和核武器。 在被国际条约禁止之前,这些武器造成了数十万受害者。 通过以意想不到的方式对环境做出反应,自主武器会增加士兵和平民的风险。 无需从使用武力中消除有意义的人为控制,就可以提高精度。 自主武器对国际法和安全构成的严重挑战远远超过了自主武器的潜在优势。
部署自主武器产生的另一个危险是对无线通信的依赖。 无线通信容易受到黑客、“干扰”和“欺骗”等故意中断的影响,这可能会使系统无法运行或破坏其程序。 在2012年 研究人员使用了“假”的 GPS 通信信号 重定向无人空中系统的路径,成功欺骗该系统并表明对无人和自主武器的安全性的担忧。 在网络安全和网络战争引起越来越多担忧的世界中,更复杂的黑客攻击可以完全接管自主系统的运行,包括可能释放武器。
自主武器将根据传感器数据选择和打击目标,使军队能够根据种族、民族、性别、着装风格、身高、年龄、行为模式或任何其他可用数据来瞄准目标人群。可以组成一个可定位的群体。 技术并不完美,也不是中立的,杀手机器人很容易受到技术故障的影响。 还有人担心杀手机器人会比其他大规模杀伤性武器更便宜、更容易生产。 成千上万的科学家警告说,如果没有昂贵或难以获得的原材料,自主武器就有可能大规模生产。 如果开发不受监管,这些系统就有可能被非国家行为者或个人与国家一起获取和部署。
自主武器还存在伦理、道德、技术、法律和安全问题。 机器缺乏与生俱来的人类特征,例如同情心以及对人权和尊严的理解,而这些是做出复杂的道德选择和适用战争法所必需的。 如果出现错误或非法行为,自主武器会造成问责制差距,这将难以确保伸张正义,尤其是对受害者而言。 随着用机器代替军队降低了冲突的门槛,战争的性质将发生巨大变化。 自主武器也可用于其他情况,例如 边境管制和警务.
在指挥或使用致命武力的军事交战中,有明确的指挥链和问责制。 由于军队作为等级组织运作,这种指挥结构是自上而下的,从下令使用武力的指挥官到“扣动扳机”的人。 有了自主武器, 指挥和控制受到威胁,而且责任和问责没有那么明确。
如果自主武器可以选择并与自己的目标交战,那么指挥链就会中断。 在这些系统中,一旦激活,武器系统会在一段时间内对目标施加力量,而无需额外的人工批准。 即使某些参数是预先确定的,由于冲突的动态特性,机器会在没有直接命令的情况下自主攻击目标。 这意味着人类操作员不会具体确定在何处、何时或针对什么力施加。
可解释性、可预测性和可复制性问题意味着自主武器的瞄准和交战也威胁到军事控制。 关于杀手机器人为什么或如何做出特定决定的信息很少或根本不明确。 如果这些决定导致错误——比如友军开火或过度附带损害——将很难确定这是机器运行还是敌对篡改的结果。 当命令和控制以这种方式中断时,问责制差距也会扩大。 谁应对自主武器的非法行为负责? 在其效用函数中设置变量的人? 最初编写它的人? 军事指挥官? 谁将被追究责任?
一些人认为,可以通过适当的监督或干预或取消攻击的能力来维持控制。 然而,人们严重担心人类操作员是否能够保持必要的情境理解以进行有意义的控制。 人类指挥官必须审查的数据量将超过人类分析数据的能力。 无法解释庞大的元数据集将进一步远离人类了解战场上发生的事情。 与人类相比,机器的速度和反应将加快战争的步伐,其结果将是人类对武力使用失去有意义的控制。
国际人道法 (IHL) 的主要原则之一是区分——区分战斗人员和平民的要求。 但近几十年来,冲突越来越多地成为国家军队与游击队或叛乱分子等非国家行为者之间发生的非国际性武装冲突。 在这种类型的战争中,很少看到敌方战斗人员穿着标准军装,这使得他们更难与平民区分开来。 在这种类型的战争中,非国家行为者的目标往往是融入平民或以平民身份出现以获得战术优势。 鉴于人类士兵在确定谁是合法目标方面面临的困难,很容易看出使用自主武器带来的更大风险。
一台机器将确定目标是否是纯粹基于编程的战斗员,很可能是在决定杀人之前几年在无菌实验室开发的。 废除机器的生死决定在道德、伦理和法律上都是有缺陷的。
John MacBride, LCol (Retd),在公开信中关于军事人员呼吁禁止自主武器。
尽管自 2014 年以来联合国关于常规武器公约的谈判几乎没有取得任何进展,但关于武器系统自主性的外交谈判正进入关键阶段。武器系统的自主性。 与此同时,对人工智能和新兴技术的军事投资继续有增无减。 如果任其发展,这可能导致战争进一步非人化,并削弱公众对新兴技术的许多有前途和有益的民用应用的信任。
Stop Killer Robots 并不寻求禁止在有意义的人类控制下操作的武器。 我们不反对广泛的人工智能 (AI) 或机器人技术,甚至不反对军队使用人工智能或机器人技术。 我们不提议禁止没有旨在挽救生命的武器的系统,例如自主爆炸物处理系统,这些系统可以在人为控制或不受人控制的情况下运行。 但我们相信有一条永远不应该跨越的界限:生死决策不应该委托给机器。
开发或部署以人为目标并且不能或不在有意义的人类控制下操作的自主武器将降低进入武装冲突的门槛,部署的任何此类系统都容易受到黑客攻击或故障,增加友军的风险军队和平民一样。 我们的理解是,没有任何军事指挥官愿意将战场控制权交给自主武器。
技术是由人设计和创造的。 我们有责任在可接受和不可接受之间建立界限。 我们有能力做到这一点,以确保人工智能和其他新兴技术有助于保护人类,而不是破坏人类。
在冷战最激烈的时候,一位俄罗斯军官拯救了世界。 26 年 1983 月 XNUMX 日,斯坦尼斯拉夫·彼得罗夫中尉决定不接受警告他美国核弹头即将发动袭击的计算机信号是准确的。 如果他按下“我相信按钮”来为系统的建议盖上橡皮图章,会发生什么? 确保武器系统在有意义的人类控制下运行意味着生死决定不委托给机器。 军事背景下人类决策的重要性现在与冷战期间一样重要
你可以做什么?
约翰麦克布莱德,LCol (Retd) 写了一封公开信,目的是收集支持禁止退伍军人和现役军人开发、使用和部署自主武器的证据。
如果您对即将到来的第三次战争革命以及这对世界各地军人和平民的指挥链、秩序、问责制和安全意味着什么感到担忧,请在我们的呼吁中加入您的声音。 您的支持是无价的,在您的帮助下,我们可以对自主武器带来的问题做出法律回应。
完全自主的武器是可以在没有人类控制的情况下识别目标并向其开火的武器系统。 它们不是可以由人类控制的武装无人机,而是可以在没有人为干预的情况下决定是否杀人的机器。 杀戮的决定不是由于男性和女性在做出此类决定时所使用的技能、知识、智力、训练、经验、人性、道德、态势感知以及对战争法和国际人道主义法的理解在战斗中。 一台机器将确定目标是否是一名战斗员,纯粹基于可能在做出杀人决定前几年在无菌实验室开发的程序。 废除机器的生死决定在道德、伦理和法律上都是有缺陷的。
目前还没有国家部署完全自主的武器,但一些国家正在开发这些武器。 现在是停止他们的开发和最终部署的时候了。 一些人认为这些武器是必要和不可避免的。 其中,有一种论点是,他们会提高军人和女军人的生存能力,如果敌人没有类似的武器,情况可能会如此,但如果一方拥有,另一方也会如此。 我们被告知机器没有人类的弱点,它们不会感到疲倦,它们不会生气,它们不像人类那样受天气或黑暗的影响,它们不知道恐惧,这使得这些机器优于人类。士兵。 机器没有这些弱点,它们也不会对自己的决定负责或负责——它们可以而且会肆无忌惮地攻击。 我们认为,根据现有的国际人道主义法,这些武器的特性应该被禁止。
机器人技术的进步已经在探测爆炸装置、搜救和一些工程任务等领域为士兵提供帮助。 然而,许多身着在职和退休人员的制服都非常担心将是否杀死、杀死什么以及何时杀死的决定权分配给机器的前景。 自主武器不对他们的行为负责。 有很多担忧,特别是在考虑非对称战争时,机器能够可靠地区分可能合法参与的目标和不合法的目标。 作为现役和退役的士兵、水手、飞行员和女飞行员,我们加入呼吁禁止开发、部署和使用武器系统的决定适用
暴力是自主产生的。
杀手机器人将与我们的战争作斗争:它们可信吗?
杀手机器人的黎明
杀戮决定不应该属于机器人
3
播客:在时间和空间上控制系统
这一集探讨了如何将时间和空间视为维持有意义的人类控制的手段,并回答关键问题:1) 哪些系统被认为是不可接受的,需要被禁止? 2) 如何确保对不需要禁止的系统进行有意义的人工控制?