没有非人化的技术

照片由 约翰·斯隆摄影 (CC BY-NC-SA)

非人性化是不承认他人的人性。 这是对人的尊严——人的内在价值——的否定，这是人权和现代伦理思想的基石之一。 相反，去人性化可能是走向战争、种族灭绝和其他暴行的第一步。

如何，在e 21 世纪，我们是否建立和运行计算机化的社会福利系统， 饿死受益人 or 拒绝基本权利 那些不太能驾驭复杂的软件中介应用程序的人？

当我们被缩减为数据存储中的记录时，我们与之交互的组织可能不会将我们视为完全人。 计算机系统现在运行着大多数官僚程序，例如福利系统，它们使员工远离系统的影响。 正如著名的社会学家和哲学家齐格蒙特·鲍曼 (Zygmunt Bauman) 所写，“与最终产品的实际和心理距离意味着 [……] 官僚层级的大多数官员可能会在不完全了解其影响的情况下发出命令。 在许多情况下，他们会发现很难想象这些影响。

构建决策系统的软件工程师通常比高级管理人员更远离我们构建的系统的影响。 无论有意与否，我们经常建立僵化的系统，导致许多人的结果比由有权做出决定和适应例外情况的人员组成的旧官僚机构更糟。

福利制度只是这种现象的一个例子。 易卜拉欣·迪亚洛 反复标记为不再受雇 通过其雇主的人力资源系统。 他实际上被计算机解雇了。

COVID-19 大流行使我们生活中的大部分时间以软件为中介的交互数量有所增加。 员工对非人性化的影响表示不满 雇主自动监控. 参加考试的学生 谈到了监考软件的影响 这引起了人们对他们的残疾的注意，不适合他们的肤色，并且是侵入性的。

通过软件对我们进行审查、评估以及做出有关我们的决定通常会让人感到不公平和不人性化。 我们知道个人可能会因自动决策或分析而遭受不公平的结果——这就是存在 22条 欧盟通用数据保护条例：

数据主体有权不受仅基于自动化处理（包括分析）的决定的约束，这会对他或她产生法律效力或类似地对他或她产生重大影响。

富裕的西方国家的公民通常有一些法律保护，以防止最具破坏性的数字非人化表现。 这对其他人来说不太正确。 美国移民和海关执法局 (ICE) 风险分类评估工具的故事是一个警示故事。 2017年这 工具被修改 始终建议拘留任何无证移民，与多年的做法背道而驰。 官员可以否决该工具的建议，但很少有人这样做，拘留人数猛增。

照片由 ev。

鲍曼指出，“当手段完全服从于工具理性标准，从而与目的的道德评价脱节时，使用暴力是最有效和最具成本效益的。” 似乎没有什么比计算机提出的建议更合理的了，无论该决定在上下文中可能有多大缺陷。

在一个决策由软件调解的组织中，对结果的责任是完全分散的。 我们这些构建决策系统的人被视为专业工作者：我们的代码有效吗？ 它有效且快速吗？ 我们是否添加了要求的新功能？

这样一个组织的管理远非“尖锐的结局”，在那里福利被剥夺，移民被拘留，考生被指控作弊，因为他们不能盯着屏幕看几个小时。 普通员工应该在系统内工作，他们最简单的行动方案是遵循他们使用的软件的建议。

正如鲍曼总结的那样：'结果是道德标准与官僚机构的技术成功无关 [强调鲍曼的]。 官僚机构——就像所有大型现代组织一样，从管理社会福利的组织到军队——只关心效率和技术上的成功。 计算机化决策往往会进一步降低人类判断的重要性。 “道德归结为成为一个优秀、高效和勤奋的专家和工人的诫命，”鲍曼说。

非人化是人类尊严和尊重人权的对立面。 数字去人性化兴起的唯一合乎逻辑的结局是使结束人类生命的决定自动化——制造和使用自主武器。

随着计算机化决策系统在我们的教育、工作、福利和司法系统中变得越来越普遍，维护人类尊严和人权必须成为优先事项。 在我们的年终绩效评估中，不会根据我们对维护人权的贡献来评判软件工程师。 尽管如此，我们有义务了解并减轻我们构建的系统的负面影响——并避免构建伤害和非人性化的系统。

2019年，软件行业的大部门表示'ICE 没有技术.' 这是一个很好的信息，值得重复——但我们需要做得更大：“没有非人性化的技术。”

马克西姆·霍普曼摄

了解更多关于杀手机器人以及什么 您 可以做，请访问： www.stopkillerrobots.org. 如果这篇文章让您作为一名技术专家产生共鸣，请查看针对技术工作者的“制止杀手机器人运动”资源： www.stopkillerrobots.org/tech.

1. Zygmunt Bauman， 现代性与大屠杀 （政治出版社，1989 年），115。
2. Zygmunt Bauman， 现代性与大屠杀， 114.
3. Zygmunt Bauman， 现代性与大屠杀， 117.
4. Zygmunt Bauman， 现代性与大屠杀， 115.
   

   ---

   原创文章 Medium.com.