Никаких дегуманизирующих технологий

Фото Фотография Джона Слоана (CC BY-NC-SA)

Дегуманизация - это неспособность признать человечность других. Это отрицание человеческого достоинства - внутренней ценности человеческой личности - которое является одним из краеугольных камней прав человека и современной этической мысли. И наоборот, дегуманизация может быть первым шагом к войне, геноциду и другим злодеяниям.

Как в the В 21 веке мы создаем и эксплуатируем компьютеризированные системы социального обеспечения, которые морить получателей пособий голодом до смерти or отказывать в основных правах тем, кто менее способен ориентироваться в сложном программном процессе приложений?

Организации, с которыми мы взаимодействуем, могут не воспринимать нас как полностью людей, когда мы ограничены до записи в хранилище данных. Компьютерные системы теперь управляют большинством бюрократических процессов, таких как системы социального обеспечения, и они отдаляют персонал от воздействия системы. Как пишет известный социолог и философ Зигмунт Бауман, «практическая и ментальная дистанция от конечного продукта означает, что […] большинство чиновников бюрократической иерархии могут отдавать приказы, не зная полностью об их последствиях. Во многих случаях им было бы трудно визуализировать эти эффекты ».

Инженеры-программисты, создающие системы принятия решений, обычно даже дальше удалены от воздействия создаваемых нами систем, чем руководители высшего звена. Намеренно или нет, мы часто создаем жесткие системы, которые приводят к худшим результатам для многих людей, чем старые бюрократические аппараты, укомплектованные людьми, имеющими право принимать решения и допускать исключения.

Системы социального обеспечения - лишь один из примеров такого рода явлений. Ибрагим Диалло был неоднократно отмечен как более не занятый системой управления персоналом его работодателя. Его эффективно уволили компьютеры.

В результате пандемии COVID-19 на протяжении большей части нашей жизни количество программных взаимодействий увеличилось. Сотрудники протестовали против бесчеловечного воздействия автоматизированное наблюдение со стороны работодателей. Студенты сдают экзамены говорили о влиянии программного обеспечения для контроля который привлекает внимание к их инвалидности, не работает с цветом их кожи и является инвазивным.

Изучение, оценка и принятие решений о нас программным обеспечением часто кажется несправедливым и унижающим человеческое достоинство. Мы знаем, что отдельные лица могут быть подвержены несправедливым результатам в результате автоматизированного принятия решений или профилирования - это причина существования Статья 22 Общего регламента Европейского Союза по защите данных:

Субъект данных имеет право не подвергаться решению, основанному исключительно на автоматизированной обработке, включая профилирование, которое имеет правовые последствия в отношении него или ее или аналогичным образом существенно влияет на него или ее.

Граждане богатых западных стран часто имеют определенную юридическую защиту от наиболее разрушительных проявлений цифровой дегуманизации. Это менее верно для других людей. История об инструменте оценки рисков иммиграционной и таможенной службы США (ICE) - поучительная история. В 2017 году это инструмент был изменен всегда рекомендовать задержание любого иммигранта без документов, в отличие от многолетней практики. Офицеры могли отвергнуть рекомендацию инструмента, но немногие сделали это, и количество задержаний резко возросло.

Автор фото ev.

Бауман указывает, что «насилие наиболее эффективно и рентабельно, когда средства подчиняются исключительно инструментально-рациональным критериям и, таким образом, не связаны с моральной оценкой целей». Нет ничего более рационального, чем рекомендация компьютера, каким бы ошибочным ни было это решение в контексте.

В организации, где решения опосредованы программным обеспечением, ответственность за результаты полностью распределена. Тех из нас, кто создает системы принятия решений, считают специалистами: работает ли наш код? Это эффективно и быстро? Добавили ли мы запрошенные новые функции?

Руководство такой организации далеки от «острого края», где отказывают в льготах, где задерживают иммигрантов, где тестируемых обвиняют в мошенничестве, потому что они не могут часами смотреть в экран, не мигая. Ожидается, что рядовые сотрудники будут работать в системе, и их самый простой способ действий - следовать рекомендациям программного обеспечения, с которым они работают.

Как заключает Бауман: «результатом является несоответствие моральных стандартов техническому успеху бюрократии. [курсив Баумана] ». Бюрократия - как и все крупные современные организации, от организаций, занимающихся социальным обеспечением, до военных - заботится только об эффективности и техническом успехе. Компьютеризированный процесс принятия решений еще больше снижает важность человеческого суждения. «Нравственность сводится к заповеди быть хорошим, эффективным и прилежным специалистом и работником», - считает Бауман.

Дегуманизация - это полная противоположность человеческого достоинства и уважения прав человека. Единственным логическим завершением роста цифровой дегуманизации является автоматизация решения покончить с человеческими жизнями - создать и использовать автономное оружие.

Поскольку компьютеризированные системы принятия решений становятся все более распространенными в наших системах образования, работы, социального обеспечения и правосудия, защита человеческого достоинства и прав человека должна стать приоритетом. Инженеры-программисты не оцениваются по нашему вкладу в защиту прав человека в наших оценках производительности на конец года. Тем не менее, мы обязаны понимать и смягчать негативные воздействия систем, которые мы создаем, и воздерживаться от создания систем, которые наносят вред и бесчеловечны.

В 2019 году значительная часть индустрии программного обеспечения сказала:Нет технологий для ICE. ' Это отличное послание, и его стоит повторить, но нам нужно идти дальше: «Никаких дегуманизирующих технологий».

Фото Максима Хопмана

Чтобы узнать больше о роботах-убийцах и являетесь могу сделать, посетите: www.stopkillerrobots.org. Если эта статья находит отклик у вас как у технолога, ознакомьтесь с ресурсами Campaign to Stop Killer Robots для технологических работников: www.stopkillerrobots.org/tech.

1. Зигмунт Бауман, Современность и Холокост (Полити Пресс, 1989), 115.
2. Зигмунт Бауман, Современность и Холокост, 114.
3. Зигмунт Бауман, Современность и Холокост, 117.
4. Зигмунт Бауман, Современность и Холокост, 115.
   

   ---

   Оригинальная статья на Medium.com.