изображение главного меню

Проблемы с автономным оружием

Мы не ожидали, что в мире понадобится кампания «Остановить роботов-убийц», но это так.

Автономность в системах вооружений - это глубоко человеческая проблема. Роботы-убийцы меняют отношения между людьми и технологиями, передавая принятие решений о жизни и смерти машинам. Они бросают вызов человеческому контролю над применением силы, и когда они нацелены на людей, они дегуманизируют нас, превращая нас в точные данные.

Но технологии разрабатываются и создаются людьми. Мы обязаны установить границы между приемлемым и неприемлемым. У нас есть возможность сделать это, защитить нашу человечность и гарантировать, что общество, в котором мы живем и которое мы продолжаем строить, было таким, в котором человеческая жизнь ценится, а не измеряется количественно.

Альтернативный текст изображения

Правительства и компании стремительно развивают системы вооружений с растущей автономией с использованием новых технологий и искусственного интеллекта. Эти «роботы-убийцы» могут использоваться в зонах конфликтов, силами полиции и пограничного контроля. Но нельзя позволять машине принимать решения о жизни и смерти.

Эксперты ООН сообщили Совету Безопасности о недавнем применении «летального автономного оружия» в конфликте в Ливии. Использование этих боеприпасов без каких-либо конкретных ограничений на то, как они функционируют или как они используются, показывает, что необходимость в новом законе является насущной.

 

Девять проблем с роботами-убийцами 

(и одно решение)

 

1. Цифровая дегуманизация

Технологии должны расширять возможности всех членов общества, а не сводить нас к стереотипам, ярлыкам, объектам. Используемые против людей технологии, обеспечивающие автономное оружие, будут автоматически профилировать, согласовывать модели и обрабатывать людей как данные. На самом деле машины не могут распознавать людей как «людей». Итак, машины, решающие, подвергать нас атаке или нет, - это высшая форма цифровой дегуманизации.

Если мы допустим эту дегуманизацию, мы будем бороться, чтобы защитить себя от машинного принятия решений в других сферах нашей жизни. Нам нужно запретить автономные системы оружия, которые будут использоваться против людей, чтобы предотвратить это сползание к цифровой дегуманизации.

2. Алгоритмические предубеждения

Разрешение автономных систем, ориентированных на людей, будет означать разрешение системам усиливать или усугублять существующие структуры неравенства. Предрассудки в нашем обществе живут в наших наборах данных, наших категориях, наших ярлыках и наших алгоритмах. Убийство людей на основе заранее запрограммированных ярлыков и идентичностей всегда будет подталкивать нас к укреплению предрассудков или структур угнетения. Проблемные новые технологии также часто тестируются и сначала используются в маргинализированных сообществах. Мы должны бросать вызов структурам неравенства, а не превращать их в оружие.

Альтернативный текст изображения

3. Утрата значимого человеческого контроля

Утрата значимого человеческого контроля означает, что пользователи оружия больше не полностью осознают последствия своих действий. А это означает меньше места для «человечества». На поле боя или во время протеста машины не могут сделать сложный этический выбор, они не могут понять ценность человеческой жизни. Машины не понимают контекста или последствий: понимание - это человеческая способность, и без этого понимания мы теряем моральную ответственность и подрываем существующие правовые нормы.

Обеспечение значимого человеческого контроля означает понимание технологий, которые мы используем, понимание того, где мы их используем, и полное понимание последствий наших действий.

4. Недостаток человеческого суждения и понимания 

Люди не могут делать осмысленные суждения, если они не понимают системы, которые они используют, или контексты, в которых они их используют.

Автономные системы становятся все более сложными. Формы искусственного интеллекта и машинного обучения могут создавать препятствия для понимания и предсказуемости. Технологии, которые изменяют собственное поведение или адаптируют собственное программирование независимо, не могут использоваться с реальным контролем. Другие технологии могут представлять собой «черный ящик», где невозможно узнать, почему и как принимаются решения. Это может создавать системы, которые очень эффективны при выполнении определенных задач, но их использование нецелесообразно там, где любое неожиданное решение может означать жизнь или смерть. Мы должны гарантировать, что системы достаточно объяснимы - и запретить системы, которые не могут использоваться под осмысленным человеческим контролем.

Даже простые автономные системы создают проблемы. Согласно закону, военные командиры должны иметь возможность судить о необходимости и соразмерности нападения и проводить различие между гражданскими лицами и законными военными целями. Это означает не только понимание системы оружия, но и понимание контекста, в котором она может быть использована. На более широкой территории или в течение длительного периода времени «контекст» становится более сложным - ситуация становится все более и более непредсказуемой. Необходимы новые правовые нормы, чтобы ограничить эту непредсказуемость и обеспечить значимый человеческий контроль.

Альтернативный текст изображения

5. Отсутствие подотчетности

Люди, а не машины, должны нести ответственность. Но если люди не принимают осмысленных решений, они не могут считаться ответственными за последствия своих действий. Было бы несправедливо привлекать человека к ответственности за действия автономной системы вооружения, находящейся вне их эффективного контроля. Если мы стремимся к подотчетности, тогда нам нужны правила, которые гарантируют, что нужные люди берут на себя ответственность за применение силы.

6. Невозможность объяснить, что произошло и почему.

Эти проблемы контроля и подотчетности создают риск того, что пострадавшим людям некуда будет обратиться. Если мы не можем объяснить, как произошли результаты, мы оставляем жертв в неведении - без объяснений и без ответственности. Люди, потерявшие в конфликте членов семьи и близких, редко получают справедливость за свои потери. Мы должны работать, чтобы исправить это, а не программировать это игнорирование с помощью систем, которые мы не можем объяснить и / или контролировать.

7. Снижение порога войны

Вызовы, создаваемые существующими методами ведения войны на расстоянии, также будут усугублены за счет увеличения автономии, когда люди станут еще больше отстраняться от применения силы. Существующие вооруженные дроны использовались государствами для применения смертоносной силы в ситуациях, в которых они не были бы раньше, - принося страх и ужас конфликта в места, удаленные от активных полей сражений.

Понятно, что все государства хотят снизить риски конфликта для своих войск. Но хотя замена людей машинами может сделать военные действия более политически приемлемыми «дома», это может облегчить вступление в конфликт. Это также переносит бремя ущерба еще больше на гражданское население.

Альтернативный текст изображения

8. Дестабилизирующая гонка вооружений.

Крупные военные державы используют политическую напряженность и международное соперничество за власть в качестве оправдания для инвестиций в технологии, снижающие человеческий контроль. Мы слышали, как это утверждали обе стороны: нам нужно больше автономии, если у наших противников будет больше автономии ». Производители оружия стремятся поощрять эту риторику, чтобы увеличить прибыль. Эта динамика может принести пользу некоторым, но она вредна для всех нас - тратя деньги на ненужные военные расходы, накапливая напряженность и повышая риск конфликта (преднамеренного или случайного автономного ответа). Нам нужно больше человечности в наших международных отношениях, а не больше дегуманизации.

9. Наши отношения с технологиями

Технологии можно и нужно развивать для содействия миру, справедливости, правам человека и равенству. Мы все должны нести ответственность за развитие и использование технологий, а также за ту роль, которую они играют в нашей жизни. Решение провести черту против машин, которые принимают решения об убийстве людей - провести черту против технологий, которые применяют силу без реального человеческого контроля - обеспечивает фундаментальную проверку наших отношений с ИИ и новыми технологиями во всех сферах общества. Если мы не проведем эти линии сейчас, это будет только усложняться, поскольку государства и коммерческие компании будут все больше и больше инвестировать в развитие. Отказ от цифровой дегуманизации и обеспечение реального человеческого контроля над применением силы являются ключевыми шагами к построению более расширяющих возможностей отношений с технологиями для всех людей сейчас и в будущем.

Одно ясное решение

Мы призываем к новому международному праву, потому что законы, запрещающие и регулирующие оружие, устанавливают границы для правительств и компаний между приемлемым и неприемлемым. Мы можем продвигать это вперед с возрастающей скоростью, используя наш коллективный голос и публично требуя перемен.

Мы можем остановить роботов-убийц

 

Принимать меры

Начни занятие!
Альтернативный текст изображения
Значок точек SKR

Остановите роботов-убийц

Присоединяйтесь к нам

Следите за последними достижениями в движении по борьбе с роботами-убийцами.

Присоединяйтесь к нам