Часто задаваемые вопросы

Автономные системы вооружения — это оружие, которое обнаруживает и применяет силу к цели на основе сигналов датчиков, а не прямых действий человека. После того, как пользователь-человек активирует систему вооружения, существует период времени, когда система вооружения может применить силу к цели без прямого одобрения человека. Это означает, что что или кто будет атакован, а также где и когда произойдет эта атака, определяется обработкой датчиков, а не людьми. Такое наведение на основе датчиков является функцией системы вооружения. Таким образом, система вооружения функционирует автономно, когда обработка данных датчиков может автоматически инициировать применение силы. Посмотрите наш ресурс «Объяснение автономного оружия», чтобы лучше понять, как работают автономные системы вооружения..

Роботы-убийцы — это те автономные системы вооружения, которые не могут использоваться в соответствии с правовыми и этическими нормами и должны быть запрещены. Это системы, которые невозможно использовать при полноценном человеческом контроле, и системы, нацеленные на людей. 

Роботы-убийцы поднимают значительные моральные, этические и правовые проблемы, бросив вызов человеческому контролю над применением силы и передав принятие решений о жизни и смерти машинам. Они также вызывают обеспокоенность по поводу цифровая дегуманизация, процесс, посредством которого люди сводятся к точкам данных, которые затем используются для принятия решений и/или действий, которые негативно влияют на их жизнь. 

Системы, функционирующие таким образом, угрожают международному миру, безопасности и стабильности. Автономия систем вооружений снижает контроль человека-оператора и подрывает подотчетность и ответственность в конфликте. Эти системы вооружений также вызывают серьезную обеспокоенность по поводу соблюдения международного права прав человека и принципов международного гуманитарного права. различие, пропорциональность, предосторожность, и запрет неизбирательные нападения.

В случае использования автономного оружия фундаментально изменится характер ведения войн. Они приведут к еще большей асимметричной войне и дестабилизируют международный мир и безопасность, спровоцировав новую гонку вооружений. Они также переложат бремя конфликта на гражданское население. Но риски, связанные с роботами-убийцами, угрожают не только людям, участвующим в конфликте. Использование этого оружия в наших обществах в более широком смысле также может иметь серьезные последствия.

Подумайте о будущих протестах, пограничном контроле, полиции и наблюдении или даже о других типах технологий, которые мы используем. Что бы это сказало о нашем обществе – и какое влияние это оказало бы на борьбу за этические технологии – если бы мы позволили машинам принимать окончательные решения о жизни и смерти? Появление и последствия автономного оружия затрагивают всех нас.

Некоторые люди говорят, что роботы-убийцы были бы более точными – что они были бы быстрее и эффективнее, чем люди-солдаты, могли бы проникать в места, в которых солдатам трудно действовать, могли бы более точно нацеливаться, спасать жизни, уменьшая количество «ботинок на поле боя». землю» и действовать как сдерживающий фактор. Но аналогичные вещи были сказаны о минах, кассетных боеприпасах и ядерном оружии – оружии неизбирательного действия, которое убило и ранило сотни тысяч людей, прежде чем было запрещено.

Технологии, которые изменяют собственное поведение или самостоятельно адаптируют собственные программы, не могут использоваться с реальным контролем. Другие технологии могут представлять собой «черный ящик», из которого невозможно узнать, почему и как принимаются решения. Согласно закону, военные командиры должны иметь возможность судить о необходимости и соразмерности нападения и отличать гражданских лиц от законных военных целей.

Это означает не только понимание системы вооружения, но и понимание контекста, в котором она может быть использована. Машины не понимают контекст и последствия: понимание — это человеческая способность, и без этого понимания мы теряем моральную ответственность и подрываем существующие правовые нормы. Угрозы и риски, связанные с роботами-убийцами, намного перевешивают любые потенциальные преимущества.

Многие системы включают в себя различные автоматизированные функции (например, автоматическое распознавание целей), но не подать заявление заставить (атаковать) цели на основе входных данных датчиков. Например, большинство систем вооружения, использующих автоматическое распознавание целей, в настоящее время имеют человека-оператора, который должен одобрить любую атаку (мы называем эти системы, основанные на одобрении). Однако трудно проверить, какой уровень автономии имеет система в отношении какой функции. Подробнее см. этот отчет PAX о правовых и моральных последствиях тенденций в области автономности систем вооружения.

Такие системы также вызывают моральные, юридические и этические проблемы, особенно в отношении цифровой дегуманизации и возможности пользователя сделать обоснованное суждение о том, соответствуют ли последствия атаки правовым и этическим нормам. Наша исследовательская и мониторинговая группа, Автоматизированное исследование решений, создал Монитор оружия Ресурс с примерами систем вооружения с характеристиками, информативными для решения проблем повышения автономности оружия.

Неопределенность вокруг возможностей систем вооружения и их автономных функций (или их отсутствия), а также тенденция к увеличению автономности в войне, в том числе в текущих конфликтах, еще раз подчеркнуть, почему срочно необходим новый международный закон об автономности систем вооружений.

Системы определения целей или генерации целей ИИ не являются системами вооружения. Это системы обработки данных, которые обрабатывают и анализируют большие объемы данных с высокой скоростью для определения целей и выдачи рекомендаций по таргетированию. Используемые данные могут включать спутниковые снимки, данные телекоммуникаций, кадры с дронов и т. д. Примеры таких систем включают: Израильская система Хабсора (также известная как «Евангелие»), Израиль Лавандовая системакачества Проект США Maven. 

Эти системы представляют собой целевые рекомендации или системы «поддержки принятия решений»; они не являются оружием. Как таковые, они не подпадают под действие договора об автономных системах вооружения. 

Хотя они не являются системами вооружения, эти системы по-прежнему поднимают важные гуманитарные, этические, моральные и правовые проблемы. Существует серьезный риск того, что люди будут чрезмерно доверять рекомендациям системы (предвзятость автоматизации) и могут стать чрезмерно зависимыми от автоматизированных систем, не понимая, как были созданы рекомендации. Кроме того, стремление к увеличению скорости может ограничить когнитивное участие пользователей в процессе принятия решений. Эти системы могут также создать «дымовую завесу» в отношении того, кто будет нести ответственность, если рекомендации приведут к нарушениям МГП.

Подробнее о проблемах, возникающих при использовании таких систем целевых рекомендаций, читайте Статья Люси Сучман об «алгоритмически ускоряемой машине для убийства»качества Статья Эльке Шварц и Нила Реника «Бесчеловечность в петле: нацеливание на искусственный интеллект и разрушение моральных ограничений».

Системы «управления огнем», которые включают в себя ряд компонентов, работающих вместе, чтобы помочь системе дальнобойного оружия нацеливаться, отслеживать и наносить удары, такие как Системы SMASH от SmartShooter и Системы AimLock, может быть интегрирован с штурмовыми винтовками и другим оружием. Эти системы могут использовать алгоритмы (в частности, распознавание изображений) для обнаружения, классификации или отслеживания целей, «фиксации» цели, выбранной человеком-оператором, и стрельбы по команде человека-оператора. Поскольку решение применить силу (атаку) к цели принимает человек, это не автономное оружие. Хотя такие системы не являются автономными системами вооружения, эти системы также вызывают моральные, этические и юридические проблемы, а также обеспокоенность по поводу цифровой дегуманизации.

Существует много типов роботов, которые можно использовать для других военных целей, например, роботы для обезвреживания бомб, для перевозки военной техники, для разминирования, для поиска и спасения, для целей наблюдения и так далее.

Некоторые роботы, например робот-собака с дистанционным управлением, получили значительное внимание в последние годы, особенно из-за опасений по поводу их потенциального использования в качестве оружия и использования. военными и силами полиции. Как и все системы вооружения, этих роботов следует использовать только в соответствии с правовыми и этическими нормами.

 Растущее использование таких роботов в военных целях и неопределенность в отношении их возможностей, масштабов их автономных функций и их потенциальной вепонизации еще раз подчеркивает, почему срочно необходим новый международный закон об автономии систем вооружений. 

Аналогичным образом, использование таких роботов в неконфликтных ситуациях, таких как полицейская деятельность и пограничный контроль, поднимает вопросы о защите прав человека и применении международного права в области прав человека.

В то время как шесть робототехнических компаний ранее обязались не допускать использования своих роботов в качестве оружияПродолжающееся развитие роботизированных систем для военного использования показывает, что саморегулирования будет недостаточно для решения проблем, возникающих перед защитой гражданского населения и международного гуманитарного права в результате появления новых технологий.

Остановите роботов-убийц глобальная коалиция, состоящая из более чем 250 международных, региональных и национальных неправительственных организаций и академических партнеров, работающих в более чем 70 странах. обеспечить значимый человеческий контроль над применением силы посредством разработки нового международного права. У нас также есть Молодежная сеть который объединяет молодых лидеров со всего мира для сотрудничества и поддержки наших усилий по обеспечению будущего без автоматических убийств.

Кампания «Стоп роботам-убийцам» призывает к новому международному закону об автономных системах вооружения. Этот новый договор должен запретить автономные системы вооружения. которые нацелены непосредственно на людейи автономные системы вооружения, которые не могут быть эффективно использованы. человеческий контроль (это то, что мы называем роботами-убийцами). Договор должен регулировать все другие автономные системы вооружений посредством создания позитивных обязательств (того, что государства должны делать для обеспечения соблюдения, или мер, которые они должны принимать для предотвращения нарушений международного права), включая конкретные правила о предсказуемости, понятности, временных и временных ограничениях. пространственные ограничения. Международный комитет Красного Креста  также рекомендует, чтобы системы, предназначенные или используемые для поражения людей, и непредсказуемые автономные системы вооружения были прямо запрещены, а на все другие автономные системы вооружения были возложены позитивные обязательства.

Компания Stop Killer Robots, как и Международный комитет Красного Креста, призывает к принятию новых юридически обязательных международных правил, запрещающих и регулирующих автономные системы вооружения, а не к полному «запрету». Это связано с тем, что новое международное право в форме смеси запретов и правил будет более широким по своему охвату, чем запрет, может охватить больше проблем, вызывающих озабоченность, и создаст максимально сильный международный договор. Помимо решения только вопроса о запрете принципиально неприемлемого автономного оружия, договор должен включать правила, обеспечивающие автономное использование другого оружия в соответствии с правовыми и этическими нормами.

Новые международные правила в форме юридически обязательного инструмента создадут прочную и эффективную основу для запрета и регулирования разработки и использования автономных систем вооружения. Инструмент с широким охватом, логической структурой и четкими нормативными линиями – например, запрет на преследование людей – установит убедительный стандарт даже для государств, которые сначала не присоединятся к нему. Инструмент, построенный по этому принципу, будет определять развитие технологий будущего.

Во всем мире продолжает набирать силу призыв к ограничению автономности систем вооружения посредством нового международного договора. Роботы-убийцы считаются серьезной угрозой человечеству, которая требует быстрого и решительного многостороннего ответа. Совсем недавно, в ноябре 2023 года, принята первая в истории резолюция ООН по роботам-убийцам на Генеральной Ассамблее ООН. Это последовало за ряд региональных должностей (т.е. декларации и коммюнике), принятые в отношении роботов-убийц ранее в 2023 году. В настоящее время большинство государств поддержать переговоры о новых правилах для автономных систем вооружения, как и Генеральный секретарь ООН и президент Международного комитета Красного Креста, которые выступили с знаковым совместным обращением в октябре 2023 года призывая государства провести переговоры по новому юридически обязательному инструменту к 2026 году.