изображение главного меню

Военные и роботы-убийцы

Появление автономного оружия часто называют третьей революцией в войне. Первым и вторым были порох и ядерное оружие.

Развертывание и использование пороха и ядерного оружия коренным образом изменило то, как воевали и переживали конфликты как комбатанты, так и гражданские лица.

Достижения в области технологий теперь позволяют системам оружия выбирать и атаковать цели автономно, используя сенсорную обработку. Это означает, что у нас меньше человеческого контроля над тем, что происходит и почему. Это означает, что мы ближе к машинам, принимающим решения о том, кого убить или что уничтожить.

Автономному оружию не хватало бы человеческого суждения, необходимого для оценки соразмерности атаки, отличия гражданского населения от комбатанта и соблюдения других основных принципов законов войны.

Альтернативный текст изображения

Появление автономного оружия часто называют третьей революцией в войне. Первым и вторым были порох и ядерное оружие.

История показывает, что их использование не ограничивается определенными обстоятельствами. Неясно, кто, если кто-либо, может быть привлечен к ответственности за противоправные действия, вызванные автономным оружием - программист, производитель, командир или сама машина - что создает опасный пробел в подотчетности.

Некоторые типы автономного оружия обрабатывают данные и работают с огромной скоростью. Сложные, непредсказуемые и невероятно быстрые в своем функционировании, эти системы могут привести к тому, что вооруженные конфликты быстро выйдут из-под контроля, что приведет к региональной и глобальной нестабильности. Роботам-убийцам по своей сути не хватает способности сопереживать или понимать нюансы или контекст.

Вот почему Stop Killer Robots работает с ветеранами вооруженных сил, техническими экспертами, учеными, робототехниками и организациями гражданского общества по всему миру, чтобы обеспечить реальный контроль человека над применением силы. Мы призываем к новому международному праву, потому что законы, запрещающие и регулирующие оружие, устанавливают границы для правительств, военных и компаний между тем, что приемлемо, и тем, что неприемлемо.

Проиграть видео Альтернативный текст изображения

Роботы-убийцы: взгляд бывшего военного офицера

Лоде Девэгенейре более 30 лет проработал офицером в бельгийских военно-воздушных силах. После оперативной карьеры пилота вертолета он также был военным советником бельгийской делегации в Организации Объединенных Наций в Женеве. Сейчас он военный советник Mines Action Canada, член организации Stop Killer Robots.

ОТВЕТЫ НА ВОПРОСЫ

Некоторые сторонники автономного оружия утверждали, что оно будет более точным, чем у людей, и, следовательно, приведет к меньшему сопутствующему ущербу. Например, Рон Аркин написал: «Роботы, вероятно, будут обладать рядом сенсоров, лучше оснащенных для наблюдения за полем боя, чем люди, и прорезать туман войны». Сторонники утверждают, что они увеличат скорость и эффективность на поле боя, что они смогут действовать в условиях небезопасной связи и что они могут спасти жизни, уменьшив потребность в людях-солдатах и ​​выступая в качестве сдерживающего фактора.

Но аналогичные аргументы приводились и в отношении других видов оружия неизбирательного действия, таких как наземные мины, кассетные боеприпасы и ядерное оружие. Это оружие унесло сотни тысяч жертв, прежде чем оно было запрещено международными договорами. Взаимодействуя с окружающей средой неожиданным образом, автономное оружие повысит риски как для солдат, так и для гражданского населения. Повышение точности может быть достигнуто без устранения значимого человеческого контроля над применением силы. Потенциальные преимущества автономного оружия намного перевешиваются серьезными проблемами, которые они создают для международного права и безопасности.

Еще одна опасность, исходящая от развертывания автономного оружия, - это зависимость от беспроводной связи. Беспроводная связь подвержена преднамеренным нарушениям, таким как взлом, «глушение» и «спуфинг», которые могут вывести системы из строя или повредить их программы. В 2012 исследователи использовали фальшивый сигнал связи GPS перенаправить путь беспилотной авиационной системы, успешно подменяя систему и демонстрируя опасения по поводу безопасности беспилотного и автономного оружия. В мире, где кибербезопасность и кибервойна вызывают растущие опасения, более изощренный взлом может позволить полностью перехватить работу автономных систем, включая потенциальный выпуск оружия.

Автономное оружие, которое будет выбирать и поражать цели на основе данных датчиков, дало бы военным возможность поражать людей на основе расы, этнической принадлежности, пола, стиля одежды, роста, возраста, модели поведения или любых других доступных данных, которые может составить целевую группу. Технологии несовершенны, они не нейтральны, а роботы-убийцы будут уязвимы для технических сбоев. Есть также опасения, что роботы-убийцы будут намного дешевле и проще в производстве, чем другие виды оружия массового уничтожения. Тысячи ученых предупредили, что без дорогостоящего или труднодоступного сырья возможно массовое производство автономного оружия. Если развитие останется нерегулируемым, существует риск того, что эти системы будут приобретены и развернуты негосударственными субъектами или отдельными лицами вместе с государствами.

Существуют также этические, моральные, технические, юридические проблемы и проблемы безопасности с автономным оружием. Машины лишены присущих человеку характеристик, таких как сострадание и понимание прав и достоинства человека, которые необходимы для принятия сложных этических решений и применения законов войны. В случае ошибки или противоправного действия автономное оружие создает пробел в подотчетности, что затрудняет обеспечение правосудия, особенно для жертв. Природа войны резко изменится, поскольку отправка машин вместо войск снижает порог конфликта. Автономное оружие можно было использовать и в других обстоятельствах, например, в пограничный контроль и охрана.

В военном столкновении, когда направляется или применяется смертоносная сила, существует четкая цепочка командования и ответственности. Поскольку военные функционируют как иерархические организации, эта командная структура построена сверху вниз, от командира, отдающего приказ о применении силы, до человека, который «нажимает на курок». С автономным оружием, командование и контроль находятся под угрозой, а ответственность и подотчетность не так однозначны.

Если автономное оружие может выбирать и поражать свои собственные цели, цепочка управления нарушается. В этих системах после активации есть период времени, когда система оружия может применить силу к цели без дополнительного разрешения человека. Даже если некоторые параметры заданы заранее, из-за динамического характера конфликта машина будет автономно поражать цели без прямой команды. Это означает, что человек-оператор конкретно не определяет, где, когда или против какой силы применяется.

Проблемы объяснимости, предсказуемости и воспроизводимости означают, что нацеливание и поражение с помощью автономного оружия также угрожают военному контролю. Будет мало или совсем не будет ясности относительно того, почему и как робот-убийца принял конкретное решение. Если эти решения приводят к ошибкам - например, к дружественному огню или чрезмерному сопутствующему ущербу - будет трудно определить, было ли это результатом работы машин или злонамеренного вмешательства. Когда таким образом нарушается командование и контроль, увеличивается и разрыв в подотчетности. Кто несет ответственность за противоправные действия автономного оружия? Люди, которые устанавливают переменные в его функции полезности? Люди, которые его программировали в первую очередь? Военачальник? Кто будет нести ответственность?

Некоторые утверждали, что контроль можно поддерживать с помощью соответствующего надзора или способности вмешаться или отменить атаку. Однако есть серьезные опасения по поводу того, смогут ли люди-операторы поддерживать необходимое понимание ситуации, чтобы иметь значимый контроль. Количество данных, которые должен будет просмотреть человеческий командир, превзойдет человеческие возможности для их анализа. Неспособность интерпретировать огромные наборы метаданных еще больше отдалит людей от понимания того, что происходит на поле боя. Скорость и реакция машин по сравнению с людьми увеличит темп войны, и результатом станет потеря человеком значимого контроля над применением силы.

Одним из основных принципов международного гуманитарного права (МГП) является различие - требование различать комбатантов и гражданских лиц. Но в последние десятилетия конфликты все чаще становятся вооруженными конфликтами немеждународного характера, которые ведутся между государственными силами и негосударственными субъектами, такими как партизаны или повстанцы. Вражеские комбатанты в этом типе войны редко можно увидеть в стандартной военной форме, что затрудняет их отличия от мирных жителей. В войне этого типа негосударственные субъекты часто стремятся слиться или выступить в качестве гражданских лиц, чтобы получить тактическое преимущество. Учитывая трудности, с которыми сталкиваются солдаты при определении того, кто является законной целью, легко увидеть еще больший риск, связанный с использованием автономного оружия.

Машина определяла, была ли цель комбатантом, исключительно на основе программирования, вероятно, разработанного в стерильной лаборатории за годы до того, как было принято решение об убийстве. Отказ от принятия решений о жизни и смерти для машины - это моральный, этический и юридический изъян.

Джон Макбрайд, LCol (в отставке), в открытом письме о призыве военнослужащих запретить автономное оружие.

Дипломатические переговоры об автономии в системах вооружений вступают в критическую стадию, хотя переговоры в Организации Объединенных Наций по Конвенции об обычных вооружениях не достигли значительного прогресса с 2014 года. Горстка военных держав упорно сопротивляется предложениям о начале переговоров по юридически обязывающему документу, касающемуся автономность в системах вооружения. Между тем военные инвестиции в искусственный интеллект и новые технологии не ослабевают. Если это не остановить, это может привести к дальнейшей дегуманизации войны и снижению общественного доверия к многим многообещающим и полезным гражданским применениям новых технологий.

Подробнее

Stop Killer Robots не стремится запретить оружие, которое работает под осознанным контролем человека. Мы не против искусственного интеллекта (ИИ) или робототехники в целом, или даже против использования ИИ или робототехники военными. Мы не предлагаем запретить системы без оружия, предназначенные для спасения жизней, такие как автономные системы обезвреживания боеприпасов, которые могут работать под контролем человека или без него. Но мы считаем, что есть черта, которую нельзя переходить: принятие решений о жизни и смерти не следует делегировать машинам.

Разработка или развертывание автономного оружия, которое нацелено на людей и не может или не работает под осмысленным контролем человека, снизит порог для вступления в вооруженный конфликт, и любая такая развернутая система уязвима для взлома или неисправности, увеличивая риск для дружественных как войска, так и гражданские лица. Насколько мы понимаем, ни один военный командир не захочет уступить контроль на поле боя автономному оружию.

Технологии разрабатывают и создают люди. Мы обязаны установить границы между приемлемым и неприемлемым. У нас есть возможность сделать это, чтобы искусственный интеллект и другие появляющиеся технологии способствовали защите человечества, а не его уничтожению.

В разгар холодной войны русский офицер спас мир. 26 сентября 1983 года лейтенант Станислав Петров решил не соглашаться с тем, что компьютерные сигналы, предупреждающие его о неминуемой атаке ядерных боеголовок США, были точными. Что бы произошло, если бы он нажал кнопку «Я верю», чтобы подтвердить рекомендацию системы? Обеспечение того, чтобы системы оружия работали под осмысленным человеческим контролем, означает, что решения о жизни и смерти не делегируются машинам. Важность принятия решений людьми в военном контексте сегодня так же важна, как и во времена холодной войны.

Что вы можете сделать?

Джон Макбрайд, LCol (Retd), написал открытое письмо с целью собрать доказательства поддержки запрета на разработку, использование и развертывание автономного оружия ветеранами и военнослужащими.

Если вы обеспокоены надвигающейся третьей революцией в войне и тем, что это будет означать для цепочки командования, порядка, подотчетности и безопасности военнослужащих и гражданских лиц во всем мире - пожалуйста, присоединитесь к нашему призыву. Ваша поддержка неоценима, и с вашей помощью мы можем добиться юридического решения проблем, связанных с автономным оружием.


Полностью автономное оружие - это система вооружения, которая может идентифицировать цели и стрелять по ним без контроля человека. Это не вооруженные дроны, которые контролируются человеком, а машины, которые решают, убивать или нет без вмешательства человека. Это решение убить не будет результатом навыков, знаний, интеллекта, подготовки, опыта, человечности, морали, ситуационной осведомленности и понимания законов войны и международного гуманитарного права, которые мужчины и женщины в военной форме используют для принятия таких решений. в бою. Машина определяла, была ли цель комбатантом, основываясь исключительно на программе, вероятно, разработанной в стерильной лаборатории за годы до принятия решения об убийстве. Отказ от принятия решений о жизни и смерти для машины - это моральный, этический и юридический изъян.

Ни одна страна еще не развернула полностью автономное оружие, но в ряде стран оно находится в стадии разработки. Пришло время положить конец их разработке и окончательному развертыванию. Некоторые утверждают, что это оружие необходимо и неизбежно. Среди них аргумент о том, что они улучшат выживаемость военнослужащих и женщин-военнослужащих, и это могло бы иметь место, если бы у противника не было аналогичного оружия, но если оно есть у одной стороны, то и у другой. Нам говорят, что машины не имеют человеческих слабостей, они не устают, они не злятся, на них не влияют погода или темнота в такой степени, как у людей, они не знают страха, и это делает эти машины лучше, чем машины. солдат. У машин нет этих слабостей, и они не несут ответственности за свои решения - они могут и будут атаковать безнаказанно. Мы считаем, что характеристики этого оружия должны быть запрещены в соответствии с действующим международным гуманитарным правом.

Технологические достижения в робототехнике уже помогают солдатам в таких областях, как обнаружение взрывных устройств, поиск и спасение, а также некоторые инженерные задачи. Однако многие в военной форме, как служащие, так и пенсионеры, серьезно обеспокоены перспективой принятия решений о том, что и когда убивать, машинам. Автономное оружие не несет ответственности за свои действия. Существует большое беспокойство, особенно при рассмотрении асимметричной войны, что машины способны надежно различать цели, которые могут быть поражены законно, и цели, которые не являются законными. Как солдаты, моряки, летчики и летчицы, как служащие, так и вышедшие на пенсию, мы присоединяемся к призыву запретить разработку, развертывание и использование систем вооружения, в которых решение применять
насильственная сила осуществляется автономно.

1

Вы подпишете?

Ваша поддержка неоценима, и с вашей помощью можно предотвратить разработку, производство и использование полностью автономного оружия.

Проиграть видео Альтернативный текст изображения

Роботы-убийцы будут сражаться в наших войнах: можно ли им доверять?

Пол Шарр - директор программы технологий и национальной безопасности Центра новой американской безопасности. Он предполагает, что ответы на вопросы, например, может ли робот принимать морально обоснованные решения, помогут нам найти гуманный способ двигаться вперед с развитием автономного оружия. Проблема с тем, чтобы полностью вывести людей из строя и дать роботам-убийцам полную свободу действий, сводится к важности нашей человечности.

Проиграть видео Альтернативный текст изображения

Эра роботов-убийц

В INHUMAN KIND Motherboard получает эксклюзивный доступ к небольшому флоту армейских роботов-обезвреживателей бомб - тем же платформам, которые вооружены военными - и к паре двухногих двухногих роботов DARPA высотой шесть футов. Мы также встречаемся с лауреатом Нобелевской премии мира Джоди Уильямсом, известным физиком Максом Тегмарком и другими людьми, которые борются с призраком искусственного интеллекта, роботов-убийц и технологического прецедента, созданного в атомную эпоху. Это история о развивающихся отношениях между людьми и роботами и о том, что искусственный интеллект в машинах сулит будущему войны и человечества.

Проиграть видео Альтернативный текст изображения

Решение об убийстве не должно принадлежать роботу

Как писатель Даниэль Суарес творит антиутопические сказки о будущем. Но на сцене TEDGlobal он рассказывает нам о реальном сценарии, о котором мы все должны знать больше: о росте автономного роботизированного оружия войны. Он предполагает, что современные дроны, автоматическое оружие и инструменты для сбора разведданных на базе искусственного интеллекта могут принять решение о том, чтобы вывести войну из рук людей.

3

Подкаст: Управление системами во времени и пространстве

В этом эпизоде ​​исследуется, как время и пространство следует рассматривать как средства для поддержания значимого человеческого контроля, и даны ответы на ключевые вопросы: 1) Какие системы считаются неприемлемыми, которые необходимо запретить? 2) Как обеспечивается реальный человеческий контроль над системами, которые не нужно запрещать?

Альтернативный текст изображения
Значок точек SKR

Остановите роботов-убийц

Присоединяйтесь к нам

Следите за последними достижениями в движении по борьбе с роботами-убийцами.

Присоединяйтесь к нам