изображение главного меню
Фото здания ООН

AI с поддержкой сети убийств и скользкой дорожки к системам автономного оружия

Лаура Нолан, программист, ушла из Google из-за Project Maven. В настоящее время она является членом Международного комитета по контролю над роботами-вооружениями (ICRAC) и одним из основателей Кампании по борьбе с роботами-убийцами. #KeepCtrl.

Оригинальные фотографии: Мэтт Рединг и Маркус Списке.

LВ прошлом месяце Конвенция Организации Объединенных Наций об обычных вооруженияхons (CCW) встречается, чтобы обсудить смертоносные автономные системы оружия (LAWS), которые иногда называют «роботами-убийцами». LAWS - это системы, которые имеют возможность выбирать цели и применять силу автономно, без значимого человеческого контроля. КОО работает над этим вопросом с 2014 года, но еще не пришла к соглашению о каких-либо действиях по устранению опасений, вызываемых этим оружием.

Как кампания по остановке роботов-убийц поставил в конце 2019: «Дипломатия продвигается вперед медленными темпами, но на государства оказывается давление, чтобы они без промедления начали переговоры по новому договору о полностью автономном оружии. Растет признание того, что системы вооружений, которые выбирают и поражают цели на основе обработки сенсоров и не позволяют осуществлять значимый контроль со стороны человека, переходят порог приемлемости и должны быть запрещены ».

В прошлом месяце армия США завершила трехнедельные учения под названием «Проект конвергенции», направленные на тестирование и разработку «Искусственный интеллект (ИИ) позволил убить сеть», сеть, которая свяжет компьютеризированные автоматизированные системы выбора цели с системами вооружения. Они хвастались тем, что могут обнаруживать цель и стрелять по ней (из наземной артиллерии или дронов). в течение 20 секунд. Солдаты могут стрелять ракетами с дронов через приложение для смартфона. Данные разведки с дронов объединяются с другими источниками, и «сеть» представляет угрозы на цифровой карте.

Аэрофотоснимок грузовика посреди дороги

Фото: Дева Даршан.

Ассоциация Кампания, чтобы остановить роботов-убийц направлен на сохранение значимого человеческого контроля над применением силы. Технологии, тестируемые в рамках Project Convergence, демонстрируют многие из наших опасений. Может ли оператор принять обоснованное решение о том, поразить ли недавно обнаруженную цель менее чем за 20 секунд, или он просто поражает Кнопка "Я верю" чтобы закрепить рекомендацию системы, делегируя истинные полномочия по принятию решений программному обеспечению? В социотехнической системе, которая явно оптимизируется, чтобы сократить время от обнаружения потенциальной угрозы до ее уничтожения, человек не может быть вознагражден за проявление бдительности. Также вызывает беспокойство идея атаковать через очень ограниченный пользовательский интерфейс смартфона.

Нигде в публичных отчетах о конвергенции проектов не обсуждается человеческий фактор при разработке интерфейсов программного обеспечения, какие обучающие пользователи получают о том, как работают задействованные системы таргетинга (и о недостатках этих систем), или о том, как обеспечить операторам достаточный контекст и время принимать решения. Это соответствует Совет по оборонным инновациям (DIB) Принципы искусственного интеллекта, опубликованный в прошлом году, в котором также не упоминается человеческий фактор, компьютерные интерфейсы или то, как бороться с вероятностью предвзятость автоматизации (тенденция людей отдавать предпочтение предложениям автоматизированных систем принятия решений).

Принципы ИИ DIB действительно включают надежность: «Системы ИИ Министерства обороны должны иметь явную, четко определенную область использования, а безопасность, надежность и надежность таких систем должны быть проверены и гарантированы на протяжении всего их жизненного цикла в рамках этой области использования. . ' Этот принцип контрастирует с подходом, принятым для Project Convergence, в котором используетсяинтерфейс plug-and-play [s] […], чтобы новый модуль работал с дроном в первый раз, без трудоемкой технической интеграции или трудоемкой повторной сертификации безопасности'и сетевая система'что значительно улучшает боевые возможности наших маневренных бригад, но […] не был задействован для того, что мы делаем.

Виды собранных вместе систем, используемых в рамках проекта «Конвергенция», возможно, не совсем то, что многие из нас считают автономной системой вооружения - есть автоматическое наведение на цель, но применение силы отделено от выбора цели, и есть человек, принимающий решения, в петле (хотя мы не уверены, что у лица, принимающего решения, всегда достаточно времени и контекста).

Однако эти системы, по крайней мере, являются значительным шагом по скользкой дорожке к полностью автономному оружию. Артур Мишель Холланд называет такие инструментыСистемы обеспечения летальности»и отмечает, что« в отсутствие стандартов по таким вопросам, не говоря уже о протоколах для алгоритмической ответственности, нет хорошего способа оценить, было ли плохое убийство с алгоритмической активностью вызвано неверными данными, человеческой ошибкой или преднамеренным актом агрессии. против защищенной группы. Военный деятель, действующий из лучших побуждений, может сбиться с пути с помощью девиантного алгоритма и не знать этого; но так же легко актер с более темными мотивами может использовать алгоритмы как удобную завесу для намеренно коварного решения ».

Именно поэтому Кампания по борьбе с роботами-убийцами призывает к сохранению значимого человеческого контроля над применением силы в качестве средства беспокойства такого рода. общее обязательство, а не стремиться регулировать какую-либо конкретную технологию. Время настало. В этой статье проект США «Конвергенция» обсуждается как своевременный (и хорошо известный) пример, но многие крупные военные державы изучают возможности нацеливания на основе ИИ, а военная промышленность построение систем с возрастающим уровнем автономии.

Фото биотеста

Фото: Муфид Меджнун

Это 2020 год. Мы видели самую страшную глобальную пандемию за последние сто лет. Мы находимся в условиях климатического кризиса, и леса по всему миру сгорели с рекордной скоростью. Мы сталкиваемся с экономическими спадами, выявлением давно существующего системного неравенства и продовольственных кризисов. Однако с каждым кризисом, который наступал в 2020 году, во всем мире были люди, которые выступали, чтобы сыграть свою роль на благо человечества. Таким образом, хотя 2020 год является мрачным бухгалтерией, мы все же можем выбрать будущее, в котором не будут добавлены «сети убийств с поддержкой ИИ» и автономное оружие. Технологическое развитие не замедляется, но есть время действовать, если действовать быстро.

Чтобы узнать больше о роботах-убийцах и о том, что вы можете сделать, посетите: www.stopkillerrobots.org


Оригинальная статья на Medium.com.

Лаура Нолан

Альтернативный текст изображения
Значок точек SKR

Остановите роботов-убийц

Присоединяйтесь к нам

Следите за последними достижениями в движении по борьбе с роботами-убийцами.

Присоединяйтесь к нам