Почему технические работники должны выступать против роботов-убийц

Лаура Нолан, технолог и бывший инженер-программист Google - Фото автора Clare Conboy

Здесь очень много этический, политический и юридически причины противостоять автономному оружию, которое может нанести удар без прямого решения человека атаковать. Это веские причины для беспокойства по поводу автономного оружия, но я инженер-программист, и я также против разработки и использования автономного оружия по техническим причинам.

В программном обеспечении есть ошибки, и тестирование не может найти их все

Все software есть ошибки. Тестирование не могу найти и устранить их все. Это следствие того, что состояние программного обеспечения меняется со временем. Каждая дополнительная переменная, которую использует программа, умножает количество состояний, в которых она может находиться (не говоря уже о состоянии в операционной системе). Мы замалчиваем это, тестируя системы из только что запущенного, предсказуемого состояния, но это не означает, что мы понимаем все способы поведения программы.

Существуют методологии внедрения критически важных для безопасности программных систем. Однако исследования о том, как создавать критически важные для безопасности автономные системы находится в зачаточном состояниидаже несмотря на то, что коммерческое внимание к беспилотным транспортным средствам за последнее десятилетие выросло. Проблема вполне может оказаться неразрешимой.

Автономное оружие можно взломать

Никогда не было построено компьютерной системы, которую нельзя было бы взломать. Даже системы с воздушными зазорами, которые никогда не подключены к Интернету, были взломаны. Дроны с дистанционным управлением имеют уже был взломан. С автономным оружием проблема еще хуже - поскольку никто не контролирует оружие напрямую, злоумышленники могут изменить его поведение, и никто не сразу об этом узнает.

ИИ раздута и хрупок

Автономное оружие не является синонимом ИИ (искусственного интеллекта), но весьма вероятно, что многие автономные виды оружия будут включать методы ИИ для идентификации цели, особенно методы распознавания объектов. К сожалению, распознавание объектов компьютерным зрением можно обмануть и так может восприятие на основе лидаров.

ИИ непредсказуемый и, как правило, плохо себя чувствуют, когда люди пытаются обмануть их или когда они используются в среде, отличной от той, для которой они были обучены. Война - это арена обмана и постоянного изменения тактики, поэтому ИИ и процесс принятия решений в бою, скорее всего, не подходят.

Автоматизация смещения

Автоматизация смещения - хорошо известное явление, при котором люди склонны верить и отдавать предпочтение предложениям, генерируемым компьютером. Военные системы, которые действительно включают принятие решений человеком, могут по-прежнему страдать от этой проблемы - самоуверенность оператора в ракетной системе Patriot упоминалось как фактор в нескольких инцидентах с дружественным огнем. Поэтому даже автоматизированные системы, требующие от человека окончательного подтверждения атаки, могут стать проблемой из-за предвзятости автоматизации.

Использование ИИ в системах принятия решений только усугубляет эту проблему, поскольку современные формы ИИ не может предоставить любые понятные человеку аргументы в пользу своих решений. Еще одна новая область, объяснимый ИИ (или XAI), направлена ​​на решение этой проблемы, но еще не решена. любой реальный прогресс несмотря на огромный интерес. Как и исследования критически важных для безопасности автономных систем, вполне возможно, что эта область никогда не принесет результатов.

Мы могли бы построить робота-убийцу, но мы не можем создать его ответственно

Мы могли бы построить роботов, которые могут убивать сегодня. Мы не можем построить безопасного робота, который невозможно взломать, который работает предсказуемо в большинстве или во всех ситуациях, не содержит ошибок и может надежно управлять сложностями, связанными с международным правом и законы войны. Поэтому срочно необходим договор, запрещающий их разработку и использование.

Если эта статья находит отклик у вас как у технолога, ознакомьтесь с кампанией по борьбе с роботами-убийцами. ресурсы для технологических работников или присоединяйтесь ко мне в использовании #ТехнологииПротивРоботов-Убийц.

Оригинальная статья размещена на Medium.com.