Эксперты по роботам-убийцам в Давосе

Вчера (21 января 2015 г.) Всемирный экономический форум провел часовой Дискуссия в сотрудничестве с TIME, чтобы подумать, «что, если роботы пойдут на войну?» На ежегодной встрече в Давосе, Швейцария, выступили четыре докладчика: бывший глава ООН по разоружению Анджела Кейн, председатель BAE Systems сэр Роджер Карр, эксперт по искусственному интеллекту (ИИ). Стюарт Рассел и эксперт по этике роботов Алан Уинфилд.

Несмотря на разный опыт, все участники согласились с тем, что автономные системы вооружений представляют опасность и требуют быстрых дипломатических действий для переговоров по юридически обязывающему инструменту, который подводит черту к оружию, неподконтрольному человеку. Обеспокоенность роботами-убийцами поднималась на других форумах, что свидетельствует о высоком уровне интереса к этой теме в Давосе.

Участники дискуссии четко понимали, что такое робот-убийца, а что нет. Рассел сказал, что полностью автономное оружие обнаруживает или выбирает цель и стреляет без вмешательства человека. Карр объяснил, что он сможет идентифицировать и выбрать цель, при необходимости скорректировать ее поведение и развернуть силу [огонь] без какого-либо вмешательства человека. Кейн заметил, что пока не существует формального определения полностью автономного оружия, но также предупредил государства, чтобы они «не тратили на это слишком много времени».

Карр описал «потенциал рынка в 20 миллиардов долларов», поскольку около 40 стран стремятся разработать автономное оружие. Кампания по остановке роботов-убийц перечислила XNUMX% шесть государств исследуют, разрабатывают или испытывают автономное оружие: США, Китай, Израиль, Южная Корея, Россия и Великобритания. Чтобы понять разницу, было бы полезно, если бы Карр мог более подробно рассказать о критериях и странах в длинном списке.

Все участники дискуссии согласились с тем, что держать роботов-убийц в руках ответственных правительств и вне рук негосударственных вооруженных групп будет сложно, если не невозможно. Другие стратегические соображения включают так называемую ценность сдерживания, которую участники дискуссии отклонили. Рассел и Карр отметили, что полностью автономное оружие не сможет подчиняться законам войны, и никто не доказал, что оно может соответствовать требованиям международного гуманитарного права.

Этические и моральные соображения были одними из самых острых проблем, высказанных, возможно, наиболее удивительно со стороны представителя оружейной промышленности Карра, который сказал, что полностью автономное оружие будет «лишено ответственности» и не будет иметь «никаких эмоций или чувства милосердия». Он предупредил: «Если вы удалите этику, суждение и мораль из человеческих усилий, будь то мир или война, вы поднимете человечество на другой уровень, который находится за пределами нашего понимания».

Уинфилд сказал, что в настоящее время технически невозможно построить искусственную систему с моральной свободой. Он сказал, что ученые спрашивают, зачем кому-то пытаться, если это переступает «этическую красную черту».

Эксперты несколько раз возвращались к понятию человеческого контроля, подчеркивая его центральное значение в зарождающейся международной дискуссии. Карр категорически заявил, что BAE Systems и правительство Великобритании твердо убеждены в том, что удаление человека «в корне неверно», и подтвердил, что никто не хочет позволять машинам выбирать, что, где и как сражаться.

Анджела Кейн, которая сейчас работает научным сотрудником Венского Центра по разоружению и нераспространению, рассказала, как государства могут использовать рамки Конвенции об обычных вооружениях (КНО) для переговоров по другому протоколу по автономному оружию. Она раскритиковала темпы дипломатических обсуждений на этом форуме с 2014 года как «ледниковые» и призвала США дипломатически «взять на себя инициативу» и «поднять дискуссию», как Франция и Германия делают в отношении роботов-убийц на КНО. Рассел назвал следующие от 18 месяцев до двух лет критически важными для достижения переговорного процесса. Карр несколько раз неоднократно заявлял, что «необходимо провести черту», ​​не в последнюю очередь потому, что другие, вероятно, будут использовать роботов-убийц безответственно.

Карр назвал политическое лидерство «большой проблемой» на пути к борьбе с роботами-убийцами, потому что «люди, выносящие суждения о законодательстве, не полностью понимают проблему или процесс», и рекомендовал привлечь законодателей к процессу просвещения по вопросам рисков. Уинфилд призвал зрителей и общественность связаться со своим избранным представителем или членом парламента и сказать им, что роботы-убийцы неприемлемы для «нас, людей».

До и во время панели Давос провел опрос о роботах-убийцах с тремя вопросами. Во время панели были представлены первые результаты: 88% людей в комнате в Давосе и 55% за ее пределами согласились с тем, что в случае нападения их следует защищать автономным оружием, а не человеческими «сыновьями и дочерьми». Эксперты отклонили этот вывод как наивный. Уинфилд сказал, что это выявило «необычайно неуместное и ошибочное доверие к системам ИИ», потому что «даже хорошо спроектированный робот будет вести себя хаотично и совершать ошибки в хаотической среде». Также есть опасения, что общественность покупается на шумиху в СМИ о потенциальных преимуществах и слишком доверяет таким системам, в то время как поколения теряют чувствительность к войне из-за видеоигр.

Согласно гайд Рассела, опубликованной на сайте Давоса в 2016 году, многие члены Глобального совета по повестке дня Всемирного экономического форума по искусственному интеллекту и робототехнике присоединились к более чем 3,000 экспертов по ИИ, подписав Открытое письмо 2015 г. призывая к запрету автономного оружия.

Экспертная группа по роботам-убийцам 2016 года - не первый раз, когда Давос рассматривает этот вопрос. В январе 2015 г. панель технологий Рассел и Кен Рот из Хьюман Райтс Вотч уделили много времени обсуждению этого вопроса.

Для получения дополнительной информации:

• Смотрите видео-запись панели на Всемирном экономическом форуме веб-страница.
• Прочтите статью Стюарта Рассела «Роботы на войне: новое оружие массового поражения?»И форума Отчет «Глобальные риски» за 2016 год, который относит автономное оружие к категории риска
• См. Статьи в СМИ, в том числе Agence France Presse, Bloomberg, CNN, Швейцарская Информация, The Daily Mail, The Times, The Next Web.
• Прочтите кампанию после о обсуждениях на Всемирном экономическом форуме 2015 г. роботов-убийц