Бесчеловечное решение: как развитие боевых роботов достигло опасной черты
В ходе военных действий в Ливии разыгрался сюжет из научной фантастики. Беспилотные летательные аппараты автономно, без команды от человека, действуя по заданной программе, выследили силы противника (подразделения, примкнувшие к командующему Ливийской национальной армии Халифе Хафтару) и нанесли по ним удар.
Это произошло еще в марте 2020 года, однако лишь спустя год об инциденте кратко написала группа экспертов ООН по Ливии — более чем в 500-страничном докладе нападению дронов уделено два предложения. В середине мая инцидент был кратко упомянут в статье правозащитной организации Human Rights Watch, затем в Бюллетене ученых-атомщиков и издании New Scientist. Благодаря публикации NY Post история наконец вышла к широкой аудитории.
Автономный режим
Внимание к, казалось бы, давнему и не имевшему видимых последствий событию легко объяснимо. Уже несколько десятилетий военные применяют ударные и разведывательные беспилотники, а также роботы, способные выполнять задачи на суше или в воде. Однако такая техника удаленно управляется человеком — в армии США дроны официально называются не беспилотными, а дистанционно пилотируемыми.
Автономные вооружения, в отличие от управляемых, действуют самостоятельно, без участия оператора. В худшем случае отсутствие человеческого контроля может привести к непредвиденным жертвам — на этой опасности делают акцент активисты, выступающие за запрет боевых роботов. Что именно может пойти не так, предсказать сложно, но вероятные сбои может представить любой, кто сталкивался с ошибками в работе сервисов на основе искусственного интеллекта, таких как интернет-поисковики, чат-боты или приложения для распознавания текста и изображений.
Примером вооружений, которые могут функционировать автономно при переключении в соответствующий режим, эксперты называют автоматическую туррель SGR-A1, разработанную компанией Samsung Techwin и используемую для охраны демилитаризованной зоны на Корейском полуострове. Сам производитель этого не признавал, утверждая, что для поражения целей необходимо участие человека. Автономный режим есть в системе противоракетной обороны «Иджис», размещаемой на американских кораблях, а также на военных базах в Европе. В этих случаях подразумевается, что оператор сознательно примет решение переключить такую систему в автономный режим и обратно.
Про случай в Ливии в докладе экспертов ООН говорится иное: «Смертоносные автономные системы вооружений были запрограммированы на поражение целей, не требующее связи между оператором и боеприпасами: по сути, это было полноценное применение механизма автономного режима наведения». Не имея связи с беспилотниками, операторы не могли контролировать, в каком режиме они будут работать. И если события развивались именно так, как описано в докладе, то этот случай можно рассматривать как важный прецедент.
Однако здесь возникает проблема: откуда мы можем знать, как все было на самом деле?
Туман войны 2.0
Согласно докладу, «колонны тылового обеспечения и отступающие подразделения [сил, примкнувших к Хафтару] были выслежены и дистанционно атакованы боевыми беспилотными летательными аппаратами или смертоносными автономными системами вооружений, такими как «STM Каргу-2» […], и другими барражирующими боеприпасами».
«STM Каргу-2» — 15-килограммовый беспилотник, произведенный турецкой компанией STM. Он позиционируется как оружие для асимметричных военных действий и антитеррористических операций. По информации компании, он обладает возможностями для обработки видео в режиме реального времени и содержит алгоритмы машинного обучения на самой платформе. Иными словами, предполагается, что дрон способен анализировать изображение, не отправляя его оператору. Более того, исполнительный директор STM утверждал, что беспилотник использует технологию распознавания лиц. «Каргу» относится к барражирующим боеприпасам или так называемым дронам-самоубийцам: обнаружив цель, он пикирует и поражает ее. Несколько машин могут действовать как рой.
STM заявляет, что беспилотник способен работать в автономном режиме, однако не уточняет, подразумевается ли под этим полная автономность или автономность в выполнении некоторых задач. Вряд ли стоит ожидать, что производитель позволит сторонним экспертам изучить код, используемый дроном. Не стоит забывать и о том, что у компании есть понятные стимулы приукрасить свой продукт (журналистам New York Times не удалось получить комментарий у STM относительно инцидента.)
Возникает вопрос, как эксперты ООН определили, что беспилотники не имели связи с оператором. В какой момент они перешли в автономный режим, какую роль операторы сыграли в определении целей и принятии решений о поражении?
Артур Холланд Мишель, эксперт по дронам и научный сотрудник Института ООН по исследованию проблем разоружения, считает, что в ближайшие годы число случаев использования подобных вооружений, попадающих в серую зону между автоматизированными и автономными, вероятно, только возрастет. По его мнению, инцидент в Ливии показывает сложности с выработкой общих определений и норм, касающихся смертоносных автономных систем вооружений (САС). Тем важнее, чтобы этот случай стал предметом межгосударственных переговоров.
Достичь стратосферы: как предпринимательница из США планирует спасать людей с помощью беспилотников
Законы военной робототехники
Несмотря на призывы запретить роботов-убийц со стороны правозащитных организаций и активистов, открытое письмо более чем 116 технологических лидеров и поддержку запрета со стороны многих стран, на межгосударственном уровне пока не видно большого прогресса. Переговоры по этой теме ведутся в рамках специальной группы на площадке Конвенции ООН о негуманном оружии. В 2019 году участникам удалось согласовать 11 руководящих принципов по вопросам САС, в которых зафиксированы такие пункты, как применимость международного гуманитарного права ко всем системам вооружений, необходимость сохранения ответственности человека за решения о применении оружия, необходимость оценки и снижения рисков при разработке новых вооружений — но о запрете речь не идет.
К главным противникам жесткого международного регулирования САС относят крупные военные державы, прежде всего США и Россию. По словам представителя Пентагона, действующая американская администрация делает акцент на развитие автономных и дистанционно управляемых систем, что объясняется аналогичными усилиями соперников США. Министр обороны России Сергей Шойгу в мае заявил о начале серийного производства боевых роботов, которые «в состоянии самостоятельно воевать». Китай выступает за запрет использования САС, но считает допустимыми разработку и производство такого оружия. Однако круг стран, чьи компании работают над вооружениями с автономными функциями гораздо шире. Если военные считают, что автономность даст им преимущество, то остановить разработки очень сложно.
Эффект «зловещей долины»: могут ли роботы сделать нас счастливыми
Менее жесткий способ регулирования заключается в принятии односторонних обязательств, таких как своды этических норм. В начале 2020 года Пентагон утвердил пять этических принципов для использования искусственного интеллекта. Американский военный ИИ должен быть: ответственным, беспристрастным, прослеживаемым, надежным и управляемым. Эти принципы аналогичны тем, которые принимаются и в других, невоенных областях. Похожим образом выработкой этических принципов для военного ИИ занимается и Франция.
Односторонние меры помогают убрать часть рисков. Но даже если американские или российские боевые роботы будут чуть более безопасными, это не предотвратит инциденты, подобные ливийскому, когда турецкий беспилотник с автономным функционалом оказался в зоне конфликта в другой стране вопреки действующему оружейному эмбарго. Снизить вероятность повторения подобных случаев можно только на межгосударственном уровне.
Мнение редакции может не совпадать с точкой зрения автора