Открытое письмо, которое подписали Стивен Хокинг, Илон Маск, Стив Возняк и Ноам Хомский, всколыхнуло интерес к теме боевых автономных роботизированных систем (БАРС, англ.: LARS или LAWS). Несмотря на то, что продвижением темы в СМИ уже несколько лет занимаются различные общественные организации и движения (наиболее известная кампания Stop Killer Robots!), на высоких международных трибунах она впервые прозвучала в 2013 году. В докладе Совета по правам человека ООН ее поднял специальный докладчик ООН по вопросу о внесудебных казнях Кристофер Хайнц. Там же было сформулировано и определение БАРС. Под ними понимаются боевые системы, которые, будучи однажды приведены в активный режим деятельности, способны выбирать и поражать цель без дальнейшего вмешательства человека.
В то же время надо понимать, что БАРС на сегодняшней стадии развития — это не искусственный интеллект и даже не его прототип.
Это всего лишь системы, запрограммированные на самостоятельное обучение определенным функциям.
Прежде всего — идентификации и захвату цели. Далее — ее поражению в различных режимах и при различных условиях. А также вспомогательным функциям: определению своего местоположения, перезарядке боевых систем, перенастройке систем мониторинга обстановки и т. д. Кроме того, некоторым БАРС необходимы функции самосохранения, ухода от атак, возвращения в пункт базирования.
Современные автономные боевые системы совсем не похожи на терминатора T-800 из культового фильма Джеймса Кэмерона. Антропоморфные системы пока слишком сложны, а для выполнения ограниченного спектра функций лучше приспособлены более простые и надежные колесные, гусеничные или стационарные платформы. Широко известны проводимые при поддержке DARPA эксперименты компании Boston Dynamics по созданию зооморфных роботов-«мулов» (Big Dog, Cheetah и пр.), однако их функции пока сводятся к переноске грузов, а не к выполнению боевых задач. Любопытно, что с конца 2013 года проекты Boston Dynamics развиваются уже в рамках Google, который купил компанию, но не прекратил сотрудничество с DARPA.
Распространены колесные и гусеничные платформы — начиная от роботов-саперов с частично автономным режимом работы и заканчивая шеститонным тактическим роботом-грузовиком Crusher, используемым в армии США для различных целей и с различными вариантами монтируемых вооружений. Действительно автономных боевых гусеничных платформ пока немного, но характеристиками автономной работы вполне может обладать следующее поколение гусеничных вооруженных тактических роботов, используемых США в иракской кампании с прошлого десятилетия (SWORDS, MAARS).
Одним из простейших и старейших вариантов БАРС являются стационарные роботы-пулеметы, устанавливаемые в особо охраняемых зонах или на границах демилитаризованных зон. Например, роботизированные пулеметы SGR-A1, способные вести огонь в автономном режиме, используются Южной Кореей для охраны демилитаризованной зоны на границе с КНДР.
Пока наиболее перспективной и многообещающей платформой для БАРС являются боевые беспилотники.
Работу над проектами боевых дронов, частично или полностью автономных, ведут многие технологически развитые державы. В США в 2013 году успешную посадку на борт авианосца в автономном режиме совершил перспективный образец беспилотника X-47B. Израильский ударный беспилотник Harpy, как правило, управляется оператором, однако несет на себе ракетное вооружение, способное захватывать и поражать цель (в частности, радарные установки) самостоятельно. В Великобритании ведется разработка новейшего многоцелевого беспилотника Taranis, который, по данным СМИ, будет способен решать различные боевые задачи в полностью автономном режиме.
Наконец, существуют различные модели и перспективные проекты автономных и полуавтономных надводных и подводных роботов, предназначенных для решения различных задач от патрулирования акваторий до их разминирования и выслеживания противника.
Все это технологическое разнообразие объединяет реальная или планируемая разработчиками способность действовать автономно. И отсюда же вытекает ключевая угроза, озвученная и в открытом письме Хокинга, Маска и других: что если автономное оружие выйдет из-под контроля?
Можно сформулировать два общих сценария реализации этой угрозы.
Первый сценарий — это классический сюжет развития самообучающегося искусственного интеллекта (ИИ), который в какой-то момент осознает себя, выходит из-под контроля создателей и начинает принимать решения, направленные на уничтожение людей или иные действия, ведущие к человеческим жертвам. Пока это фантастика, прежде всего потому, что полноценный самообучающийся ИИ не создан, и задача по описанию математических уравнений, на которых будет основан его код, принциально не решена. Вторая причина, отделяющая человечество от этого сценария, — потенциально прорывные разработки в сфере ИИ (например, нейронные сети Google Deep Dream) и разработки в сфере БАРС пока слабо пересекаются. Зачатки ИИ не покидают границ корпоративной «пробирки», где с ними экспериментируют инженеры Google, тогда как у военных другие задачи, не столь фундаментальные.
Для автономного ударного беспилотника полноценный ИИ в принципе не нужен — достаточно отлаженной программы идентификации целей, их сопровождения и атаки, а также модулей уклонения от атак, перехвата и безопасного возвращения на базу. Для автономного робота-постового задачи еще на порядок проще — захват и опознание цели, плюс модуль управления огнем и перезарядкой.
Здесь по определению нет места и смысла для ИИ.
Примерно та же ситуация характерна и для сетей управления войсками и обороной. Например, в России при участии концерна «Созвездие» создаются автоматизированные системы управления войсками (АСУВ) различных уровней от оперативного до тактического. А на стратегическом уровне для Национального центра управления обороной создается компьютерная экспертная система «мониторинга и анализа военно-политической, социально-экономической и общественно-политической обстановки в стране и мире». Однако все эти сети и системы не предполагают прямого управления боевыми устройствами, речь идет прежде всего об организации коммуникаций и системы командования, а также об анализе и обработке информации, необходимой для принятия решений. Здесь ИИ если и понадобится в обозримом будущем, то устроить войну сам не сможет — нечем.
Второй сценарий — это непреднамеренный сбой (или сложный каскад ошибок) в работе компьютеров, непосредственно контролирующих боевые системы либо обеспечивающих операторов необходимой для принятия решений информацией. Это не только гораздо вероятнее открытого восстания машин, но и уже случалось в действительности. Классический случай, который описывает эксперт по передовым вооружениям Питер Сингер в своей книге Wired for War, произошел в 2007 году в ЮАР. В ходе полевых испытаний на военной тренировочной базе в Северном Кейпе зенитная система Oerlikon GDF-005 в результате сбоя компьютерной системы распознавания целей открыла беспорядочный огонь, убив 9 и ранив 14 южноафриканских военных.
И этот пример не единичен.
Еще один, третий сценарий инцидентов с участием не только БАРС, но и «умных боевых систем» в более широком смысле, — их взлом хакерами. В июле 2015 года в СМИ появились неподтвержденные сообщения о взломе неизвестными комплексов ПВО Patriot, расположенных на сирийско-турецкой границе. В частности, сообщалось, что хакеры смогли получить удаленное управление комплексами и заставили их исполнять команды, которые не были санкционированы оператором. Хотя хакерская атака возможна не только на автономные системы, в случае с БАРС последствия могут быть серьезнее, так как из-за автономного режима работы оператор может далеко не сразу обнаружить факт вмешательства в систему.
Тут стоит еще раз вернуться к фильму «Терминатор-2» и вспомнить, как именно искусственному интеллекту удалось погрузить человечество в ядерный апокалипсис. Во-первых, по заказу военных была создана самообучающаяся программа. Во-вторых, было проведено ее тестирование на передовых моделях военной техники — проведено удачно и без инцидентов. В-третьих, в какой-то момент военные настолько поверили в возможности новой программы, что подключили ее к системе мониторинга и управления стратегическими силами США и перевели ее в автономный режим — так и появилась глобальная оборонная сеть SkyNet.
Вот это и есть два необходимых условия для входа в точку бифуркации, в которой события могут пойти не так, как предполагалось: 1) наличие ИИ, который приспособлен для управления боевыми системами или выполнения других оборонных функций; 2) его широкомасштабное, многоузловое подключение к реальным боевым системам. В случае с глобальной сетью из множества полуавтономных узлов единого «рубильника», позволяющего за секунду перевести управление ей в ручной режим, может и не быть — либо он может предполагаться, но не сработать при реальном инциденте.
Но даже если согласиться с тем, что в отличие от фильмов, в реальности никто не доверит управление ядерными силами автономной программе, остаются серьезные вопросы. Компьютеризация и расширение возможностей автоматического отслеживания целей, мониторинга и оценки оперативной обстановки становится общей тенденцией как раз для сегмента ПВО. А системы ПВО организуются по принципу сетей, элементы которых сообща закрывают крупные участки воздушного пространства и обмениваются информацией друг с другом.
Представим, что в рамках повышения эффективности национальной системы ПВО условное государство объединяет свои зенитные комплексы в сеть при помощи программы, которая обеспечивает синхронизацию комплексов, обмен данными и мониторинг обстановки в автономной режиме. Далее происходит классическая комбинация ошибок: человеческий фактор (операторы сети ПВО случайно активируют функцию автономного управления огнем, которая обычно всегда отключена) плюс ошибка ПО — сбой в системе идентификации целей, который распространяется на все комплексы ПВО в сети. В результате в какой-то момент системы ПВО одновременно открывают огонь по случайным воздушным целям, оказавшимся в их зоне поражения — например, по домашним и международным авиалайнерам, пересекающим воздушное пространство этой страны. Результаты чудовищны и вряд ли нуждаются в описании.
Может ли описанная ситуация произойти где-либо на земном шаре завтра?
Скорее всего нет, так как военные пока осторожны и не спешат проводить подобные эксперименты. Но вопрос можно поставить по-другому: толкает ли гонка компьютерных и — параллельно — военных технологий ситуацию к тому, что через несколько лет описанный пример может стать реальным? Безусловно. Компьютеризация и автономизация управления сложными системами оружия нарастает во всем мире, а значит, будет нарастать и риск катастрофических инцидентов. В этом смысле не столь важно, какой именно сценарий может осуществиться раньше: критический сбой системы управления БАРС; развитие враждебного к людям ИИ, имеющего доступ к боевым системам, или, наконец, атака хакеров на «умную» военную технику. С точки зрения последствия все перечисленные варианты представляют примерно одинаковую угрозу для международной безопасности — а значит, работать надо над предупреждением всех из них.
В заключение стоит сказать, что у БАРС как боевой единицы, заменяющей человека на поле боя, есть и преимущества, отмеченные в докладе Хайнца. Например, БАРС не способны насиловать и не умеют пытать людей. Так что не все так просто и однозначно — как и всегда бывает со сложными порождениями технологического прогресса.