ИИ массового поражения: Генри Киссинджер и Эрик Шмидт об угрозах кибервойны
У книги «Искусственный разум и новая эра человечества» (выходит в июне в издательстве «Альпина PRO») три автора: экс-госсекретарь США и лауреат Нобелевской премии мира 1973 года Генри Киссинджер, бывший CEO Google, экс-председатель совета директоров Alphabet и миллиардер Эрик Шмидт и декан Колледжа компьютерных наук имени Шварцмана в Массачусетском технологическом институте, бывший директор Amazon Дэниел Хаттенлокер. Втроем эти тяжеловесы пытаются ответить на вопрос, как трансформируется человечество и каким образом на него влияют новые технологии, в том числе в области политики и безопасности.
В книге не уточняется, все ли главы написаны тремя авторами совместно, или кто-то из них внес больший вклад в отдельные из них. Можно было бы предположить, что глава о безопасности и роли искусственного интеллекта (ИИ) в современных войнах в основном написана Киссинджером. Правда, Эрик Шмидт тоже обладает достаточно глубокими знаниями в этой области — он, например, является главой Комиссии национальной безопасности США по искусственному интеллекту и соавтором главного доклада комиссии. Forbes публикует отрывок из этой главы, посвященный теме кибероружия и проблемам, связанным с применением ИИ в ходе конфликтов.
Война в цифровую эпоху
На протяжении всей истории человечества политическое влияние нации, как правило, примерно соотносилось с ее военной мощью и стратегическими возможностями — ее потенциальной способностью наносить ущерб другим странам. Проблема, однако, в том, что равновесие, основанное на расчете силы, непостоянно и не поддерживает само себя — оно опирается прежде всего на общее понимание того, что считать силой и каковы законные границы ее применения. Соответственно, поддержание этого равновесия требует общего для всех участников системы международных отношений — особенно противников — понимания относительных возможностей и намерений государств, а также последствий агрессии. Наконец, сохранение равновесия требует фактического и признанного паритета. Когда один из участников системы непропорционально усиливает свою мощь, система попытается приспособиться — либо организуя противоборствующую силу, либо подстраиваясь к новой реальности. Если равновесие неустойчиво или не признается участниками международных отношений, риск конфликта резко возрастает. В наше время расчет равновесия стал еще более абстрактным. Причина тому — кибероружие, класс оружия с неясным статусом. В некоторых случаях кибероружие усиливает военную мощь страны тем, что эта страна не признает его использования и даже существования. Раньше, если начиналась война, сразу становилось известно, что произошло столкновение и какие стороны воюют. Противники оценивали силы участников и темп, в котором эти силы могли быть развернуты. С кибероружием все это не работает.
Даже ядерное оружие существует в обычном мире, где его развертывание может быть замечено, а его возможности определены — хотя бы приблизительно. Напротив, одно из главных свойств кибероружия — его непрозрачность, раскрытие информации о нем может в той или иной степени препятствовать его применению. Например, так называемые атаки нулевого дня используют ранее неизвестные недостатки в программном обеспечении, получая доступ к сети или системе без разрешения или ведома авторизованного пользователя. В случае распределенных DDoS-атак делается множество информационных запросов, блокирующих системы. Истинные источники атак маскируются, что затрудняет или делает невозможной идентификацию атакующего. Один из самых известных случаев промышленного саботажа с использованием кибернетических технологий — атака вируса Stuxnet, которая вывела из строя компьютеры, управлявшие иранскими ядерными разработками, — не обсуждался публично странами, которые, как считается, его осуществили. Моральные и правовые нормы предписывают использовать обычное и ядерное оружие только против военных сил и объектов. В отличие от этого, кибероружие широко воздействует на вычислительные и коммуникационные сети, часто поражая гражданские системы. Кроме того, кибероружие могут взять на вооружение другие стороны для других целей, включая использование против напавшей стороны. В некоторых отношениях это делает кибероружие похожим на биологическое или химическое оружие, которое может распространяться непреднамеренными и неизвестными способами. Во многих случаях оно воздействует на широкий срез общества, а не только на боевые цели. Например, атаки вредоносной программы Petya против украинских финансовых учреждений и государственных организаций в 2017 году вскоре распространились за пределы Украины — на электростанции, больницы, поставщиков транспортных и логистических услуг, а также энергетические компании в других странах, включая Россию. Таким образом, те самые свойства кибероружия, которые обеспечивают его эффективность, делают практически невозможным контроль над кибервооружениями. Когда участники переговоров по контролю над ядерным оружием раскрывали или описывали классы боеголовок, они не отрицали возможностей этого оружия. Переговорщикам по кибервооружениям предстоит столкнуться с интересным парадоксом — само обсуждение возможностей кибероружия может означать как его сокращение (если противник устранит уязвимости, против которых оно направлено), так и более широкое распространение (если противник скопирует его код или использует тот же принцип действия).
Эти проблемы усложняются неоднозначностью ключевых терминов и концепций. Различные формы кибервторжений, онлайн-пропаганды и информационной войны разные наблюдатели могут в тех или иных случаях назвать «кибервойной», «кибератакой» и даже «военными действиями», но этот словарь необщепринят и иногда используется непоследовательно. Одни действия, такие как вторжение в сеть для сбора информации, могут быть аналогичны традиционному шпионажу, хотя и в новых масштабах. Другие атаки, такие как цифровые кампании по вмешательству в выборы в социальных сетях, скорее относятся к пропаганде, дезинформации и политическому воздействию — но благодаря вездесущей цифровизации и сетевым платформам это возможно в более широких масштабах и с более высокой эффективностью, чем в предыдущие эпохи. Существуют также формы кибернетического воздействия, которые способны нанести физические потери, сходные с традиционными боевыми потерями. Но как выяснить, началась ли кибервойна, какова ее природа и как далеко она может зайти? Очевидно, что крупнейшие страны в настоящее время вовлечены в некий киберконфликт, природу или масштаб которого невозможно однозначно определить.
Главное противоречие цифрового века заключается в том, что чем больше цифровой потенциал общества, тем более уязвимым оно становится. Компьютеры, системы связи, финансовые рынки, электросети (и цифровые системы командования и управления, от которых они зависят), даже механизмы демократической политики — все эти системы в той или иной степени уязвимы для манипуляций или атак. По мере того как страны с развитой экономикой интегрируют цифровые системы управления и контроля в электростанции и электросети, переносят все больше правительственных программ на большие серверы и в облачные системы, передают все больше данных в электронные реестры, их уязвимость к кибератакам возрастает, в то время как государства со слаборазвитыми технологиями и террористические организации теряют сравнительно меньше.
Сравнительно низкая стоимость киберопераций и их относительная скрытность побуждает некоторые государства использовать для кибервойны полуавтономные группы. В отличие от отрядов, наводнявших Балканы накануне Первой мировой войны, эти группы трудно контролировать, они могут заниматься диверсионной деятельностью без официальной санкции. Поскольку утечки данных и кибердиверсии могут нейтрализовать значительную часть кибернетического потенциала государства или изменить его внутриполитический ландшафт, скорость и непредсказуемость этой области и разнообразие субъектов, которые в ней присутствуют, могут заставить политиков быстро перейти к наступательным действиям, чтобы нанести удар возмездия. Не являясь традиционной войной, такие действия могут оказаться разрушительными для целых стран и отношений между ними.
Быстрота и неоднозначность киберпространства благоприятствуют как наступлению, так и контрнаступлению. При этом возможности киберсдерживания частично зависят от того, что именно планируется сдерживать и как измеряется успех, — но ни одна крупная сторона киберконфликтов, правительственная или неправительственная, не раскрыла всего спектра своих возможностей даже для того, чтобы сдержать действия других сторон. Новые стратегии и доктрины развиваются неопределенно, в теневой сфере. Для обеспечения реальной безопасности современная ситуация требует системного изучения, тесного сотрудничества между правительством и индустриями и — со временем и в соответствующих пределах — обсуждения ограничений с противниками.
ИИ и трансформация безопасности
Коллекция военных парадоксов, загадок и двусмысленностей ядерного оружия и кибероружия сегодня пополняется благодаря возможностям ИИ. Страны, которые создают и внедряют ИИ с перспективой военного применения, не афишируют свои разработки, которые тем не менее могут оказать революционное воздействие на политику обороны и безопасности. Внедрение нечеловеческого мышления в военные системы и процессы изменит стратегию. Вооруженные силы и службы безопасности, использующие ИИ, добьются поразительных, даже ошеломляющих преимуществ. Сотрудничество с ИИ в военном деле может как свести на нет, так и невероятно усилить различные стороны традиционных стратегий и тактик.
Если ИИ получит определенную степень контроля над кибернетическими (наступательными или оборонительными) или физическими (такими, как авиация) системами вооружений, он сможет успешно выполнять функции, которые сложно реализовывать людям. Такие ИИ, как μZero ВВС США, уже летали на реальных самолетах и управляли радарными системами во время испытательных полетов. ИИ μZero спроектирован так, чтобы он мог самостоятельно применять оружие, но эта возможность отключена. Нет гарантии, что другие страны и команды разработчиков не дадут военным ИИ больше свободы.
Способность ИИ к автономии и логике создает не только потенциальную пользу, но и колоссальную неопределенность. Большинство традиционных военных стратегий и тактик основаны на предположении о существовании противника-человека, который будет вести себя узнаваемым образом, в соответствии с человеческим опытом и здравым смыслом. Однако ИИ, управляющий самолетом в поисках цели, будет следовать своей собственной логике, неизвестной противнику, невосприимчивой к традиционным сигналам и уловкам и при этом работающей очень быстро — гораздо быстрее, чем человеческое мышление.
В войне всегда много неопределенности и случайностей, но ИИ выводит их на новый уровень. Даже сами разработчики ИИ и пользователи оружия, основанного на ИИ, не могут точно знать, насколько оно мощное и что оно будет делать в той или иной ситуации. Как разработать наступательную или оборонительную стратегию для ИИ, который видит мир не так, как человек, обучаясь и изменяясь намного быстрее человека? Если результат применения некоторых видов оружия будет зависеть от восприятия ИИ и от выводов, которые он сделает (на основе расчетов, иногда непостижимых для человеческого разума), — не значит ли это, что выяснить стратегическое назначение этого оружия можно будет только в процессе его применения? Если потенциальный противник обучает свой ИИ в режиме секретности, как вообще узнать, кто побеждает и кто отстает в гонке вооружений?
Критическая точка традиционной войны — психология противника, именно против нее направлены стратегические действия. Но у алгоритма нет психологии, морали или сомнений, у него есть только его инструкции и цели. Поскольку ИИ может развиваться и меняться в процессе использования, ни одна из сторон не сможет точно предвидеть, каковы будут результаты (и сопутствующий ущерб) от применения ИИ, — в лучшем случае у них будет приблизительное представление об этом. И тогда стратеги и инженеры будут стремиться создать оружие, рассчитанное на скорость, широту воздействия и степень поражения — параметры, которые могут сделать такие конфликты более обширными и интенсивными.
Мы не призываем к разоружению или стратегии одностороннего отказа от вооружений — такое крайне редко возможно на практике. Как и в других стратегических областях, гарантия безопасности в случае с ИИ — сильная защита. Но, вооружаясь, потенциальные противники обязаны тщательно разобраться в том, что произойдет с внедрением ИИ в военное дело. Какой станет война — более гуманной и точной или более жестокой?
ИИ и машинное обучение меняют стратегические и тактические возможности сторон, расширяя действие существующих классов оружия. ИИ делает обычное оружие не просто более точным — теоретически он может нацелить оружие на конкретного человека или объект. Если военные или террористические группы будут использовать такие возможности для нападения на отдельных военных, политических, деловых или общественных лидеров, характер войны существенно изменится. Наступательный ИИ может научиться проникать в систему защиты без традиционной кибератаки, путем изучения огромных массивов информации. Оборонительный ИИ может находить и устранять уязвимости защиты до того, как ими воспользуется противник.
Темп военных действий, проходящих под управлением ИИ, неминуемо вырастет. Это может привести к появлению полностью или почти полностью автоматизированных систем обороны и контратаки (считается, что советская сторона занималась разработкой таких систем еще во время холодной войны). Результат автоматической отработки функций таких систем может выглядеть аналогично выполнению взаимосвязанных мобилизационных планов и обязательств, которые привели к катастрофе Первой мировой войны, — но без участия или почти без участия человека.
Если страна столкнется в бою с противником, который внедрил ИИ, обученный управлять самолетами и принимать самостоятельные решения о применении оружия, — какие изменения в тактике, стратегии или готовности прибегнуть к эскалации (возможно, ядерной) это вызовет? Какую реакцию вызовет отказ державы подтвердить или опровергнуть применение боевого ИИ?
Если говорить не только о классических боевых действиях, ИИ открывает новые горизонты возможностей в информационном пространстве — как в области мониторинга, так и в области дезинформации и подрывной деятельности. Генеративный ИИ может создавать огромные объемы ложной, но правдоподобной информации — включая искусственно созданных личностей, изображения, видео и речь, что особенно критично для свободных обществ. В общем доступе могут оказаться выглядящие реалистичными фотографии и видеозаписи, на которых общественные деятели говорят то, чего они никогда не говорили. Теоретически ИИ можно использовать для определения наиболее эффективных способов доставки дезинформации и ее адаптации к предубеждениям и ожиданиям общественности. Если противник использует фальсифицированные видео и изображения национального лидера для разжигания розни или распространения ложной информации, сможет ли общественность, включая правительства и официальных лиц, вовремя распознать обман?
В отличие от ядерной сферы, для такого использования ИИ не существует четкой концепции сдерживания (или степени эскалации при применении). Оружие с поддержкой ИИ (как физическое, так и кибернетическое) активно разрабатывается и, возможно, уже применяется. Державы, обладающие ИИ (как государства, так и негосударственные субъекты), будут развертывать машины и системы, использующие быструю логику, эмерджентное и эволюционирующее поведение для нападения, защиты, наблюдения, распространения дезинформации, а также выявления и уничтожения ИИ противников. Некоторые достижения будут засекречены или использованы неожиданно, другие, напротив, будут широко пропагандироваться в качестве меры сдерживания. И когда ИИ столкнутся друг с другом во время военных действий, это приведет к результатам, которые трудно предсказать.
По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.
Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное — например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, — университеты, исследовательские лаборатории, операторы сетевых платформ, о которых мы говорили в главе, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.
Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, — хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.
Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ — даже как вспомогательное средство во время патрулирования или военного конфликта, — знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.
Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях — передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам — подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то по крайней мере у человека останутся моральная ответственность и подотчетность — те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.
Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях — стратегических, доктринальных и моральных — всех этих перемен.