Как государство отслеживает в интернете запрещенный контент и его распространителей

Для многих понедельник, 20 сентября, начался не с первых итогов выборов в Госдуму, а с жутких кадров из Перми. Студенты Пермского госуниверситета выпрыгивали из окон, в то время как внутри первокурсник устроил массовый расстрел. Совсем недавно подобный теракт произошел в Казани. И казанского, и пермского убийц относят к «колумбайнерам» —последователям деструктивного течения, которое возникло после массового расстрела в американской школе «Колумбайн».

«Колумбайнеры», как и участники других деструктивных течений, обитают в пабликах в соцсетях. «Сидят подростки в интернете, смотрят, что в США происходило, а потом преступления у нас в школах совершаются», — возмущался Владимир Путин в начале 2018 года. И требовал активнее выявлять тех, кто вовлекает несовершеннолетних в противоправные действия. Этим занимается целая армия людей — волонтеры, силовики, чиновники, айтишники и полусекретные аналитики. Forbes разбирался, кто эти бойцы киберфронта и чем они занимаются.

Общественный надзор

Рост сетевых угроз был заметен уже в 2007–2008 годах, рассказывает член правления Регионального общественного центра интернет-технологий (РОЦИТ) Марк Твердынин. В тот период Рунет «населяли» около 25 млн человек, а аудитория «ВКонтакте» и «Одноклассников» насчитывала по 3–4 млн пользователей. В 2021 году интернетом пользуются 124 млн россиян, соцсетями — почти 100 млн. 

В далеком 2007-м в России слова «детская порнография» вызывали лишь ироничную улыбку, вспоминает Твердынин. РОЦИТ же изучил «мировые тенденции» и в 2008-м запустил горячую линию для жалоб на противоправный контент. В отрасли существовал консенсус, рассказывает Твердынин: владельцы площадок чутко реагировали на запросы РОЦИТ и быстро удаляли информацию. Проект существовал на спонсорские взносы участников отрасли и гранты государства — начинание поддерживал тогдашний замглавы Администрации президента Владислав Сурков.

Сначала были сотни обращений, вспоминает Твердынин, но спустя несколько лет жалобы исчислялись уже сотнями тысяч. Это привлекло внимание совладельца «Ростелекома», православного бизнесмена Константина Малофеева. В 2011 году Малофеев при поддержке тогдашнего министра связи Игоря Щеголева (оба знакомы с митрополитом Тихоном (Шевкуновым), которого СМИ называли «духовником Путина») создал ассоциацию «Лига безопасного интернета». В России не было никаких «ограничительных мер в отношении противоправного и вредного контента», говорит Малофеев, лига должна была «исправить эти недостатки»: «Легче всего менять государственную политику, когда сначала ты это делаешь частным и общественным образом».

На базе наработок РОЦИТ и других общественников лига открыла свою горячую линию, пролоббировала законы о защите детей от вредной информации и о «черных списках» интернета, создала внушительную кибердружину из 20 000 человек и инициировала блокировки сотен сайтов. Сам Малофеев «практически ежедневно» занимался лигой. «Существовало устойчивое предположение», что бизнесмен претендовал на роль главного регулятора Рунета, вспоминает директор фонда «НеДопусти!» Урван Парфентьев. Впрочем, планам не суждено было сбыться — после ряда аппаратных столкновений контроль за Рунетом передали Роскомнадзору.

На этом фоне, а также после персональных санкций ЕС против Малофеева деятельность лиги начала затухать. Своеобразный ренессанс лига пережила в 2018 году с приходом Екатерины Мизулиной, дочери сенатора и соавтора закона о защите детей Елены Мизулиной. Лига получила президентский грант размером 11 млн рублей, запустила ребрендинг движения «кибердружинников», готовит новое приложение и сайт, перечисляет Мизулина-младшая. Сама она регулярно появляется в новостях с различными инициативами, например, проверить рэпера Моргенштерна и журналиста Юрия Дудя на пропаганду наркотиков. Структуры Малофеева вышли из состава учредителей лиги, рассказывает Мизулина-младшая: «У него другие приоритеты в работе, лига пошла своим путем».

Малофеев же уверяет, что его охлаждение к лиге не связано с санкциями: «Теперь государство делает достаточно. А потому большой потребности в общественной массовой организации, которая бы следила за противоправным контентом в интернете, больше нет». 

Бан миллионов

В мае 2014 года Роскомнадзор оказался в центре скандала. В интервью «Известиям» замглавы ведомства Максим Ксензов пригрозил заблокировать Twitter и Facebook за несговорчивость. Премьер-министр и активный пользователь соцсетей Дмитрий Медведев идею не оценил и на своей странице в Facebook порекомендовал «иногда включать мозги». Официальный представитель Роскомнадзора дезавуировал заявление Ксензова, и тому пришлось публично оправдываться.

С тех пор многое изменилось. В 2021-м Роскомнадзор уже не церемонится и выставляет Twitter ультиматум: месяц на удаление контента или полная блокировка. В контексте цифровой безопасности о Роскомнадзоре «мы сейчас слышим даже чаще, чем о правоохранительных органах», отмечает Парфентьев. До 2012 года о ведомстве знали только связисты, рассказывает эксперт: «Это была узкоспециализированная и совершенно незаметная организация».

Роскомнадзор «резко вошел в круг активных ньюсмейкеров» после принятия закона о «черных списках», говорит Парфентьев. Тогда ведомству делегировали полномочия по контролю за оборотом противоправного контента. Изначально в законе было три вида запрещенных материалов: детская порнография, пропаганда суицида и наркомании. 

Таким образом власти «приоткрыли калиточку», отмечает Артем Козлюк, руководитель общественной организации «Роскомсвобода»: впоследствии число категорий противоправного контента перевалило за дюжину и появилось столько же ведомств, каждое из которых отвечает за свой сектор цензуры.

Все заявки на блокировку стекаются в Роскомнадзор, рассказывает Козлюк. По данным «Роскомсвободы», в данный момент в России ограничен доступ более чем к 5 млн сайтов, при этом прямо заблокировано около 465 000 ресурсов. Только за 2020 год Роскомнадзор выявил почти 390 000 противоправных материалов, сообщил представитель ведомства. Из них около 130 000 экстремистских и террористических организаций, свыше 28 000 — с детской порнографией, по 25 000 — с наркотическим и суицидальным контентом. Несколько сотен сотрудников Роскомнадзора ведут ежедневный мониторинг интернета, говорит представитель ведомства. Автоматизированную систему для них разработал Главный научно-исследовательский вычислительный центр (ГлавНИВЦ) при Управделами президента, писало издание «Медуза» (признано в России иностранным агентом). На обслуживание и расширение своей информационной системы Роскомнадзор потратил более 1,6 млрд рублей, следует из данных СПАРК.

В борьбе с противоправным контентом чиновники Роскомнадзора рассчитывают не только на свои силы. С февраля 2021-го соцсети обязаны самостоятельно выявлять и блокировать запрещенную в России информацию. В противном случае их ждут оборотные штрафы. «Все-таки владелец забора отвечает в какой-то степени за то, что на нем написано», — говорил глава Роскомнадзора Андрей Липов. Представители «ВКонтакте», «Одноклассников», YouTube, TikTok и Twitter заверили Forbes, что ведут внутренний мониторинг и удаляют вредоносный контент. В Facebook и Telegram не ответили на запросы.

Простыми блокировками проблема не решается, вздыхает руководитель «Молодежной службы без­опасности» Леонид Армер: контент просто создадут снова. Необходимо выявлять инициаторов и работать с ними «индивидуально», призывает эксперт.

ПО для оперов

В практике Армера был «такой очень шустрый юноша», который маниакально развивал «суицидальную игру», аналог нашумевших «Синих китов». Он использовал около 150 аккаунтов в ­соцсетях и успел «наштамповать» около 200 пабликов, пока его не поймали, рассказывает Армер. По его словам, даже будучи под следствием, 16-летний преступник не прекратил кипучую деятельность. Утихомирить юношу смог только домашний арест без права пользоваться интернетом и браслет на ногу, говорит Армер.

Злоумышленника вычислил Армер. Сотрудники его «Молодежной службы безопасности» вручную мониторят подозрительные каналы и чаты в соцсетях, а деанонимировать их администраторов помогает специальное ПО. «Правоохранители часто спрашивают: как вы это сделали?» — смеется Армер, который взаимодействует с сотрудниками управления «К» МВД (занимаются киберпреступлениями) в десятках регионов. ПО для мониторинга соцсетей в МВД до сих пор экзотика, подтверждает бывший оперативник и основатель компании «Интернет-розыск» Игорь Бедеров (его разработками пользуется Армер). А если такие системы и встречаются, то, как правило, «все упирается в некое узаконенное пиратство», говорит Бедеров: «Когда какой-то опер по знакомствам набрал этих систем и ими пользуется». 

Закупки лицензионного ПО усложняет бюрократия, говорит гендиректор «Сеуслаба» Евгений Рабчевский. По его словам, процесс зачастую занимает около года. Его системой «СЕУС» пользуются территориальные управления МВД и региональные правительства, стоимость доступа, как правило, не превышает нескольких миллионов рублей в год. Наибольший интерес заказчики проявляют к «ВКонтакте», но «СЕУС» мониторит и другие площадки: «Одноклассники», Instagram и Telegram.

По словам Евгения Венедиктова, разработчика еще одной популярной у региональных силовиков системы «Демон Лапласа», процесс поиска злоумышленников выглядит примерно так. «Опасные» паблики изучаются на предмет специфического контента: фраз, названий, кличек, дат. Потом эти слова заносятся в программу, которая начинает искать их в аккаунтах жителей конкретного региона. Результат — список аккаунтов. Наиболее подозрительные уходят «на ручную работу силовикам», которые устанавливают личность владельца аккаунта и «отрабатывают со всеми вытекающими».

Силовики, как правило, несильно утруждают себя и выбирают тех, до кого «легче всего дотянуться», считает Козлюк: «И возбуждают административные и уголовные дела в зависимости от того, какую статистику по экстремизму надо подправить. Палочную систему у нас никто не отменял». Бывает, что силовики внедряются в чаты и сами склоняют «пацанов к более радикальным разговорам», указывал глава правозащитной группы «Агора» Павел Чиков: простое любопытство может вызвать последствия в виде обысков, задержаний и десятилетнего срока. Все зависит от конкретного оперативника, парирует Рабчевский: «Его порядочности, мотивации и так далее». В 2016 году созвучная его «СЕУС» система «Зеус» привлекла внимание СМИ, после того как ГУ МВД по Свердловской области сообщило в ТЗ к госзакупке, что «Зеус» позволяет следить за пользователями соцсетей, в том числе читать их сообщения. Рабчевский заверяет, что не занимается чтением переписки и не связан с «Зеусом». 

Технически доступ к переписке — вполне решаемая задача, отмечает один из игроков рынка. Причем, по словам собеседника Forbes, добиться этого можно и без ведома самой площадки. Есть у силовиков и решения для деанонимизации пользователей. Среди разработчиков — ГлавНИВЦ и НИИ «Квант», подконтрольный ФСБ. У ФСБ «много различных продуктов» и «внутри себя она что-то делает», отмечает Бедеров, но свои разработки «чекисты» трепетно оберегают. Потребности остальных силовых федеральных ведомств, как правило, не выходят за рамки программ по мониторингу СМИ, рассказывает Бедеров. В МВД сообщили, что «на постоянной основе проводят комплекс мероприятий по превентивному выявлению лиц, вынашивающих подобные намерения, в том числе в информационно-телекоммуникационных сетях». В остальных силовых ведомствах (ФСБ, СК, прокуратуре и Росгвардии) не ответили на вопросы Forbes. С недавних пор ряды киберборцов с подростковым экстремизмом пополнились новой организацией. Ее корни растут из гражданского ведомства, но по таинственности новый игрок не уступает спецслужбам.

Мониторинг молодежи

В преддверии 8 марта 2018 года Владимир Путин решил навестить дам. Перед встречей с дюжиной бизнес-леди, которая проходила на самарском кондитерском комбинате, президент отведал свежего рулета с маком. Слово взяла Наталья Касперская, бывшая жена основателя «Лаборатории Касперского» и совладелица компании по анализу соцсетей «Крибрум». И огорошила присутствующих печальной аналитикой: более миллиона подростков состоят в околокриминальных пабликах, еще три с половиной миллиона вовлечены в группы, где «обсуждают травлю и издевательство над другими людьми». Администраторов таких групп «надо ловить силами МВД и сажать в тюрьму», призвала предпринимательница.

«Вы бы видели, что это за люди, — встрепенулся президент, — пришли к одному забирать — чуть в штаны не наложил!» И предложил Касперской заняться проблемой вместе (еще в 2017 году Касперская в составе инициативной группы выдвинула его в президенты). Осенью 2018 года федеральное агентство Росмолодежь по поручению Путина учредило Центр изучения и сетевого мониторинга молодежной среды (ЦИСМ). Организация должна выявлять в интернете информацию, склоняющую детей к опасным действиям. Росмолодежь выбрали неслучайно, отмечает источник Forbes, близкий к Администрации президента (АП): нужны были не силовики, а специалисты, которые понимают подростков и могут отличить мем от призыва к терактам. По словам источников Forbes, ЦИСМ находится в зоне ответственности первого замглавы АП Сергея Кириенко, а непосредственный куратор проекта — Алексей Аветисов, возглавляющий в АП департамент по противодействию экстремизму среди молодежи.

Основным поставщиком ПО для ЦИСМ стал «Крибрум», рассказали несколько источников Forbes и подтвердил президент и основатель компании Игорь Ашманов, муж Касперской. Еще в начале 2010-х Ашманов разработал для «Лиги безопасного интернета» поисковик «плохого» контента и давно продвигает тему сетевых угроз. Для власти же проблема стала очевидной после массового убийства в школе в Керчи, которое произошло на следующий день после учреждения ЦИСМ. «Тогда мы еще ничего ежедневно не мониторили», — отмечает Ашманов. Он рассказывает, что «Крибрум» предоставляет ЦИСМ доступ в свою систему, которая содержит данные о 400 млн аккаунтов Рунета. Кроме того, аналитики «Крибрума» настраивают семантическую модель для поиска по аккаунтам: наборы ключевых слов и изображений, характерных для определенных «деструктивных» сообществ и субкультур. Система может распознавать не только текст и изображения, но и видео с аудио, рассказывал директор ЦИСМ Денис Заварзин. 

ЦИСМ выступает «диспетчером», рассказывает Ашманов: собирает данные, а потом решает, кому их выдать — Минпросвещения, ФСБ, МВД или Роспотребнадзору. По словам источников Forbes, система ЦИСМ умеет читать переписку и деанонимизировать пользователей соцсетей, а в ее разработке, помимо «Крибрума», участвовали Brand Analytics и «Медиалогия». Директор по маркетингу Brand Analytics Василий Черный подтвердил, что ЦИСМ использует их систему мониторинга. Представитель «Медиалогии» сообщила, что не в курсе сотрудничества с ЦИСМ.

ЦИСМ мониторит только «открытый контур» соц­сетей, отметили в Росмолодежи. В самом ЦИСМ отказались от демонстрации своей системы «из соображений безопасности». Закрытость ЦИСМ вызвала критику телеведущей Ксении Собчак. В 2020 году она выпустила сюжет о расстрелах в школах, в котором задалась вопросом, на что ЦИСМ потратил 1 млрд бюджетных рублей. По данным СПАРК, в 2019–2020 годах Рос­молодежь выделила ЦИСМ 1,4 млрд рублей в виде субсидий. Все эти деньги ЦИСМ израсходовал, следует из его отчетности на сайте Минюста: 255 млн рублей — на зарплаты и содержание офиса, 86 млн — на закупку основных средств и нематериальных активов, остальное — на «реализацию основной деятельности».

В Росмолодежи проигнорировали вопрос о бюджете ЦИСМ. Из документов, размещенных на сайте «Госрасходы», следует, что ЦИСМ получил 800 млн рублей по линии нацпроекта «Культура» на создание в 2019 году позитивного контента в интернете, который должен был собрать 251 млн просмотров. В 2019 году ЦИСМ разместил у себя на сайте несколько объявлений о конкурсном отборе заявок для участия в проекте, но их результаты Forbes найти не удалось. По данным Счетной палаты, охват проекта составил 92,6% от целевого показателя. 

Субсидия на 800 млн рублей не имеет прямого отношения к деятельности ЦИСМ, говорит источник, близкий к АП: ЦИСМ выступил куратором и распределил средства среди производителей контента. Оставшаяся сумма делится примерно пополам между двумя позициями, рассказывает собеседник Forbes: «сотрудники, офис и все остальное» и «программные решения». Последняя статья включает закупку средств мониторинга, их доработку и расходы на хранение данных, поясняет источник Forbes.

Ашманов и Черный не комментируют стоимость контрактов с ЦИСМ. А сам ЦИСМ отчитываться о них не обязан, так как создан в форме автономной некоммерческой организации и не попадает под закон о госзакупках. Если ЦИСМ условно включить в список госструктур, то с точки зрения технологий их система — лучшее по теме детского и молодежного деструктива, говорит Рабчевский из «Сеуслаба»: «Они лидеры». Главный показатель эффективности — предотвращенные происшествия, отмечает Черный. «Они реально жизни спасают, понимаете?» — говорит он.

Гибридные технологии

О своих планах и пермский, и казанский убийцы сообщили заранее. «Колумбайнер» из Перми — за полчаса до теракта на своей странице «ВКонтакте», а из Казани — за 20 минут в своем Telegram-канале. Пермский террорист «использовал функцию отложенной публикации», поэтому ЦИСМ, как и представители «ВКонтакте», увидели ее «лишь в моменте», объяснял Заварзин. Он также говорил, что выявить психопата заранее не получилось, так как «сетевой профиль не проявлял аномальной активности». По той же причине в мониторинг не попал и казанский стрелок, у которого «не было активности в социальных сетях с января 2019 года». А мессенджеры ЦИСМ не мониторит.

Задача не решается только автоматикой, говорит Ашманов: «Нужна также оперативная работа, то есть гибридные, человеко-машинные технологии». Системы мониторинга не гарантируют стопроцентной защиты, соглашается разработчик поисково-аналитической системы Avalanche, майор КГБ в отставке Андрей Масалович: «Но они меняют числа». Большое число «шутингов» удалось не допустить именно благодаря мониторингу соцсетей, отмечает глава комитета Госдумы по информационной политике Александр Хинштейн. По его словам, речь идет не менее чем о нескольких десятках таких примеров за последние несколько лет. Благодаря мониторингу ЦИСМ было предотвращено 14 нападений на учебные заведения, в рамках расследования этих дел привлечены к ответственности 18 человек, сообщили в Росмолодежи. 

Чтобы повысить эффективность мониторинга, ЦИСМ заключает с регионами соглашения о сотрудничестве, рассказывает глава комитета Совфеда по образованию Лилия Гумерова. Переговоры идут не слишком успешно, отмечает сенатор: пока удалось договориться с несколькими десятками регионов. ЦИСМ хочет, чтобы ­региональные власти собирали информацию о соцсетях школьников через учителей, рассказывает источник, знакомый с деятельностью ЦИСМ. Конечная цель — загрузить данные об аккаунтах учащихся в систему и начать мониторить, поясняет собеседник Forbes. «Правда, в регионах народ нервный и неохотно идет на сбор персональных данных», — уточняет он. Заварзин отрицает, что ведет подобную работу в регионах. А сразу после расстрела в Перми стало известно, что власти собираются увеличить финансирование ЦИСМ на дополнительные 1,6 млрд рублей.

Возможно, власти беспокоятся не только о здоровье граждан. Реальную опасность интернет-сообществ власть осознала после массовых митингов в конце 2011 года, говорит Масалович, который участвовал в мониторинге тех событий. Большая доля пользователей деструктивных групп проявляет интерес к политике, говорится в исследовании «Крибрума»: «При должной пропагандистской раскачке члены данных сообществ потенциально могут быть массово привлечены к участию в радикальных политических движениях». «Можно ли из сообществ «шутеров» или «суицидников» извлечь политическую составляющую? Теоретически да», — признает Хинштейн. Но государство борется с этими движениями не из-за их потенциальной политической емкости, а потому, что они несут угрозу для общественной безопасности и для жизни людей, подчеркивает депутат.

Соцсети стоило бы обязать проводить психологическую оценку пользователей на предмет не­адекватного поведения, отмечает Хинштейн. Психологический риск-анализ профилей позволит оперативнее противодействовать угрозам, подтверждает представитель Роскомнадзора. За распространение опасного контента должны нести ответственность не только соцсети, но и провайдеры, полагает Гумерова. «Законодательство нужно ужесточать», — предлагает она.

Полностью защитить общество невозможно, писал после трагедии в Казани основатель Telegram Павел Дуров в своем канале. Неизбежность таких событий не делает их менее трагичными, отмечал Дуров: «Но они не должны служить поводом для организации охоты на ведьм или превращения общества в концлагерь».