Зачем TikTok база изображений сексуализированного насилия над несовершеннолетними

Перевод Forbes USA

Бывший сотрудник TikTok Нассер (фамилии этого и некоторых других собеседников не называются из соображений конфиденциальности) знал, что в процессе обучения на должность модератора контента TikTok ему придется иметь дело с неприятными материалами. Но когда ему и другим новичкам на обучении показали изображения сексуального характера без цензуры с участием детей, для него это стало настоящим шоком.

Нассер работал в сторонней компании Teleperformance, которая модерирует контент социальной сети. Нового сотрудника взяли на специальный проект, в рамках которого планировалось научить искусственный интеллект (ИИ) TikTok выявлять на платформе худшее из худшего. Спустя всего несколько дней после начала работы Нассеру и его коллегам показали натуралистические изображения и видео, где дети подвергаются действиям сексуального характера, ― все ролики и фотографии, удаленные из TikTok.

«У меня самого есть дочь, и мне кажется, что неправильно, когда это смотрит толпа незнакомых людей, ― рассказал Forbes Нассер (из Teleperformance он ушел в 2020 году). ― Думаю, что такое для обучения использовать нельзя». 

Уитни Тернер, работавшая в Teleperformance по этой же программе TikTok в Эль-Пасо на протяжении чуть больше года и уволившаяся в 2021-м, тоже вспоминает, как на обучении ей показывали визуальные материалы с сексуализированным насилием над детьми. Сотруднице дали доступ к общей таблице. Сама Уитни и ее бывшие коллеги утверждают, что в файле полно материалов, нарушающих правила сообщества TikTok, в том числе сотни изображений с детьми, которых заставляют раздеваться или насилуют. Бывшие модераторы заявляют, что документ под названием DRR (англ. Daily Required Reading, «обязательная ежедневная вычитка») находился в широком доступе для сотрудников Teleperformance и TikTok еще этим летом. Несмотря на то что некоторым модераторам, задействованным по другим направлениям, просмотр этого документа был запрещен, многие источники рассказали Forbes о том, что свободный доступ к файлу имели сотни работников из обеих компаний. DRR и другие справочные материалы хранились в программе Lark, корпоративной системе китайского гиганта ByteDance, владельца социальной сети.

Уитни была настолько ошеломлена небрежным обращением с материалами, что сообщила об этом в ФБР и впоследствии, в июне, встречалась по этому поводу с агентом. В ФБР на вопросы о том, предвидится ли какое-то расследование, не ответили.

«Я модерировала контент и думала: это же чей-то сын, чья-то дочь. И их родители даже не знают, что у нас сохранены эти фотографии, эти видео, этот ужас, настоящее преступление, ― поделилась Уитни. ― Будь родители в курсе, я уверена, они бы сожгли TikTok дотла».

Президент глобального подразделения по доверию и безопасности Teleperformance Акаш Пугалия заявил Forbes, что ролики откровенного содержания с участием детей компания в целях обучения не применяет. Кроме того, он добавил, что фирма не хранит подобный контент в своих «инструментах калибровки», хотя, что это за инструменты и для чего используются, он не пояснил. Отвечать на другие вопросы из обширного списка о том, сколько людей имеют через DRR доступ к материалам с насилием в отношении детей и как Teleperformance охраняет визуальный данные, управленец тоже отказался.

TikTok ― далеко не единственная платформа, которая борется с материалами сексуального насилия над несовершеннолетними. Крупнейшие социальные сети мира давно прибегают к машинному обучению и помощи сторонних проверяющих, чтобы находить и удалять подобные записи до того, как они разлетятся по интернету. Многие фирмы сотрудничают с Национальным центром по поиску пропавших и подвергшихся насилию детей (National Center for Missing & Exploited Children), чтобы сообщать о подобных постах в своем приложении органам правопорядка.

Однако уникально то, как TikTok и его сторонние консультанты обращаются с таким контентом. Эксперты называют сложившийся подход в лучшем случае небрежным и халатным, а в худшем ― опасным и травмирующим снова и снова. Специалисты подчеркивают, что изображения сексуального характера с детьми при обучении модерации контента ― не важно, с цензурой или без, ― лишь унижает жертв каждый раз заново. Кроме того, хранение записей в документе с общим доступом безответственно и излишне.

Пресс-секретарь TikTok Джейми Фавацца заявила, что «материалы для обучения в компании имеют строгий контроль доступа и не включают в себя наглядные примеры материалов сексуального насилия над детьми», но признала, что бизнес работает со сторонними фирмами, у которых внутренние процессы могут отличаться. Отвечать на вопросы о том, сколько сотрудников имеют доступ к файлу DRR и где документ хранится, в TikTok отказались. Родительская компания ByteDance, разработчик платформы Lark, многочисленные запросы прокомментировать эту информацию оставила без внимания.

«Свободный и неограниченный оборот здесь не пройдет»

Изображения насилия над детьми и их эксплуатации противозаконны, и существуют строгие правила по обращению с такими данными в случае обнаружения. Материал подлежит незамедлительной блокировке, и о нем необходимо сообщать в систему CyberTipline Национального центра по поиску пропавших и подвергшихся насилию детей. Там персонал анализирует файлы и ищет их первоисточник, чтобы уведомить соответствующие правоохранительные органы. Как только компания сообщает о материале в профильный центр, ей официально разрешается хранить контент в течение 90 дней для помощи следствию. Но федеральный закон США четко требует от предприятий «минимизировать число сотрудников, которым дается доступ» к незаконному контенту, «хранить материалы в безопасном месте» и «обеспечивать полное уничтожение любого визуального изображения по запросу от органов правопорядка».

По мнению ведущих юристов и экспертов в области цифровой безопасности, предоставление широкого доступа к контенту с насилием и эксплуатацией работникам Teleperformance и TikTok при мягких мерах конфиденциальности противоречит данным положениям и чревато тем, что проблема с безопасностью и приватностью данных обернется преступлением.

«Необходимо соблюдать жесткие параметры того, как они хранятся, как просматриваются, как дается доступ кому-то еще. Это нельзя просто так сохранить на компьютере или внести в методические пособия», ― рассуждает Иота Сурас, главный юрист Национального центра по поиску пропавших и подвергшихся насилию детей. На вопрос о том, в какой ситуации обращение с материалами сексуального насилия в отношении детей может квалифицироваться как преступление, Сурас отвечает, что это зависит от подхода компании к хранению и защите информации, от того, кто имеет доступ к записям и как они распространяются, загружаются или иным образом воспроизводятся сотрудниками (например, в виде документа).

Фавацца из TikTok заявляет: «Мы стремимся к сокращению модераторского взаимодействия в соответствии с высочайшими отраслевыми стандартами». Вопрос о том, сообщал ли TikTok руководству Teleperformance о правилах обращения с материалами сексуального насилия над детьми, пресс-служба подрядчика оставила без ответа. Пугалия, руководитель фирмы по вопросам доверия и безопасности, сказал лишь, что Teleperformance соблюдает применимое законодательство на всех уровнях своей деятельности.

Дэвид Владек, директор Центра изучения конфиденциальности и технологий при Школе права Джорджтаунского университета, добавил, что при всей важности обучения собственных сотрудников и сторонних подрядчиков распознавать посты с недопустимым содержанием, использовать контент с самой платформы нельзя. «Придумать учебные средства, помогающие сотрудникам отличить приемлемое от недопустимого, совсем несложно, ― уверен Владек, бывший директор Бюро по защите прав потребителей при Федеральной торговой комиссии США. ― Но использовать примеры из реальной жизни и демонстрировать их поколениям новых сотрудников ― это поражает меня своей безответственностью».

«Стражи интернета»

Teleperformance является всемирным гигантом в сфере клиентского обслуживания, работающим с 1970-х. В прошлом году компания зафиксировала рекордный рост бизнеса, заработав более $8 млрд. Предприятие может похвастаться приблизительно тысячей корпоративных клиентов почти в каждой области — от здравоохранения и гостиничного сектора до розничной торговли и рынка телекоммуникаций, хотя социальными сетями деловой портфель компании пополнился совсем недавно.

Teleperformance запустила подразделение по «доверию и безопасности» в 2019-м, а к концу года офис в техасском Эль-Пасо запустил программу модерации контента TikTok ― так рассказывают бывшие модераторы, которых тогда привлекли к проекту. Когда именно был заключен контракт, ни одна из компаний не уточняет. Партнерство с социальной сетью стало знаковым событием для компании, которая уже несколько десятилетий пытается показать миру, что идет в ногу со временем. В последнем ежегодном отчете фирма с гордостью писала о партнерстве с «самой быстрорастущей видеоплатформой в мире» и заявляла, что многие сотрудники даже стали называть себя «стражами интернета».

В Teleperformance рассказали Forbes, что отбор кандидатов на должность модератора контента проводится по комплексной процедуре и что для компании благополучие работников является важным приоритетом. Однако в разговорах с бывшими сотрудниками подрядчика выяснилось, что обучение модераторам дается недостаточное, зато переработки ― в порядке вещей.

Ричард, бывший модератор и руководитель в офисе Эль-Пасо, проработавший в Teleperformance почти три года и уволившийся в июле, рассказывает, что по мере стремительного роста TikTok и увеличения объемов контента медиагигант начал делегировать все больше и больше задач фирме-подрядчику. По его словам, отдел обучения не мог нормально наладить коммуникацию с сотрудниками, а из-за сильной текучки кадров руководить рабочим процессом зачастую доводилось молодым и неопытным специалистам.

Ричард говорит, что TikTok «уже почти не контролирует порядок обучения». А Teleperformance «не в состоянии управлять работой эффективно и грамотно… Нагрузка стала слишком большой».

Анхель работал в техасском офисе Teleperformance с февраля 2020-го по декабрь 2021-го, сначала модератором контента, а затем менеджером. Он разделяет недовольство бывших коллег, отмечая, что подразделение компании по модерации попросту не могло совладать со взрывным ростом бизнеса TikTok.

«Они слишком сильно распылялись на все подряд, это точно, по крайней мере в отделе обучения», ― объяснил он. Мужчина считает, что пока фирма наращивала темпы сотрудничества с социальной сетью, модераторов часто обучали и курировали руководители и другие вышестоящие сотрудники, которые сами не имели соответствующих компетенций. Поскольку инструкторы с трудом набирали новые группы, «руководство вынуждало их работать с тем, что есть, и протаскивать людей» даже с недостаточным уровнем подготовки.

Уитни добавляет, что, когда она спрашивала у начальства, «почему нельзя честно сказать TikTok, что нам нужно больше времени и обучения, мне постоянно твердили, что уже подписан контракт и мы должны оправдать ожидания, иначе они просто заменят нас теми, кто все сможет».

«Обязательная ежедневная вычитка»

Так называемый DRR ― один из файлов, которым модераторы TikTok пользовались как рабочим пособием. Ни в TikTok, ни в Teleperformance не подтвердили, в ходу ли документ по сей день, но трое бывших модераторов, уволившихся в мае, июне и июле, говорят, что на момент их ухода DRR оставался в силе.

Анхель и другие бывшие сотрудники описывают документ как таблицу с примерами контента, нарушающего правила и потому удаленного из TikTok. Модераторы заявляют, что они должны были сверяться с этим руководством, чтобы «помечать», какие положения конкретный материал нарушает. В таблице было несколько вкладок для разных типов контента: одна ― для террористических организаций, другая ― для изображений обнаженного тела, например. Анхель говорит, что материалам с сексуальным насилием над детьми тоже была посвящена отдельная, специальная вкладка.

По мнению Уитни, на изображения, видеоролики и описания насильственных действий сексуального характера в отношении детей приходилось около четверти всей таблицы, в целом там содержались тысячи примеров нарушающих правила материалов. Бывшая сотрудница полагает, что DRR появился с самого начала сотрудничества Teleperformance с TikTok. Марджори Диллоу, до мая работавшая модератором в офисе обслуживающей фирмы в Бойсе, штат Айдахо, уходила от бывшего работодателя с похожим впечатлением: «Они ничего не удаляют из этого DRR».

Получив все эти сведения, TikTok заявил Forbes, что не имеет достаточно информации, чтобы подтвердить факт существования DRR или ответить на перечень вопросов о нем. В Teleperformance тоже отказались отвечать на вопросы из списка. Ни одна из компаний не сказала, сколько людей имеет доступ к файлу, раз уж он хранится в программной среде Lark от ByteDance, которая в свою очередь ранее имела доступ к данным американского сегмента TikTok, либо какая организация контролирует доступ к материалу. Они также ничего не сказали ни о том, как давно DRR пополняется образцами записей с сексуальным насилием над детьми, ни о том, какой предусмотрен процесс для удаления материала по истечении 90 дней, в течение которых законом предписывается хранить записи.

И хотя общепринятого свода правил по обращению с подобными материалами пока еще не существует, глава «Технологической коалиции» (Tech Coalition, общественная группа, которая борется с проявлениями сексуального насилия над детьми в интернете и членом которой является TikTok) утверждает, что есть ключевое направление. «Ряд законов выполняет некую ограничительную функцию: так, например, материалы нужно хранить на протяжении 90 дней, накладывать на них запрет, по факту обнаружения сразу же сообщать о них в Национальный центр по поиску пропавших и подвергшихся насилию детей, а еще владение подобными записями является тяжким преступлением», ― говорит Шон Литтон, генеральный директор объединения. Но «каждая компания устанавливает в этом отношении собственные внутренние процедуры», добавляет он.

Бывший федеральный прокурор Мэри Гроу Лири, эксперт в области детской порнографии и эксплуатации, ранее также руководившая юридическим отделом Национального центра по поиску пропавших и подвергшихся насилию детей, считает, что материалы с сексуальным насилием над несовершеннолетними должны восприниматься как «контрабанда» вроде оружия и наркотиков.

«Если заместитель директора находит наркотики на рабочем месте или в школе, то не кладет их себе в ящик стола и не вытаскивает на ближайшей планерке со словами: «Вот как выглядит кокаин», ― сравнивает она. ― Так же и у нас: поскольку Верховный суд и все остальные признали, что пострадавшие в данных записях предстают жертвами заново при каждом просмотре, подобные материалы нельзя обсуждать как что-то обыденное».

На вопрос о том, сколько лиц имеют доступ к таблице DRR Анхель ответил, что приблизительно несколько сотен человек из одного лишь офиса в Эль-Пасо и потенциально любой сотрудник Teleperformance на проектах TikTok в других локациях США, например, в Бойсе, а также работники самой социальной сети. Помимо этого, бывший модератор отметил, что вопреки принципу «безбумажного делопроизводства» в офисе Эль-Пасо сотрудников, сидящих в телефоне, могли «запросто уволить» и из-за дистанционного режима работы во время пандемии соблюдать данные меры по обеспечению конфиденциальности и безопасности стало гораздо сложнее. Согласно последнему ежегодному отчету Teleperformance, из общего штата численностью 420 000 человек 70% сотрудников работали в 2021-м на дому.

Нассер утверждает, что сотрудники на удаленке могли открывать таблицу с деликатными материалами прямо из дома: «Если кто-нибудь хотел, то вполне мог запустить это на телефоне и включить оттуда любую запись. Можно было отправить это своим друзьям, знакомым и вообще кому угодно. Мне кажется, никакого способа отследить подобные взаимодействия со стороны Teleperformance не было».

Бывший модератор АнаСофия Лерма рассказала Forbes, что, хотя в процессе обучения ей действительно показывали видеоролик с сексуальным насилием в отношении несовершеннолетнего, непосредственно в работе она с подобными материалами никогда не сталкивалась. Она не понимала, зачем такое вообще нужно было смотреть. «Думаю, можно было обойтись и без этого, ― делится Лерма, работавшая в Teleperformance в 2020 году. ― Если кто-то такое публикует, запись нужно просто стереть и удалить. Я задавалась вопросом: «Зачем они сохраняют эти видео?» «Честно говоря, ― признается женщина, ― после того случая я отходила несколько минут».

Уитни из офиса в Эль-Пасо говорит, что Teleperformance привлекла ее возможностью зарабатывать $18,50 в час ― заметно выше предыдущей ставки $16 в компании, занимающейся ремонтом торговых залов Walmart. Кадровый администратор сказал Уитни, что она будет как «полицейский в TikTok», и перспектива защищать людей соискательницу очень обрадовала.

Однако после года с лишним работы в Teleperformance Уитни «с трудом справлялась с повседневными задачами». Женщина часто сбивается с мысли, раздражается без причины и иногда даже думает о самоубийстве.

Нассер, ветеран с полученным в бою ПТСР, тоже столкнулся с трудностями и признает, что опыт работы в Teleperformance дался ему сложнее, чем служба в американской армии. По поводу шокирующих видео с детьми, которые приходилось смотреть, чтобы получить работу, он сказал: «Достаточно было бы просто упомянуть и обсудить это». «Я понимаю, что мы смотрели, и это сущий кошмар, ― вспоминает мужчина. ― Нам не нужно было ничего из этого показывать».

Перевод Антона Бундина