От фактов к фейкам: как ложь и манипуляции угрожают научным исследованиям

«Миллиарды долларов выбросили в этот мусоровоз, но зато таким образом была построена не одна академическая карьера, кое-кто очень обогатился», — написал Дэвид Шолто, молодой биолог из Уэльса, в разгромной статье на своем личном сайте For Better Science в январе 2024 года. Он явно не предполагал, к каким последствиям это приведет. Пару лет назад Шолто уволился с работы и полностью отдался своему хобби — охоте на ведьм в научном мире. Он проводил целые дни, кропотливо отыскивая ошибки в исследованиях, а затем писал в журналы с просьбой отозвать недобросовестные публикации. Большинство писем Дэвида просто игнорировали. 

Но в случае с блогом For Better Science все вышло иначе. Дэвид замахнулся буквально на святое — уличил в искажении данных группу ведущих исследователей гарвардского Института рака Dana Farber, одного из главных онкоцентров в мире. И это произвело эффект разорвавшейся бомбы. Представители Dana Farber отозвали шесть работ и внесли значительные правки еще в 31. Многие из них были опубликованы 15 и более лет назад и считались программными в изучении рака. По совпадению, в тот же день, когда Шолто опубликовал свое разоблачение, об отставке объявила директор Гарварда Клодин Гэй. В 40 ее статьях был найден грубый плагиат. 

Все эти случаи не первые и не единичные. За 2023 год было отозвано 10 000 научных исследований — это самый высокий показатель в истории. Список областей, в которых чаще всего встречаются недобросовестные работы, возглавляют онкология и кардиология. А топ стран, где распространены фейковые исследования: Китай, Пакистан, Индия, Австралия, Россия и США. В 2021 году был завершен восьмилетний масштабный проект по проверке исследований в области рака. Выяснилось, что при попытке воспроизвести их результаты, это удается только в 50% случаев, — и они далеко не всегда оказываются такими впечатляющими, как было заявлено.

«И что мы будем делать? Сидеть и ждать, пока последствия будут фатальными? Или разберемся в причинах?» — задает вопрос Дэвид Шолто в своей статье. Вопрос кажется справедливым: попробуем разобраться в причинах. 

Искусственный интеллект

Несколько месяцев назад одна из ведущих мировых научных организаций — Лондонское Королевское общество — провела эксперимент. Аспирантов разных специальностей попросили протестировать новую безымянную нейросеть и попробовать сломать ее «ограду» — так неформально называют защитный механизм, не позволяющий ИИ давать опасные советы и искажать факты. Многим участникам это удалось. Они заставили нейросеть виртуозно доказать, что утки — надежный индикатор чистоты воздуха, а лавандовым маслом можно лечить постковидные симптомы. Но успешнее всего были те, кто предложил ИИ написать несуществующие научные исследования в несуществующие журналы. Результаты были неотличимы от настоящих работ. 

То, что наука прибегает к помощи ИИ, не новость. По данным масштабного опроса 2023 года, результаты которого были опубликованы в журнале Nature, 58% ученых считают, что ИИ помогает быстрее производить вычисления и экономит время исследователей. Еще 28% используют нейросети для работы несколько раз в неделю. Действительно, ИИ способен обрабатывать большие массивы данных, писать выводы из многостраничных работ. Но не только.

«Искусственный интеллект может очень быстро сгенерировать базу данных под любой заданный результат. То есть предложить данные, из которых этот несуществующий результат мог быть выведен, — объясняет Анча Баранова, биолог, профессор школы системной биологии в Университете Джорджа Мейсона, США. — Там будут имена, фамилии, возраст, распределение по биомаркерам». Такой эксперимент уже ставили, и нейросеть успешно справилась с задачей. Единственным искажением были не сами данные, а то, что ИИ представил больше гендерно-нейтральных имен, чем обычно встречается в популяции, потому что в нейросети заложен вокизм (от английского woke, wokeism — принцип социальной, расовой и половой справедливости. — Forbes Life). Баранова добавляет, что невозможно проверить, были в эксперименте реальные волонтеры или плод воображения ChatGPT: «Все крупные регуляторы защищают личные данные участников исследований. Вы не можете найти их контакты, позвонить и спросить, правда ли, что 27 января вам сделали укол в 7 часов вечера?»

Четыре года назад Gowing life, группа энтузиастов из Оксфорда и Лондонского университетского колледжа, провела похожий эксперимент, используя механизмы машинного обучения. В результате были сгенерированы совершенно неотличимые от настоящих исследования, доказывающие, например, что кофеин способствует росту мышц, а препарат от биполярного расстройства лечит рак простаты. Проблема в том, что ИИ может генерировать не только текст, но и изображения, используемые в научных работах: например, макрофотографии клеток. И отличить их от настоящих практически невозможно.  

Впрочем, иногда определить фейк очень просто. В 2022 году Гильйом Кабанач, ученый-информатик из Тулузского университета, обнародовал несколько десятков научных работ, где встречалась фраза regenerate response («повторить запрос») — классическая команда для СhatGPT. Авторы просто забыли удалить ее из своих псевдотрудов.

Бумажные заводы

Paper mills («бумажные заводы») — принятое в научной среде название для сомнительных бизнесов, которые торгуют готовыми работами и авторством, обещая ученым публикации в солидных журналах. В большом исследовании «бумажных заводов» STM (независимая международная организация мониторинга качества научных исследований. — Forbes Life ) приводит письмо авторства одной такой компании. «Крупный поставщик академических работ предлагает готовые статьи на широкий круг тем, от экономики до инженерии. Каждая статья была написана, отредактирована, проверена и переведена командой экспертов, мы также достигли договоренностей о публикации с разными изданиями. Все, что требуется от вас, — это выбрать нужную тему и объем участия. Вы можете приобрести полное авторство или стать одним из контрибьюторов. Мы гарантируем, что статья будет напечатана и проиндексирована». Эта компания базируется в Латвии и за 12 лет существования помогла опубликовать уже 12 560 работ. 

Число таких бизнесов только множится: журнал Nature насчитал за последние годы несколько тысяч публикаций, произведенных «бумажными заводами». В 2004 году количество подобных работ составляло 0,04% на 100 000, а в 2020-м выросло до пугающих 10,6%, на 100 000. Среди отозванных в период с 2004 по 2022 год научных статей было 1182 произведения «бумажных заводов», и это только вершина айсберга. 

Одним из крупнейших поставщиков подобных исследований считается Китай. В 2022 году он стал мировым лидером по объему академических работ — но и чемпионом по производству фейков. Элизабет Бик, микробиолог из Голландии, еще в 2020 году обнаружила 500 публикаций от китайских «бумажных заводов» — все они были посвящены геному человека и раку. Это расследование привело к впечатляющим результатам: в феврале китайское правительство начало национальный аудит научных исследований и ужесточило требования к ним. 

Проблема произведений «бумажных заводов» в том, что они очень успешно мимикрируют под подлинные. Настолько, что далеко не всегда удается их вычислить и отозвать. Такие работы можно найти даже в самых уважаемых журналах, например Nature или Science. Но эксперты STM собрали самые частые признаки отличия статей от «бумажных заводов»: 

• Популярные направления — клеточная или молекулярная биология;

• Много экспериментов с подозрительно чистыми образцами;

• Похожие друг на друга графики, диаграммы;

• Авторы не связаны с конкретными университетами или фокусируются на научных направлениях, не касающихся темы статьи;

• У авторов нет истории публикаций в других журналах, они оставляют для связи личные электронные адреса;

• Нет одобрения этического комитета на эксперименты;

• Данные исследования не соответствуют его методам, например используются неправильные реагенты;

• Изображения, которые уже фигурировали в других научных работах. 

Для борьбы с «бумажными заводами» ученые разрабатывают разные методы. Например, дата-аналитик Адам Дэй разработал Paper Mill Alarm — специальное ПО, которые отсеивает фейковые работы, анализируя их по десяткам критериев. 

Журналы-хищники

Помимо «бумажных заводов», у современной науки есть еще одна проблема — predatory publishing. Речь идет о низкокачественных научных журналах, которые без разбора публикуют любые работы — конечно, на коммерческой основе. По подсчетам международной академической сети IAP (InterAcademy Partnership), только на 2022 год таких журналов насчитывалось 15 500. В том же исследовании 80% опрошенных ученых из 112 стран мира признались, что «журналы-хищники» мешают их работе: дискредитируют науку и способствуют распространению ложной информации. Что в перспективе может быть попросту опасно.

Такие псевдоиздания особенно распространены в Азии, Африке и Латинской Америке, но Европа и США их успешно догоняют. Несколько лет назад неизвестная компания купила солидный канадский «Журнал экспериментальной и клинической кардиологии» и начала продавать публикации по $1200. Всего за год число статей в нем выросло с 63 до 1000. 

В 2016 году шведские исследователи Стефан Эрикссон и Герт Хельгессон составили список из 25 главных признаков «журналов-хищников». Вот некоторые из них:

• Журнал не индексируется в международной базе данных (например, Web of Science);

• В статьях есть фундаментальные ошибки;

• Журнал не предоставляет достаточно информации о редакции;

• От имени журнала ученым отправляют настойчивые приглашения к публикации и прайс;

• Журнал предлагает необычайно быстрое рецензирование статей (peer review).

Ученые регулярно ставят эксперименты, доказывающие бесполезность «журналов-хищников». В 2013 году Джон Боханнон, автор журнала Science, отправил в несколько десятков изданий полностью выдуманную статью о целебных свойствах лишайников. 60% «журналов-хищников» приняли ее без вопросов. А в 2017 году четыре польских исследователя придумали ученого Анну О. Жуст, написали ей резюме и отправили его на позицию редактора в 360 научных изданий. Из них 40 «хищников» сделали воображаемой Анне офер, не обращая внимание на то, что у нее совсем нет публикаций или опыта работы в академической прессе. 

И тем не менее 14% ученых в мире (по данным InterAcademy Partnership) хотя бы раз публиковались в фейковых журналах, причем многие делали это осознанно. Главная причина — распространение в академической среде концепции publish or perish («публикуйся или умри»). Этот термин впервые употребил еще в 1942 году профессор Логан Уилсон в своем бестселлере The Academic Man: A Study in the Sociology of a Profession. С тех пор феномен publish or perish только распространился: на ученых давят все больше, требуя от них непрерывного потока свежих статей. Причин много: публикации привлекают внимание и к самим ученым, и к институтам, где они работают, повышают шанс на получение грантов и продвижение в карьере. 

Как объясняет Марианна Винер, офтальмогенетик и исследователь из американского госпиталя Massachusetts Eye and Ear, в первую очередь эта повинность распространяется на постдоков — ученых, недавно получивших степень PhD. «Могут ли подтасовывать факты? Да, могут. И к сожалению, это частый случай, особенно если от исследователя требуют нереалистичных результатов — он начинает искать обходные пути». Елена Гребенщикова, директор Института гуманитарных наук и заведующая кафедрой биоэтики РНИМУ им. Н. И. Пирогова, объясняет, что обязательство, как можно чаще публиковаться, приводит не только к грубым нарушениям (фальсификация, фабрикация и плагиат), но и к практике, которая иронично называется «нарезка салями». Исследователи «нарезают» результаты одного исследования, которые могли бы представить в одном тексте, для публикации в разных статьях.

Анча Баранова добавляет, что за те 22 года, которые она работает в США, проведение исследований стало значительно дороже. «Но ученые обладают отличным адаптационным резервом, никто не хочет потерять работу, все хотят публиковать статьи. Поэтому исследователи стали сбиваться в группы. Если в конце 90-х мы видели работы с 3-5 авторами, то сейчас их может быть и 150, иногда список авторов выносят в отдельную главу». По словам Барановой, у каждого коллектива в университетских учреждениях есть главная задача — это заработок денег для продвижения своей структуры: «Вся наука работает на грантах и проектах, которые ученые должны писать, выигрывать и получать». 

Заговор «большой фармы»

«Это худшее решение, которое FDA когда-либо принимала», — заявил три года назад Аарон Кессельхейм, профессор медицины в Гарварде и член независимого комитета супервизоров FDA (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов в США).

Сразу после этого он подал в отставку. Доктора Кессельхейма (и многих других экспертов) возмутило то, как быстро агентство одобрило вывод на рынок лекарства, эффективность которого не была убедительно доказана. Речь шла о препарате Aduhelm, предназначенном для лечения болезни Альцгеймера. Его разработчик, фармгигант Biogen, рассчитывал заработать на Aduhelm миллиарды долларов — ведь годовой курс препарата для одного пациента должен был стоить $56 000. Но клинические исследования Aduhelm не доказали, что он эффективно замедляет потерю когнитивных способностей. Более того, были опасения, что препарат может вызывать отек мозга. Несмотря на все это, FDA дала Aduhelm зеленый свет, причем по программе ускоренного одобрения. Он стал поступать в клиники США. Впрочем, дальнейшие расследования показали, что FDA подозрительно близко сотрудничала с Biogen, а клинические испытания проводились не по правилам. В результате использование Aduhelm в США радикально ограничили, а в этом году Biogen отказалась от прав на него. 

Это не первый случай, когда «большую фарму» обвиняют в подтасовке или искажении данных. В 2019 году FDA заявила, что швейцарская фармацевтическая компания Novartis частично сфальсифицировала исследования препарата «Золгенсма» — генной терапии для больных СМА (спинально-мышечной атрофией). Причем обнаружилось это уже после того, как агентство одобрило вывод «Золгенсмы» на рынок. Но препарат не отозвали — его предполагаемая польза превышала возможные опасения. 

«Это нормальная практика, одобрение таких препаратов очень важно, чтобы получить больше данных о них, — при условии, что безопасность априори доказана, — объясняет Марианна Винер. — А чтобы получить больше данных, нужно пролечить больше пациентов. И если на большой выборке будут выявлены недостатки, это тоже результат». 

Михаил Федянин, врач-онколог, научный консультант Национального медико-хирургического центра имени Н. И. Пирогова, добавляет: «В случаях, когда нет эффективных вариантов лечения или имеющиеся опции токсичны, а новый препарат в небольшом исследовании показал впечатляющие результаты, то такое лекарственное вещество может получить «звание» прорывной технологии, государство может зарегистрировать его на определенных условиях даже без проведения крупных рандомизированных исследований».

Но, конечно, случаи, подобные кейсам Novartis и Biogen, только подогревают конспирологические теории вокруг «большой фармы». Она из самых популярных гласит, что коммерческие исследования новых лекарств подделывают и искажают, чтобы скорее выпустить препарат на рынок и заработать миллиарды долларов. Этому посвящены несколько глав в бестселлере британского врача Бена Голдакра Bad Pharma: How Drug Companies Mislead Doctors and Harm Patients. Он приводит разные примеры — например, что исследования статинов, спонсируемые фармкомпаниями, в 20 раз чаще показывают положительные результаты. 

Но эксперты уверены, что не стоит поспешно клеймить большую фарму как большое зло. «Фарма является вторым по величине двигателем науки, потому что как никто другой заинтересована в получении качественных первичных данных, — комментирует Марианна Винер. — Чтобы потом работать с этими открытиями и в конечном счете коммерциализировать их». Винер добавляет, что при каждом спонсируемом исследовании есть наблюдательный комитет, который устраивает проверки на всех этапах. Кроме того, многие подобные работы могут ошибочно показаться «купленными», потому что имеют очень прикладной характер, — фарма не спонсирует фундаментальную науку. «Фарма всегда хочет ответить на конкретный вопрос: работает ли эта теория, эффективен ли этот препарат, уменьшается опухоль от такого лекарства или нет.  И отрицательный результат в науке ценится не меньше, чем положительный», — добавляет Винер. 

Игорь Утяшев, врач-онколог, директор отдела клинических исследований клиники Hadassah Moscow, считает, что ни одна уважающая себя фармкомпания не будет намеренно подтасовывать данные: «Для них это огромный стресс. Только представьте, сколько миллиардов они вкладывают в исследования, и каждый этап дороже предыдущего. И фармкомпании категорически невыгодно, если препарат будет выведен на рынок, а через год отозван. Они потеряют и репутацию, и огромные деньги». 

Михаил Федянин подчеркивает, что качество исследований, которые спонсируются фармкомпаниями, все равно остается очень высоким: «Оно намного выше, чем у исследований, которые проводятся в рамках диссертационных работ даже в наилучших федеральных медицинских центрах или университетах нашей страны, по крайне мере, в онкологии. Это связано с тем, что финансирование таких работ со стороны государства минимально, точнее, его не хватает для проведения даже одного хорошо спланированного рандомизированного исследования». 

Кредит доверия

Закономерный вопрос: можем ли мы вообще доверять научным исследованиям, зная о существовании нейросетей, «бумажных заводов» и фейковых журналов? Ученые уверены, что в работах будут находить все новые и новые ошибки, препараты продолжат отзывать из продажи, но это естественный и неизбежный процесс. За последнее десятилетие число публикуемых исследований значительно выросло — сейчас ежегодно выходит не менее 5 млн, и это число будет увеличиваться. «Каждый день мы создаем что-то новое, растет количество работ, а значит, статистически не только хороших, но и плохих — объясняет Марианна Винер. — Общее качество исследований в мире не упало, наоборот, оно выросло, а процесс стал более прозрачным». 

Игорь Утяшев подтверждает, что в целом в научном мире сейчас царит политика транспарентности: каждое исследование тщательно проверяют национальные регуляторы (FDA и ей подобные), независимые комиссии и цензоры (peer reviews), и их требования с каждым годом становятся все строже.  «Очень хорошо, когда эксперты находят в работах ошибки и отзывают исследования или препараты с рынка. Намного хуже было бы, если бы этого не происходило. Просто сейчас эти кейсы широко освещают, поэтому они кажутся скандалами. Почему журналы, редколлегии и комиссии пропускают ошибки? Это человеческий фактор. Потому что даже когда ты 100 000 раз перепроверяешь одно и то же, все равно могут быть ошибки». Елена Гребенщикова напоминает об эксперименте с 400 рецензентами British medical journal, который показал, что ни один из них не выявил все восемь ошибок в контрольной рукописи. Как правило, рецензенты обнаруживали две ошибки, а 16% — не замечали их вообще.  

Марианна Винер объясняет, что есть базовые принципы, по которым можно определить надежное исследование. Оно должно быть опубликовано в авторитетном журнале, иметь прозрачную методологию и доступ к исходным данным. «Обычно это отдельный раздел — Data availability. И если ученые позволяют читателю выгрузить их данные и посмотреть, посчитать самому, провести статистический анализ, это очень важно», — считает Винер. Михаил Федянин уверен, что оценкой достоверности исследований должны заниматься только специалисты — например, эксперты в той или иной области медицины. Ведь именно они знают все тонкости лечения пациентов с определенным заболеванием и могут правильно интерпретировать результаты работы.

А Винер напоминает, что в мире науки, как и во всей Вселенной, очень много хаоса. И чем дальше она развивается, тем больше возрастает энтропия: новые проверки и перепроверки обнаруживают новые искажения, но без этого невозможно движение вперед. Единственный способ никогда не ошибаться — это полностью посвятить себя поиску чужих ошибок, не создавая самостоятельно ничего нового для науки.