Портят ли вас деньги, действуют ли антидепрессанты и можно ли верить новостям науки
Чтение научных новостей может сбить с толку даже самого уравновешенного читателя. Они сообщают, как кофе и алкоголь то вредны, то полезных для здоровья. Компьютерные игры то ли провоцируют насилие, то ли помогают контейнировать негативные эмоции. Во время пандемии коронавируса многим из нас пришлось разобраться с тем, как работает статистика, и что на самом деле означает та или иная форма кривых смертности и заболеваемости, и как должно выглядеть на графике нормальное распределение. Однако если вы не проходили курс статистики в университете (или успели его забыть), многие важные вещи, скорее всего, ускользают от вашего внимания, когда вы читаете заголовки с цифрами, статистикой или рейтингами в СМИ. Что на самом деле означают цифры в заголовках — будь то место России в каком-либо международном рейтинге, прогнозы инфляции, или научное исследование о вреде алкоголя или эффективности вакцин и масок?
Умение понимать статистические данные в современном мире — максимально полезный для каждого человека навык, настаивают научный журналист Том Чиверс и экономист из Даремского университета Дэвид Чиверс. Особенно они пригодятся научным журналистам, если они не хотят вводить своих читателей в заблуждение, что сейчас, как показывают Чиверсы на примерах, происходит слишком часто. Их книга «Цифры врут. Как не дать статистике обмануть себя» представляет собой пособие по правильному обращению со статистикой, из которого можно не только подробнее узнать, что собой представляет ошибка выжившего, но усвоить и другие интересные статистические искажения, такие как ошибка коллайдера, парадокс Симпсона или закон Гудхарда. Книга «Цифры врут. Как не дать статистике обмануть себя» выйдет в русском переводе августе в издательстве Individuum. Forbes публикует отрывок.
«Портят ли вас деньги?» — вопрошал заголовок BBC News в 2015 году. В статье обсуждалось исследование денежного прайминга (прайминг в психологии — процесс актуализации или фиксация установки, аналог условного рефлекса) — направления в психологии, где изучается влияние финансов на поведение людей. В той эффектной публикации говорилось: вы можете «зафиксировать» человека на теме денег, если дадите ему задание по расшифровке фраз со словами, связанными с финансами, — после этого он с меньшей вероятностью будет заниматься благотворительностью или помогать другим.
Социальный прайминг — а денежный включается в данное понятие — стал популярен в первом десятилетии XXI века. В этой области были получены любопытные результаты вроде описанного выше. Или, в случае социального прайминга, что фиксация установки на словах, связанных с возрастом (например, «лото», «морщины» или «Флорида» — у американцев этот штат ассоциируется с выходом на пенсию), приводит к тому, что, покидая помещение, где проводился эксперимент, испытуемые замедляют шаг. Социальный прайминг наделал много шуму. Однако, когда вышла статья BBC News — и другие публикации, например подробный материал в The Atlantic в 2014 году с заголовком «Люди становятся более эгоистичными, если просто смотрят на деньги» — к денежному праймингу появились серьезные вопросы. Исследователи пытались получить те же результаты, но либо не получали их вовсе, либо эффект был слабее и не так впечатлял. Что же произошло?
Проблема в том, что научные журналы хотят печатать интересные научные результаты.
Спрос на новизну очевиден. Знаменитая статья Дэрила Бема «Чувствуя будущее: экспериментальные доказательства аномальных ретроактивных влияний на познание и аффект» в 2011 году потрясла мир психологических исследований. Под неуклюжим заголовком скрывается, по всей видимости, экстраординарное открытие: люди — экстрасенсы и ясновидцы. Они могут предугадывать будущее.
В исследовании Бема несколько классических психологических экспериментов проводилось в обратном порядке. В том числе эксперимент по праймингу вроде социального, упомянутого выше. Предположим, вы хотите определить, получится ли повлиять на чье-либо поведение с помощью подсознательного образа — картинки, которая мелькнет лишь на долю секунды — так, что мозг не успевает ее опознать. Можно, например, показать испытуемому два одинаковых изображения — допустим, дерева справа и слева — и предложить выбрать одно из них. Но перед этим на мгновение предъявить слева или справа какой-нибудь тревожный или неприятный образ. Он пропадает так быстро, что его не успеваешь заметить, но предположительно подсознание его все-таки фиксирует — лет 10–20 назад эта гипотеза была очень популярна, и на ее основе развивалась идея о 25-м кадре. Если противная картинка появляется слева, то потом вы с меньшей вероятностью выберете левое дерево, и наоборот. Этой экспериментальной схемой часто пользовались исследователи социального прайминга.
А Бем делал то же самое, но — вот это поворот! — в обратном порядке: он показывал изображения дерева или чего-то другого, перед тем как показать что-то отвратительное. И — как ни странно — испытуемые по-прежнему с меньшей вероятностью выбирали ту картинку, которая демонстрировалась на месте неприятного образа. Эффект оказался небольшим, но статистически значимым. Исследователи на полном серьезе утверждали, что это не объяснить иначе как паранормальными способностями.
На самом деле, конечно, здесь есть место и другому объяснению — чистой случайности. Иногда в исследованиях получаются неверные результаты просто из-за зашумленности данных. В таком случае можно получить истинное значение, а можно большее или меньшее.
Большинство читателей, вероятно, полагает, что истинный уровень паранормальных способностей среди населения равен нулю. Но из-за случайных ошибок в данных исследования могут показывать, что экстрасенсы существуют.
Вот почему наука не опирается — или не должна опираться — на отдельные статьи. Она должна учитывать, как соотносится новое исследование с совокупностью уже имеющихся. Достичь консенсуса можно с помощью метаанализов и обзоров литературы, рассматривая все работы в данной области и комбинируя их. Если в одном исследовании доказывается, что паранормальные способности существуют, а в 99 — что их нет, то первое, вероятно, можно списать на случайность.
Однако такой механизм работает, только если публикуются результаты всех исследований по этой теме. А такого не бывает, ведь научные журналы стремятся публиковать лишь интересные.
Эта погоня за новизной приводит к одной из фундаментальных научных проблем — публикационному сдвигу. Если из ста исследований по выявлению паранормальных способностей в 92 выяснится, что их не существует, а в восьми — что они есть, то это довольно надежный показатель того, что их нет. Но если журналы в погоне за новизной опубликуют только те восемь с положительными результатами, то мир будет вынужден поверить, что мы способны предвидеть будущее.
Дурацкие исследования паранормальных способностей — полбеды, а вот если из-за публикационного сдвига врачи начинают прописывать сенсационное лекарство от рака, которое на самом деле не работает, это уже серьезно. К сожалению, так бывает. Группа, изучавшая эффективность антидепрессантов, обнаружила, что результаты 13 из 55 исследований просто не публиковались. Когда данные этих работ были учтены, доказанная эффективность антидепрессантов снизилась на четверть.
В случае с фармацевтическими компаниями логично предположить, что все дело в корпоративной жадности: если в ходе их исследований обнаружится, что антидепрессант не действует, это ухудшит его продажи. Возможно, отчасти проблема именно этим и объясняется, хотя одно исследование показало, что результаты испытаний, спонсируемых представителями индустрии, с большей вероятностью будут опубликованы в течение года (как того требует американское законодательство), чем результаты других.
Но главная причина в том, что журналы отбирают материалы на основе полученных в них результатов. Вот решили вы провести какое-нибудь исследование: скажем, если попросить людей напеть «Марсельезу» перед походом в ресторан, то увеличится ли вероятность того, что они закажут лягушачьи лапки? Как правило, заявку на публикацию ученые подают не тогда, когда идея только пришла им в голову, а когда уже есть результаты.
«Напевание «Марсельезы» не влияет на выбор блюд» — крайне скучный заголовок; ясно, что большинство журналов такую статью отвергнет. Однако если допустить, что такое влияние и правда отсутствует, но проверкой гипотезы займется 20 групп, то в среднем одна из них получит статистически значимый (p < 0,05) результат чисто случайно (как обычно, предполагаем, что исследование проводится корректно). Именно его и опубликуют в научном журнале, и именно он поднимет шум в СМИ.
Но все еще хуже: ученые знают, что журналы, скорее всего, откажутся публиковать отрицательные результаты. Так что они их и посылать не будут. Или слегка подкорректируют: посмотрят на данные под другим углом, отбросят экстремальные значения, чтобы результаты выглядели положительными. Карьера в науке подчиняется девизу «Публикуйся или умри». Без статей не жди продвижения по службе или постоянной должности. Так что ученые крайне заинтересованы в публикации своих статей, а значит, у них есть серьезный стимул заниматься подгонкой.
Еще хуже складывается ситуация для читателя СМИ. Даже если статья опубликована в научном журнале, в популярном издании о ней не напишут, если она скучная и с заголовком типа «Напевание «Марсельезы» вообще ни на что не влияет». В газетах пишут об авиакатастрофах — редких и волнующих событиях, а не о благополучно приземлившихся самолетах — событиях заурядных и не занимательных.
Вряд ли можно ожидать, что новостные медиа начнут рассказывать об исследованиях, в которых ничего не обнаружено, или о каждом самолете, совершившем штатную посадку в парижском аэропорту имени Шарля де Голля. Но СМИ могли бы поднять шум вокруг этой проблемы в науке, и это подтолкнуло бы больше научных журналов перейти к публикации заявленных исследований и взять на вооружение другие разумные реформы, поскольку это фундаментальная научная проблема и важнейшая причина того, что цифрам, о которых мы читаем, не всегда можно верить.
Copyright © Tom Chivers and David Chivers 2021