Детектор лжи: как критически интерпретировать публикуемую статистику

«Во-первых, язык, который мы используем, стал стирать грань между выдумкой и фактами. Во-вторых, это становится опасным побочным эффектом недостаточного образования, которое повлияло на целое поколение», — так нейробиолог Дэниел Левитин начинает свою книгу, объясняя, почему в последние годы стало особенно легко генерировать и «продавать» читателю или зрителю ложную информацию. Профессор Университета Макгилла в Монреале приводит самые распространенные способы манипулирования данными и предлагает научиться их распознавать. Forbes Woman публикует отрывок, в котором Левитин показывает, почему нужно критически относиться к публикуемой статистике — в том числе на примере принятого в Нью-Джерси закона о социальном обеспечении для матерей и того, как о его результатах отчитались местные власти. 

Статистика— это цифры, а потому она кажется нам холодной и жесткой. Есть ощущение, что она отражает факты, которые нам дала сама природа, и наше дело всего лишь их найти. Но важно помнить, что собирают статистические данные люди, и никто иной. Люди выбирают, что считать, как считать, какими результатами делиться, какими словами их описывать и как интерпретировать числа. Статистика— это не факты, это интерпретация. И ваша интерпретация может быть такой же хорошей (равно как и такой же плохой), как и та, что вам предлагает другой человек.

Числа не всегда верны, и для начала проще всего быстренько проверить их на правдоподобие. Даже если они прошли проверку, у вас могут возникнуть вопросы трех типов: как данные были собраны, как они были интерпретированы и как представлены графически. Ответы на них помогут вам сформулировать правильные выводы.

Вы можете проверить (в большинстве случаев это возможно), правдоподобен ли факт, в уме или на оборотной стороне конверта. Не принимайте все на веру, попытайтесь разобраться.

Когда мы проводим подобную проверку, точность цифр не очень важна, как бы парадоксально это ни звучало. Достаточно просто здравого смысла: если Берт говорит, что хрустальный бокал упал со стола на ковер и не разбился, это кажется правдоподобным. Если Эрни скажет, что бокал упал с высоты 40‑этажного здания на тротуар, не разбившись, это уже будет неправдоподобно. Тут вам помогут знания о том, как устроен мир, а также элементарный жизненный опыт. Подобным же образом, если кто-то вам скажет, что ему 200 лет, или что он постоянно выигрывает в рулетку в Лас-Вегасе, или что он может пробежать 40 миль за час,— все это будет маловероятно и очень неправдоподобно.

Что вы скажете о следующем заявлении?

Все 35 лет после того, как в Калифорнии перестал действовать закон о марихуане, число курильщиков марихуаны удваивается с каждым годом.

Звучит правдоподобно? Давайте разберемся, но с чего же начать? Предположим, что 35 лет назад в Калифорнии был только один курильщик марихуаны — конечно, очень заниженная оценка (в 1982 году по всей стране было пол-миллиона арестов за курение марихуаны). Если ежегодно удваивать это число на протяжении 35 лет, получим 17 миллиардов человек— это больше, чем население всего земного шара. (Попробуйте подсчитать сами, и вы увидите, что ежегодное удвоение в течение 21 года приведет вас к числу больше миллиона: 1; 2; 4; 8; 16; 32; 64; 128; 256; 512; 1 024; 2 048; 4 096; 8 192; 16 384; 32 768; 65 536; 131 072; 262 144; 524 288; 1 048 576.) Таким образом, это утверждение не то чтобы неправдоподобно— оно попросту невозможно. К сожалению, не у всех получается мыслить четко и ясно, когда речь заходит о числах: многие их просто боятся. Но, как видите, для подобных подсчетов хватит и школьного уровня арифметики плюс здорового скепсиса.

Вот еще один пример. Вас только что взяли в отдел продаж по телефону, и вам нужно обзванивать ничего не подозревающих (и, без сомнения, раздраженных) потенциальных клиентов. Ваш босс, пытаясь вас мотивировать, говорит:

Наш лучший специалист продавал тысячу товаров в день.

Правдоподобно ли это? Попробуйте сами набрать телефонный номер — самое меньшее вам понадобится пять секунд. Плюс еще пять секунд на то, чтобы дозвониться. Теперь давайте предположим, что каждый звонок действительно заканчивается продажей, — это, понятное дело, не очень реалистично, но давайте представим идеальный вариант, чтобы посмотреть, что получится. Добавьте десять секунд: вы проговорите предложение о продаже, а потенциальный клиент его примет. Затем еще 40 секунд, чтобы узнать у него адрес и записать номер кредитной карточки. Это дает один звонок в минуту (5 +  5 + 10 + 40 = 60 секунд), или 60 продаж в час, или 480 продаж за очень напряженный восьмичасовой рабочий день, без перерывов. Так что тысяча товаров, проданных за день, — это нереально, даже при самом оптимистичном раскладе.

Некоторые утверждения оценивать сложнее. Вот, например, заголовок из журнала Time за 2013 год:

Людей с мобильными телефонами больше, чем тех, у кого есть туалет.

И как быть с таким утверждением? Наум приходят, с одной стороны, жители развивающихся стран, не имеющие водопровода, а с другой стороны — те многочисленные жители процветающих стран, у кого больше одного мобильного телефона. Кажется, что заявление вполне правдоподобно, — это не означает, однако, что мы должны его принять. Скорее, мы не можем отвергать его просто потому, что оно нелепо. Нам потребуются другие техники для его оценки, но тест на правдоподобие оно прошло.

Иногда нельзя оценить, правдиво ли утверждение, не проведя собственного исследования. Да, конечно, газеты и сайты в интернете должны бы делать это за вас, но так бывает не всегда — вот тогда статистика идет вразнос. Несколько лет назад было очень распространено вот такое утверждение, основанное на статистических данных:

Каждый год в США от анорексии умирает 150 тысяч девушек и молодых женщин.

Хорошо, давайте проверим, насколько этот факт правдоподобен. Согласно данным американских Центров по контролю и профилактике заболеваний, ежегодное количество смертей девушек и молодых женщин в возрасте от 15 до 25 от всех видов заболеваний — 8500. Добавьте сюда женщин от 25 до 45 — показатель все равно достигнет только 55 тысяч. Количество случаев смерти от анорексии за год не может превышать в три раза количество всех смертей.

В своей статье для журнала Science Луи Поллак и Ганс Вайс сообщили, что с момента образования Communication Satellite Corp

...расходы на телефонные разговоры снизились на 12 тысяч процентов.

Если расходы уменьшаются на 100%, они падают до нуля (и не важно, какими они были изначально). Если же расходы падают на 200%, это значит, что кто-то платит вам ту же самую сумму, которую когда-то платили вы ему, чтобы получить его продукт. Снижение на 100% случается крайне редко, а снижение на 12 тысяч процентов кажется и вовсе маловероятным. В статье в профессиональном издании Journal of Management Development утверждалось, что количество клиентских жалоб сократилось на 200% в результате перехода компании на новую политику поддержки клиентов

Писатель Дэн Кеппел даже назвал свою книгу Get What You Pay For: Save 200% on Stocks, Mutual Funds, Every Financial Need («Получите то, за что вы платите: экономьте 200% на бирже, инвестиционных фондах открытого типа, на любой финансовой потребности»). У Кеппела есть степень MBA. Ему следует лучше разбираться в вопросе. Конечно, чтобы аккуратно сравнивать проценты, их нужно брать от одного и того же базового показателя. Нельзя вернуться к изначальному уровню зарплаты, сокращенной на 50%, увеличив на 50% вашу новую, более низкую зарплату.

Проценты кажутся простыми и логичными, но иногда они могут и запутать. Если процентная ставка увеличивается с 3 до 4 процентов, то она увеличивается на 1 процентный пункт, или на 33% (так как увеличение на 1 процентный пункт отсчитывается от базового показателя 3; это увеличение на 1/3= 0,33 от 3). Если же процентная ставка упадет с 4 до 3 процентов, то она уменьшится на 1 процентный пункт. При этом она уменьшится не на 33%, как в предыдущем случае, а на 25%, потому что уменьшение на 1 процентный пункт отсчитывается от базового показателя 4 (1- это 1/4, или 25%, от 4). Исследователи и журналисты не всегда щепетильны в этом вопросе и не видят порой разницы между процентными пунктами и процентами, но вы не должны их путать.

The New York Times сообщила о закрытии текстильной фабрики в Коннектикуте и ее переезде в Вирджинию. Причиной такого решения стали возросшие расходы на сотрудников. По сведениям газеты, «фонд заработной платы, все виды компенсации сотрудникам, а также пособие по безработице в Коннектикуте в 20 раз выше, чем в Вирджинии». Правдоподобно ли это? Если бы это было так, вы бы, наверное, ожидали массового исхода в Вирджинию — все компании, а не только эта фабрика, захотели бы переехать, ивы бы уже знали об этом. На самом деле все это неправда, и Times пришлось опубликовать опровержение. Как же такое могло произойти? Дело в том, что журналистка просто неправильно прочла отчет компании. Один показатель — пособие по безработице – на самом деле обходился компании в 20 раз дороже в Коннектикуте, чем в Вирджинии, но с учетом остальных показателей в Коннектикуте все расходы на содержание штата были в целом выше в 1,3 раза, а не в 20 раз. У автора статьи не было образования в сфере бизнес-администрирования — и мы не вправе ожидать этого. Чтобы отследить такого рода ошибку, нужно просто спокойно все обдумать. Это под силу каждому (а журналистка и ее редакторы просто обязаны были это сделать).

В Нью-Джерси одобрили новую законодательную инициативу, согласно которой матери, находящиеся на социальном обеспечении, не получали никаких дополнительных льгот. Некоторые члены законодательного органа посчитали, что женщины в Нью-Джерси специально рожали детей, чтобы увеличить ежемесячное пособие, получаемое от государства. Через два месяца законодатели заявили, что им удалось решить этот вопрос, так как уровень рождаемости снизился на 16%. Вот что писала New York Times:

Всего два месяца спустя государство опубликовало данные о том, что количество новорожденных детей у женщин, уже находящихся на социальном обеспечении, уменьшилось на 16%. Власти поздравляют себя с потрясающими результатами, которых они добились в такие короткие сроки.

Обратите внимание, что учитывались не беременности, а количество родов. Что же здесь не сходится? Так как беременность длится девять месяцев, никакие изменения за последние два месяца нельзя связывать напрямую с законом. Скорее всего, тут свою роль играют обычные колебания рождаемости (ведь известно, что уровень рождаемости — дело сезонное). Есть в этом вопросе и другие неточности, которые нельзя обнаружить простой проверкой на правдоподобие:

...с течением времени эти 16% сократились до 10%. Дело в том, что государству стало известно о родах, о которых не сообщалось ранее. Оказалось, что многие роженицы не считали нужным сообщить о своих новорожденных детях, так как их социальные дотации на период ухода за ребенком никак не увеличивались.

Вот вам пример того, с какими проблемами можно столкнуться, собирая статистические данные: оказывается, мы учитываем не всех людей, хотя думаем, что охвачены все.