Не пропустить сигнал

Прогнозы составляются во всех областях. Эксперты оценивают вероятность землетрясений, эпидемий, экономических кризисов, исхода торгов на бирже и спортивных матчей. Ошибки случаются постоянно, но фабрики прогнозов не останавливаются. Как отличить ценный сигнал о возможном развитии событий от информационного шума, основанного на неверных, неполных или просто не имеющих отношения к делу данных? Об этом рассказывает Нейт Сильвер, журналист и статистик, сумевший точно предсказать результаты президентских выборов в США в 2008 и 2012 годах. Его книга «Сигнал и шум» отчасти близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер обобщает опыт экспертов-практиков и показывает, почему прогнозам даже признанных специалистов порой не стоит верить. Forbes публикует отрывок из книги, русский перевод которой скоро выходит в издательстве «Азбука-Бизнес».

Опросы общественного мнения всегда допускают погрешность, и мы поэтому осознаем их неопределенность. А вот экономические прогнозы чаще всего ограничиваются одной-единственной цифрой: в следующем месяце будет создано 150 000 рабочих мест, ВВП вырастет на 3%, цена нефти достигнет $120 за баррель... Подобные высказывания создают впечатление, что прогнозы невероятно точны.

На самом же деле экономические прогнозы представляют собой в лучшем случае инструменты, редко способные предсказать переломные события в экономике более чем за несколько месяцев. Предсказание поведения американской экономики, такой большой и сложной по своей сути, — непростая задача. Разрыв между тем, что показывают прогнозы, и тем, как они воспринимаются, довольно значителен. Некоторые специалисты по экономическому прогнозированию не хотели бы, чтобы вы об этом знали. Как и специалисты по прогнозированию в других дисциплинах, они воспринимают неопределенность как врага, угрожающего их репутации. Они не оценивают ее с должной степенью четкости и не выдвигают предположений, которые способны, с одной стороны, снизить долю неопределенности в их моделях, а с другой — каким-либо способом улучшить их предсказания в реальном мире. И это приводит к тому, что мы оказываемся неготовыми к реальным бедствиям.

Цена ошибки

В апреле 1997 года в США река Ред-Ривер затопила город Гранд-Форкс, штат Северная Дакота. Вода перелилась через дамбы и проникла в город примерно на 3 км. До жертв не дошло, почти все население было эвакуировано. Но затраты на расчистку последствий наводнения составили миллиарды долларов, а 75% домов были разрушены или требовали серьезного ремонта.

В отличие от ураганов и землетрясений наводнения в Гранд-Форкс могло не быть. Конструкции, предназначенные для защиты от наводнения, можно было укрепить мешками с песком. Также существовала возможность направить поток воды в ненаселенные окрестности — на фермерские поля, а не на школы, церкви и жилые дома.

Жители Гранд-Форкс были осведомлены об угрозе наводнения за несколько месяцев. Той зимой на Великих Равнинах выпало невероятно много снега. Национальная служба погоды, предвидя возможные последствия его таяния, выпустила прогноз, согласно которому высота воды в Ред-Ривер могла подняться до 15 м — значения, близкого к рекордному.

Существовала одна небольшая проблема. Дамбы в Гранд-Форкс были построены таким образом, что могли выдержать поток воды высотой до 15,5 м, поэтому даже небольшая ошибка в прогнозе могла оказаться роковой.

Однако в реальности уровень воды поднялся до 16,5 м. Конечно, прогноз службы погоды в любом случае не мог быть идеальным, и ошибка на 1,5 м в прогнозе, сделанном за два месяца до прихода большой воды, кажется вполне обоснованной — по крайней мере, с точки зрения исторических данных. Величина предельной погрешности, рассчитанная статистически, в прошлом составляла ±2,7 м. Это означало, что вероятность того, что вода перельется через дамбу, составляла примерно 35%. Главная проблема была в том, что служба погоды не сообщила широкой общественности, что в прогнозе присутствует неопределенность. В нем подчеркивалось лишь, что вода поднимется на 15 м. Позднее прогнозисты сообщили, что боялись ситуации, при которой общественность утратила бы доверие к прогнозам, если бы в них подразумевалась хоть какая-то неопределенность.

В результате вместо того чтобы лучше подготовиться к этому событию, а то и полностью избежать наводнения, укрепив и увеличив высоту дамбы и перенаправив водный поток, предоставленные сами себе жители поверили в то, что им не о чем беспокоиться (мало кто из них даже купил страховку на случай наводнения). Предсказание о том, что уровень воды поднимется на 15 м, высказанное без каких-либо оговорок, давало основание считать, что высота потока будет именно такой и высоты дамбы 15,5 м будет вполне достаточно, чтобы обеспечить безопасность. Некоторые даже восприняли отметку 15 м как максимум возможного подъема уровня воды.

Известна старая шутка: «статистик утонул, переходя реку, средняя глубина которой составляла лишь один метр». В рамках прогнозной модели службы погоды уровень воды поднимался в среднем на 15 м, однако даже небольшое его превышение могло привести к затоплению.

Национальная служба погоды со временем признала важность информирования о погрешностях в своих прогнозах, что делает их гораздо более точными и честными. Однако подобное отношение редко встречается у других прогнозистов — особенно тех, кто рассказывает о возможном движении экономики в том или ином направлении.

Система стимулов

Рациональны ли экономисты? Теперь давайте посмотрим, что произошло в ноябре 2007 года. До официального начала рецессии оставался всего месяц. Уже были видны явные признаки проблемы на жилищном рынке — количество вынужденных выкупов недвижимости удвоилось, а компания Countrywide, крупный кредитор на ипотечном рынке, оказалась на грани банкротства. Не менее тревожные знаки были заметны и на кредитных рынках.

Тем не менее экономисты в рамках ежеквартального опроса профессиональных прогнозистов Survey of Professional Forecasters (SPF), проводимого Федеральным резервным банком Филадельфии, считали будущую рецессию относительно маловероятной. Более того, они ожидали, что в 2008 году экономика будет расти на уровне чуть меньше среднего уровня 2,4%, и, конечно, не предполагали возможности рецессии столь сильной, какая случилась в реальности.

Опрос SPF уникален в том смысле, что в ходе него экономистов просят максимально широко описать возможный диапазон направлений, по которым будет двигаться экономика. Вероятностное изучение последствий представляет собой важнейшую часть научного прогноза. Если бы я попросил вас предсказать результат выбрасывания пары кубиков, то ваш точный ответ представлял бы собой не единственное число, а перечисление возможных вариантов и их сравнительную вероятность. Хотя у вас будет выпадать цифра 7 гораздо чаще, чем любая другая, с точки зрения прогноза она не имеет никаких преимуществ перед числами 2 или 12 при условии, что каждое число выпадает с вероятностью, которую вы присваиваете ему в долгосрочной перспективе.

Нечто подобное просят сделать и экономистов в рамках опроса SPF, когда они прогнозируют размер ВВП и других переменных. Например, их просят оценить вероятность того, что значение ВВП окажется между 2% и 3% или же между 3% и 4%. Как упоминалось выше, экономисты в рамках этого опроса думали, что прирост ВВП по итогам 2008 года составит примерно 2,4%, то есть окажется чуть ниже уровня долгосрочного тренда. Этот прогноз казался невероятно плохим. На самом деле, после того как ударил финансовый кризис, ВВП снизился на 3,3%. Но что еще хуже, экономисты очень доверяли своим плохим прогнозам. По их мнению, вероятность снижения ВВП в 2008 году составляла лишь 3%. А вероятность спада в экономике на уровне 2% или более (что и произошло чуть позже) составляла, по их мнению, лишь 1 из 500...

Старая шутка об экономистах, выявивших девять из последних шести рецессий, имеет под собой вполне реальную основу. В 1990-е годы экономисты смогли заранее предсказать лишь две из 60 рецессий.

В этом смысле экономисты не уникальны. Результат такого рода можно считать следствием либо того, что эксперты не умеют давать честное описание неопределенности в своих прогнозах, либо того, что они не очень заинтересованы в том, чтобы это делать. Такая же чрезмерная уверенность в достоверности прогнозов наблюдается и во множестве других областей, в том числе в медицине, политических науках, финансах и психологии. Судя по всему, она применяется и тогда, когда мы, зная прогноз, основываемся на своих суждениях или когда мы используем для этого статистическую модель.

Однако в отличие от других отраслей в экономике подобные ошибки могут считаться непростительными. В первую очередь прогнозы экономистов не просто слишком самоуверенны, но и плохо применимы в условиях реального мира. Ошибка в прогнозах реального значения ВВП может приводить к существенным экономическим последствиям. Кроме того, организованные усилия по предсказанию значения таких переменных, как ВВП, проводятся уже много лет. Эти результаты хорошо задокументированы и имеются в бесплатном доступе. Получение обратной связи по поводу того, как проявили себя наши прогнозы в реальности, — это единственный и, возможно, самый важный способ их улучшить.

Предсказатели в мире экономики получают больше обратной связи, чем представители большинства других профессий. Однако они предпочитают вести себя крайне самоуверенно и не желают исправлять собственные искажения.

Но разве экономика — это не дисциплина, изучающая рациональность поведения? Разумеется, вы можете ожидать, что представитель какой-то другой профессии, например антрополог, может допустить искажения при создании прогнозов, но не экономист. Возможно, именно с этим отчасти и связана проблема экономических прогнозов. Экономисты хорошо разбираются в вопросах рациональности. Это означает, что они хорошо понимают, как работает система стимулов. И если они делают искаженные прогнозы, то, возможно, это признак того, что у них недостаточно стимулов для создания хороших.

Высокая кухня

При таких результатах работы экономистов в области создания прогнозов я очень захотел найти кого-нибудь из них, кто мог бы признать, насколько сложна его работа и насколько легко любой прогноз может оказаться неверным. И мне удалось найти такого человека — это Ян Хациус, главный экономист Goldman Sachs. Хациус может по крайней мере смело утверждать, что его прогнозы в последние годы были более надежными, чем у его конкурентов. В ноябре 2007 года, пока большинство экономистов все еще думали, что рецессия любого рода маловероятна, Хациус опубликовал провокационное письмо под названием «Долги с рычагом, или Почему дефолт на ипотечном рынке так важен». В письме он предупреждал о возможном развитии такого сценария, при котором миллионы домовладельцев оказались бы неплатежеспособными. Это могло, в свою очередь, вызвать эффект домино на кредитных и финансовых рынках, привести к триллионным убыткам и очень жесткой рецессии. Примерно такой сценарий и был реализован. Хациус и его команда отозвались критически и о возможности чудесного послекризисного восстановления. В феврале 2009 года, через месяц после принятия закона о пакете стимулирующих финансовых мер и заявления Белого дома о возможности снизить безработицу до уровня 7,8% к концу года, Хациус спрогнозировал рост безработицы до 9,5% (что оказалось довольно близко к реальному значению — 9,9%).

Хациус, мягкий почти до меланхолии немец, занимающий должность главного экономиста Goldman Sachs с 2005 года, через восемь лет после начала работы в компании вызывает уважение даже у тех, кто скептически относится к большим банкам. «Ян очень хорош, — рассказывал мне Пол Кругман, лауреат Нобелевской премии по экономике 2008 года. — Я надеюсь, что присущее Ллойду Бланкфейну (глава Goldman Sachs. — Forbes) злорадство не отразится на Яне и его людях». Кроме того, Хациус на удивление спокойно относится к своей способности предсказывать направление развития экономики США. «Никто даже не представляет себе, — рассказывал он мне на встрече в офисе Goldman со стеклянными стенами, расположенном на Уэст-стрит в Нью-Йорке, — насколько сложно прогнозировать цикл бизнеса. Понимание сути такого комплексного процесса, как экономика, — это невероятно сложный процесс».

С точки зрения Хациуса, у людей, занимающихся экономическими прогнозами, три фундаментальные проблемы. Во-первых, очень сложно выявить причинно-следственные связи на основании анализа одной лишь экономической статистики. Во-вторых, экономика постоянно меняется, поэтому объяснения экономического поведения, подходящие для одного цикла бизнеса, могут быть неприменимы для другого. И в-третьих, плохи не только сами прогнозы экономистов, но и данные, с которыми им приходится работать.

Ежегодно правительство рассчитывает около 45 000 экономических показателей, а в частных источниках отслеживается не менее 4 млн данных. Многие экономисты поддаются искушению закинуть все эти данные в блендер и заявить о том, что возникающая в результате каша представляет собой образец высокой кухни. С момента окончания Второй мировой войны в стране было всего 11 рецессий. Если у вас есть статистическая модель, которая призвана объяснить 11 реальных событий, но должна выбирать для этого исходные данные из 4 млн входных параметров, многие из выявленных вами связей будут ложными.

Только представьте себе, насколько креативным нужно быть, когда набор экономических переменных, имеющихся в вашем распоряжении, представляет собой перечень толщиной с телефонный справочник. Например, когда-то основным показателем экономического развития считался победитель Суперкубка по американскому футболу. Начиная с Суперкубка I, состоявшегося в 1967 году и заканчивая Суперкубком XXXI в 1997 году, рост фондового рынка составлял в среднем 14%, если кубок выигрывала команда из Национальной футбольной лиги (NFL). Если же выигрывала команда из Американской футбольной лиги (AFL), то рынок падал почти на 10%. До 1997 года этот индикатор достаточно точно «предсказывал» направление развития фондового рынка в 28 из 31 случая. Однако стандартный тест статистической значимости показывает, что вероятность того, что экономический рост является следствием спортивного результата, составляет лишь 1 к 4 700 000. Разумеется, это было всего лишь совпадением, и со временем индикатор начал давать сбои. В 1998 году Суперкубок выиграла команда Denver Broncos из Американской футбольной лиги. Однако вместо того, чтобы упасть, фондовый рынок вырос на 28% на фоне бума доткомов. В 2008 году команда New York Giants из NFL обыграла в  финале благодаря потрясающему маневру Дэвида Туре команду New England Patriots из AFL. Но даже Туре не смог предотвратить коллапса пузыря на жилищном рынке, обрушившего его на 35%.  С 1998 года фондовый рынок вел себя на 10% лучше, когда Суперкубок выигрывала команда из AFL, то есть показывал результат, строго противоположный тому, что прогнозировал индикатор.

Каким же образом этот индикатор, невзирая на всю свою невероятность, мог, как казалось, предсказывать будущее? Это происходило по той же самой причине, по которой, несмотря на крайне небольшие шансы выигрыша в лотерею Powerball (1 из 195 000 000), кто-то выигрывает джекпот каждые несколько недель. Шансы любого участника лотереи минимальны, но поскольку ежемесячно продаются миллионы билетов, кому-то обязательно везет. Точно так же, учитывая, что в мире оцениваются миллионы статистических показателей, может случиться, что некоторые из них очень хорошо коррелируют с ценами на акции, показателем ВВП или уровнем безработицы. Однако эта связь будет не более чем совпадением.

Хотя экономисты не принимают индикатор Суперкубка всерьез, они вполне способны убедить самих себя, что другие типы переменных могут считаться «опережающими индикаторами», предсказывающими рецессию или рост за несколько месяцев. Одна фирма, занимающаяся прогнозами, с гордостью заявляла, что использует в своей работе 400 переменных, то есть гораздо больше, чем те два или три десятка, в которых, по словам Хациуса, содержится экономический смысл.

Другие авторы прогнозов полагают, что предсказательной силой обладают такие довольно туманные показатели, как отношение количества заказов к объему выставленных счетов у производителей полупроводниковых материалов. С учетом огромного количества экономических переменных, из которых можно выбирать, при желании всегда найдется нечто, достаточно четко описывающее шум из прошлого.

Значительно сложнее найти что-то, что позволяет выявить сигнал. Переменные, которые служат «опережающими индикаторами» в одном экономическом цикле, часто превращаются в «запаздывающие» в другом. Из семи так называемых опережающих индикаторов, описанных в 2003 году в журнале Inc. и четко предсказавших рецессии 1990 и 2001 годов, лишь два — цены на жилье и количество временных сотрудников — позволили с должной степенью точности предсказать рецессию в 2007 году. Другие же, такие как объемы коммерческого кредитования, начали снижаться лишь в течение года после начала рецессии.

Совпадения или связи?

Свои проблемы есть и у вполне уважаемого индекса ведущих экономических показателей, представляющего собой совокупность 10 экономических индикаторов, публикуемых организацией Conference Board. Обычно его значение начинало снижаться за пару месяцев до наступления рецессий. Однако столь же часто индикатор подает ложные сигналы. Самый печальный случай произошел в 2004 году, когда значение индикатора резко снижалось в течение трех месяцев подряд, сигнализируя о рецессии, но экономика продолжала расти на уровне 6%. Некоторые исследователи даже пришли к выводу, что индекс опережающих индикаторов не имеет предсказательной силы при использовании в режиме реального времени.

«На самом деле мало что обладает настоящей предсказательной силой, — рассказывал мне Хациус, — а объяснить, что является результатом корреляции, а что — результатом причинно-следственной связи, невероятно сложно». Сам факт, что переменные имеют между собой некую статистическую корреляцию, еще не означает, что одна из них влияет на другую.

Объем продаж мороженого и показатели по количеству лесных пожаров коррелируют между собой, потому что они обычно описывают происходящее в жаркие летние месяцы. Однако причинно-следственной зависимости здесь нет. Нельзя сказать, что, покупая мороженое, вы провоцируете начало лесного пожара где-нибудь в Монтане.

Но хотя эту концепцию легко выразить словами, ее сложно применять на практике, особенно когда речь заходит о понимании причинно-следственных связей в экономике. Допустим, заметил Хациус, уровень безработицы воспринимается как запаздывающий индикатор, что иногда справедливо. После наступления рецессии компании отказываются принимать на работу новых сотрудников до тех пор, пока будущее не покажется более стабильным и радужным. Для того чтобы все уволенные вернулись на работу, также потребуется немало времени. Однако уровень безработицы может одновременно выступать и в качестве опережающего индикатора для потребительского спроса, поскольку у безработных снижается способность покупать товары и услуги во время рецессии. Экономика может оказаться внутри порочного цикла — компании не нанимают людей, пока не видят роста потребительского спроса, однако сам потребительский спрос достаточно низок, поскольку компании не занимаются наймом и потребители не могут позволить себе купить их продукцию.

Столь же непростой переменной выступает уровень доверия со стороны потребителей. Иногда потребители оказываются первыми, кто улавливает предупреждающие сигналы в экономике. Они же могут оказаться среди последних, кто замечает признаки выздоровления. Люди часто считают, что экономика находится в рецессии, даже через многие месяцы после того, как технически она считается завершенной.

Поэтому экономисты много спорят о том, может ли уровень доверия со стороны потребителей считаться опережающим или запаздывающим индикатором, и ответ на этот вопрос может зависеть от этапа, на котором находится экономика. Более того, поскольку степень доверия со стороны потребителей влияет на их поведение, отношения между ожиданиями от экономики и реальность могут оказывать друг на друга постоянное корректирующее воздействие.

Возможно, самый проблематичный пример подобных петель обратной связи возникает между экономическими прогнозами и экономической политикой. Если, например, прогнозируется, что экономика скоро окажется в состоянии рецессии, правительство и ФРС предпримут шаги по снижению риска. Таким образом, часть проблемы состоит в том, что прогнозистам такого типа, как Хациус, приходится предсказывать не только экономические, но и политические решения. А это грозит стать серьезной проблемой в стране, где уровень одобрения деятельности конгресса составляет около 10%.

Проблема может оказаться еще более глубокой. Как указал в 1976 году лауреат Нобелевской премии Роберт Лукас, данные из прошлого, на которых основана экономическая модель, отчасти влияют на политические решения в настоящем. Таким образом, порой недостаточно знать, что делают нынешние политики. Иногда нам приходится выяснять, как выглядела финансовая и налоговая политика администрации Никсона. Сходная доктрина, известная как закон Гудхарда, гласит, что, когда люди, отвечающие за политику, начинают активно использовать какую-то переменную, она способна потерять свою значимость в качестве экономического индикатора. Допустим, если правительство предпринимает шаги по искусственной накачке цен на жилье, цены могут вырасти, но уже не будут считаться хорошим показателем оценки экономического здоровья.

С точки зрения логики мы можем дойти до крайности и предположить, что такая ситуация чем-то напоминает действие эффекта наблюдателя. Как только мы начинаем что-то измерять, поведение измеряемого объекта меняется вследствие наших действий. Большинство статистических моделей построено на том, что независимые и зависимые переменные, а также входные и выходные значения могут быть отделены друг от друга. Но когда речь заходит об экономике, все они перемешиваются в одном котле и представляют собой единое кипящее варево.