Мы зависим от климата больше, чем нам, возможно, кажется. Ежегодно катаклизмы приносят $250-300 млн экономического ущерба. Как только температура поднимается до 23-30°C, производительность труда падает на 9%. Многолетние наблюдения доказывают, что духота, жара и редкие дожди влияют на итоги политических выборов, поведение и рождаемость. Неудивительно, что IT-компании хотят зарабатывать на предсказаниях погоды. В ноябре 2015 года «Яндекс» запустил тестирование своего сервиса прогноза погоды «Метеум», 18 мая он стал работать по всей стране. О том, как метеоданные меняют бизнес-процессы и рождают новые продукты в IT-отрасли, Forbes поговорил с Андреем Усенко, руководителем «Яндекс.Погоды» с технологией «Метеум».
— Почему «Яндекс» решил развивать технологию прогноза погоды?
— «Яндекс.Погода» появилась больше 10 лет назад. Наша задача — отвечать на вопросы, а погода интересует людей даже больше, чем пробки. Во многих городах о проблемах с трафиком и не слышали, а узнать, будет завтра дождь или солнце, нужно всем. Вначале мы только показывали прогноз погоды от партнеров. Потом стало интересно, смогут ли наши технологии дать более точный прогноз. В команду разработчиков вошли метеорологи. После экспериментов мы поняли, что технологии машинного обучения в сочетании с традиционными методами прогнозирования дают результат, который может конкурировать по качеству с другими прогнозами.
— Конечная цель — увеличение трафика?
— У нас в первую очередь технологическая задача. У«Яндекс.Погоды» всегда была хорошая посещаемость. Но мы понимали, что если мы научимся предсказывать погоду лучше, чем коллеги по цеху, и давать прогноз именно для того места, где находится человек, к нам будут заходить чаще.
— После запуска «Метеума» аудитория «Яндекс.Погоды» выросла?
— Растет. До запуска дневная аудитория не превышала 500 000 пользователей. Сейчас у нас 700 000 установок приложений на iOs и Android, веб-версией пользуются 30 млн человек в месяц.
Интерес к погоде меняется в течение года. Например, его подстегивает рост пробок. Снежный и холодный январь в Москве и во всей центральной России дал нам рекордные показатели — больше 40 млн пользователей веб-версии. Вначале люди ждали, когда их перестанет засыпать, потом — когда уйдут морозы. Проверяли прогноз очень часто. Погода в феврале была ровной — посещаемость упала. А в марте, в первые две солнечных недели, она снова пошла вверх. Трафик погодных сервисов всегда растет перед майскими или новогодними праздниками — люди планируют отдых.
— Для вас это еще и канал для привлечения мобильных пользователей?
— Да, и уже сейчас мобильная аудитория растет динамичнее, чем веб. Чем точнее мы будем, тем чаще пользователь будет сверяться с прогнозом. Тот же путь мы прошли с «Яндекс.Навигатором». Раньше человек мог ночью отправиться домой с работы по МКАД, не заглянув в приложение, и встать в пробку из-за аварии. Теперь он на всякий случай проверит дорожную обстановку перед выездом. В «Яндекс.Погоде» та же идея. Чем чаще человек будет пользоваться смартфоном как «термометром» или для сверхкороткого планирования, тем лучше мы сможем детализировать для него прогноз.
Сервис используют как «термометр» уже сегодня, это видно по отзывам. Люди не выглядывают в окно, чтобы оценить погоду, а смотрят в экран компьютера. Это ставит перед нами сложную задачу точнее предсказывать погоду на коротких временных промежутках. Потому что если мы показываем точный прогноз на ближайшие 15 минут и человек сопоставляет прогноз с тем, что видит за окном, — это повышает доверие к нам.
— Как работает «Метеум»?
— Во всем мире есть очень много методик прогнозирования погоды. Они работают с «большими данными» — нужно свести информацию со спутников, данные с метеостанций, результаты радиозондирования атмосферы и проанализировать источники, косвенно указывающие на погодную обстановку.
Для предсказания погоды в России можно использовать несколько традиционных метеомоделей. Обычно погодные сервисы на этом останавливаются. Мы делаем еще один шаг — сопоставляем новые данные с данными о погоде в прошлом. То есть сегодня мы смотрим, что наша модель спрогнозировала вчера и где она ошиблась. Сопоставляя данные прогноза и реальные погодные данные, механизмы машинного обучения выявляют закономерности, чтобы еще точнее скорректировать прогнозы.
— Какие источники данных вы используете?
— У нас несколько источников данных — спутниковые снимки с европейских, американских и российских спутников, информация от Гидрометцентра России, финской компании Foreca. У нас есть и свои данные, например, из «Яндекс.Карт» — о застройках. Из этой разрозненной информации составляются начальные условия для метеомодели. На ее основе мы составляем прогноз и сравниваем с тем, что дают две другие системы — Weather Research and Forecasting и Global Forecast System.
— Неразвитая сеть метеостанций в России стала проблемой?
— В России около 2500 профессиональных станций в сети «Росгидромета». Конечно, чем больше, тем лучше. Но есть альтернативные источники данных наблюдений — например, данные сотовых вышек операторов о силе сигнала, сообщения от пользователей. Любой человек может сообщить нам, насколько мы сейчас точны. Можно отправить жалобу на неправильный прогноз — через форму на сайте «Яндекс.Погоды» или через приложение. Энтузиасты в небольших городах дают нам данные, которые мы не можем получить иначе. Владельцы мобильного приложения помогают еще больше — например, мы планируем использовать данные с барометров в мобильных телефонах. Не исключено, что в будущем пользователи смогут подключать и домашние метеостанции.
Преимущество этих данных в их объеме, в них распознаются «сигналы» — так на языке анализа данных называются факторы, которые могут заметно влиять на точность прогноза. В «сигналах» как раз преимущество технологий работы с «большими данными» — без новых инвестиций в инфраструктуру, анализируя косвенные данные, можно улучшить прогноз только за счет алгоритмов.
— Насколько сложно вовлечь пользователей в улучшение прогноза погоды?
— С первых дней после анонса «Метеума» и до сих пор мы получаем несколько тысяч сообщений ежедневно. В погодных сервисах краудсорсинг работает иначе, чем в картографических. Если человек «разрисует» парк скамейками, то он почти сразу (после быстрой премодерации) увидит результат труда. В погоде так быстро увидеть, как ты «увековечил» себя, не получится. Твои данные вливаются в общий поток фактов, чтобы улучшить алгоритмы. «Награды» в виде какого-то графического доказательства нет.
— Были идеи интегрироваться с уже запущенными социальными сервисами мониторинга погоды? Например, петербургский проект Narodmon уже пять лет позволяет подключать свои датчики и веб-камеры синоптикам-любителям.
— Честно говоря, пока до этого не дошли руки. Для нас сейчас важнее всего вовлечь в работу свою аудиторию.
— Ваше обещание улучшить точность прогноза на 35% многие восприняли как маркетинговый ход.
— Действительно, было много шума. На самом деле эта цифра относится только к такой оценке, как «количество больших ошибок в температурном прогнозе». «Больших» — это значит больше чем на 3-5°C. Вообще такие ошибки редки, серьезные промахи встречаются только в 5-7% случаев. Так вот если сопоставить абсолютное число таких ошибок в 24-часовом прогнозе у нас и у конкурентов, то действительно мы можем быть на 35% точнее. Нужно понимать, что метрик точности прогноза очень много. Кроме точности прогноза температуры важно предсказывать параметры ветра, облачности и осадков.
— Удалось узнать что-то новое о погоде в России?
— Мы как-то ради интереса посмотрели статистику за последние годы. Самыми дождливыми неожиданно оказался не Петербург, а Северо-Курильск и Сочи, а самыми солнечными — Чита и Хабаровск. Это не «Метеум». Тут важно сказать о методике. Мы посмотрели погоду в утреннее и дневное время суток, когда люди наиболее активны. Можно придумать и другие критерии — например, считать по длине солнечного дня, тогда города будут другими.
Для тестирования «Метеума» мы выбрали 36 регионов в Центральной России, потому что нам нужны были регионы с относительно ровным климатом. На юге, например, сложный рельеф, на северо-западе вносит коррективы морской климат. Мы проверили технологию в боевых условиях на них и сейчас готовы запускаться на всю Россию.
— А есть ли какие-то особенности, как в России «потребляют» прогнозы погоды?
— Интересно, что люди в разное время года по-разному следят за осадками, например. Зимой они не особенно всех интересуют — ну, выпал снег, засыпало машину, что делать. Летом стараются заранее узнать обо всех дождливых днях. Другой любопытный факт, что люди ругаются на прогнозы, даже если они быстро корректируются. Например, выходные в середине апреля должны были быть теплыми и солнечными. Потом появились новые данные наблюдений, оказалось, что будет дождь и прохладно. В пятницу вечером откорректированный прогноз был доступен, но люди, спланировав поездку на природу или прогулку по Москве, уже не проверяли его. За эти выходные на нас обрушился поток упреков.
— Где могут использоваться более точные прогнозы погоды?
— Очевидное применение — сельское хозяйство. У нас огромные территории угодий вдали от городов, где обычно погода предсказывается довольно точно. Если фермер распылил удобрения над полем, а через два часа пошел дождь, для него это прямые убытки. Мы работаем как раз над максимально локальными прогнозами.
Энергетики, зная, когда ждать обледенения проводов, могут лучше планировать график работы ремонтных бригад. Для дорожных работников можно рассчитывать, когда температура воздуха на уровне асфальта (а она отличается от температуры воздуха на высоте 2-3 м) перейдет критичную отметку. В сочетании с прогнозом по осадкам это позволит экономно и эффективно использовать антигололедные реагенты.
Ритейл давно использует погодные данные, чтобы планировать завоз тех или иных продуктов. Понятно, что в прохладную погоду лучше рекламировать горячие пирожки, а в жару — мороженое. Реклама сработает, если будет совпадать с погодными условиями, но более точный метеопрогноз позволит также рассчитать, сколько надо привезти на торговую точку пирожков и мороженого. Много потенциальных применений в маркетинге. Я видел на одном горном курорте табло, на котором кофейня показывает высоту снежного покрова на склоне в виде шапки пены на кофе. Прогноз погоды помог бы заведению задавать значения заранее.
— Метеоданные уже используются в других продуктах «Яндекса»?
— Мы даем доступ к прогнозам через «Яндекс для медиа», есть мысль использовать «метеотаргетинг» для контекстной рекламы. Мы планируем работать RTB-системами, где ставки на рекламные показы об отдельных категориях товаров могут варьироваться в зависимости от погоды. И вообще, люди больше покупают в плохую погоду, так что метеоданные могут, скажем, повышать цены на торгах в дождливый выходной и понижать в теплый субботний вечер. Думаю, метеоданные со временем будут учитываться в подаче информации в «Яндекс.Маркете». Они могут использоваться и в «Яндекс.Расписаниях», и в «Яндекс.Авиабилетах» — информация об осадках, например, позволит вовремя предугадать, что рейс задерживается и сообщить об этом пользователю. Мы уже понимаем, что данные о погоде помогут улучшать сообщения о пробках в «Яндекс.Навигаторе», но пока только начинаем эксперименты.
— Сторонним компаниям вы будете отдавать данные по подписке?
— Скорее, с любым заказчиком мы будем начинать с исследования «под ключ». Есть немного кейсов, которые можно предложить бизнесу на основе наших данных для пользователей — под каждую задачу набор метрик нужно адаптировать. В дальнейшем мы можем создавать сервисы на основе нашего API с круглосуточным обновлением данных для заказчиков. Стоимость таких данных во многом будет зависеть от объема дополнительной работы и специфики исследования.
— Уже есть потенциальные партнеры?
— У нас есть несколько экспериментов, но я не могу раскрывать детали. К некоторым компаниям мы приходили сами, потому что нам было интересно поэкспериментировать. Например, разговаривали с некоторыми ритейлерами. Думаю, через один-два года мы уже сможем говорить не об экспериментах, а о стабильной монетизации b2b-направления. Мы не планируем выбирать между рекламной или b2b-моделью, они не каннибализируют друг друга.
— Это встраивается в стратегию «большие данные для бизнеса»?
— Во всем мире компании переносят данные из физической реальности в цифровую, чтобы обрабатывать их огромные массивы и использовать для улучшения бизнес-процессов и жизни обычных людей. И в анализ метеоданных приходят игроки, чья экспертиза изначально была основана на алгоритмах, — например, IBM. Для нас движение в этом направлении тоже было логичным шагом. Мы хотели бы стать в России одной «точкой входа» метеоданных из повседневной реальности в мир алгоритмов.
— В общем, есть шанс, что анекдоты о синоптиках устареют?
— Может быть, но вряд ли они исчезнут. 100-процентная точность в предсказаниях погоды недостижима, но к ней надо стремиться. Даже если мы сможем делать точную детализацию часового прогноза температуры, нас будут корить за отклонения в пределах 15-20 минут. Задача прогнозирования погоды до сих пор настолько сложна, что тут «нет предела совершенству».