Big data и погода: как государственные инвестиции в исследования создали важную высокотехнологичную индустрию
В начале марта 2017 года NASA выложила исходные коды большого числа программ, которые до этого разрабатывались и использовались только внутри космического агентства. Многие из выложенных алгоритмов и программ относятся к исследованиям погоды и климата на Земле и не только. Например, в релиз вошли программы по трехмерной визуализации гидродинамических задач, справочные модели атмосфер некоторых планет солнечной системы, исходники приложения для iOS, которое показывает космическую погоду и много чего еще. Как распространение подобных ИТ-решений (и то, что они становятся все более открытыми) влияет на погодно-климатическую индустрию? Какие тренды кроются за громкими релизами и вроде тех, что сделала NASA?
Каталог программного обеспечения, опубликованый NASA, во много предназначен для достаточно специализированных приложений. Пояснения к некоторым программам понятны только профессионалам в предметной области (например, оценка эффективности центрифуги по трехмерным чертежам). А многие связаны именно с космическими миссиями (например, софт для управления модулем забора пробы с поверхности кометы или ПО для автономных систем безопасности в космических аппаратах), их применения в «народном хозяйстве» неочевидны. К тому же, релиз содержит многие программные решения, которые могли быть созданы только в NASA или других космических институтах, благодаря их доступу к уникальным данным. Например, чтобы получить справочные модели атмосферы Марса, нужно исследовать атмосферу красной планеты с помощью спутниковой спектральной съемки. Это рискованный, дорогой и длительный процесс, инвестировать в который способна не каждая частная компания. Даже феноменально дешевая по мнению экспертов индийская миссия Mars Orbiter Mission стоила около $63 млн. Сами же данные об атмосфере Марса окажутся крайне полезны, если, например, Илон Маск когда-то доберется до красной планеты. Чтобы колонизировать, жить, да и просто посадить корабль на Марс, нужно иметь хорошие представления об атмосфере на планете.
NASA открыла каталог ПО в рамках долгосрочного плана. Их путь в open-source явно последователен и с связан большими планами на будущее. Это является логичным и последовательным шагом в духе времени: сейчас по пути открытия своих программ и процессов идет большое количество компаний и государственных служб. Говоря о работе с коммьюнити через инструменты open source, часто вспоминают Google, открывший миру исходники TensorFlow — библиотеки для работы с машинным обучением. Зачем крупным игрокам «делиться» кодом? История Google показательна: спустя год после новости о релизе TensorFlow, оказалось, что у ИТ-корпорации — многоходовая комбинация. Недавно Google заявил о приобретении Kaggle, платформы для проведения соревнований по машинному обучению. Видимо, монополия на алгоритмы — это сомнительное преимущество даже в гонке на короткой дистанции. Особенно с учетом того, как быстро происходит демократизация средств машинного обучения. А вот монополия на способность создавать новые алгоритмы — преимущество куда серьезнее: полностью в парадигме современной цифровой экономики, в фундаменте которой заложено предположение о возможности безграничного роста. Релиз NASA, на мой взгляд, имеет схожие причины. NASA, по всей видимости, не испытывает недостатка в способности создавать прорывные алгоритмы, однако переживает организационный кризис. Об этом можно косвенно судить по выложенным в открытый доступ вместе с сотнями тысяч строк кода, протоколам оценки эффективности и мотивации сотрудников, а также с практиками управления проектами внутри агентства.
Итак, что же дает open-source для развития погодной и климатической индустрии? Open-source стоит прямо у истоков любой коммерческой погодной и климатической активности. Все большие корпорации, сделавшие бизнес на погоде (Weather Company, Climate Corporation, Acuweather) созданы на основе разработок правительственных центров по изучению атмосферы - NCAR, UCAR и NOAA. Зачастую у истоков компаний стояли инженеры и ученые, создавшие эти разработки. Однако даже сейчас индустрия знаний об атмосфере во многом держится на государственных программах: стоимость наблюдений за погодой в США в год составляет не менее $3 млрд, из которых только 15% покрывается затратами частных компаний.
«Отпочковавшись» от государственных структур и утратив необходимость выполнять только государственные заказы, погодная индустрия выросла за 30 лет до объема в $150 млрд в год
В целом, способы использования погодных данных, а, соответственно, и продукты на их основе, можно разделить делятся на три - неодинаковые по объему соответствующих им сегментов рынка — категории.
Первая и самая крупная по оборотам часть клиентов погодных компаний — это бизнесы, основная деятельность и эффективность которых напрямую зависит от погодных условий. Это агрокультура, энергетика, дорожное строительство. По объему, эти рынки вместе только в США составляют, по разным оценкам, 30- 40% ВВП страны. Это приводит к тому, что даже сами погодные варианции имеют непосредственный эффект на ВВП на уровне 3-4%. Хорошим примером в этом разделе является недавняя сделка по поглощению Climate Corporation компанией Monsanto, специализирующейся на производстве удобрений для агрокультуры. Стоимость поглощения составила более $1 млрд. Очевидно, погодная аналитика, которой занимались в Climate Corp, помогла существенно повысить эффективность исследований в области удобрений и производства семян.
Вторая группа клиентов погодных компаний — бизнес, для которого учет погодных факторов является, скорее, дополнительной возможностью. От погоды зависит даже то, что на первый взгляд от нее не зависит, — например эффективность ритейла. Точные погодные данные в маркетинговых целях используются такими игроками как McDonalds (+17% к обороту), Stella Artois (+67% к продажам), IKEA, La Redoute (+17% к продажам), Hoff (+21% конверсии при онлайн кампаниях) и многими другими (источники по показателям роста - здесь и здесь) Точные прогнозы частных компаний позволяют оценить риски при доставке мороженого в определенное время на склад в том или ином городе, а еще — желание потребителей купить это мороженое на следующий день.
И, наконец, третья группа пользователей погодных данных, доходность от которой не ниже, чем выручка от контрактов в предыдущей категории — сами пользователи. Погодные приложения и сайты — одни из самых посещаемых и скачиваемых в интернете. Install base самых популярных погодных приложений только на Android — десятки миллионов (например — вот у этого приложения ), совокупная дневная аудитория подобных сервисов исчисляется сотнями миллионов человек. Рекламная модель монетизации активно практикуется основными игроками рынка B2B — Weather Company, Accuweather, Meteo France и другими. Примечательно также то, что все без исключения популярные приложения и виджеты — бесплатны, что совершенно точно указывает на способы монетизации. Даже не имея возможности показывать контекстную рекламу, эти приложения выигрывают за счет огромного числа показов и кликов. Вообще, погодные медиа в определенных странах — тема сверхпопулярная. Например, в середине 1980-х годов в каждой американской ТВ-компании имелся свой метеорологический радар (стоимостью установки и эксплуатации — более $3 млн за первый год). Цель — уменьшить задержку погодных данных от реального времени на 3 минуты (данные — из доклада Ричарда Стедонски)
Общий интерес к погодному направлению уже сейчас проявляют гиганты IT-индустрии. Weather Company была поглощена IBM за более чем $1,2 млрд, причем все медиаресурсы (например, сверхпопулярный в США погодный ТВ-канал) остались в руках предыдущих владельцев компании. IBM купила возможность использовать знания из предметной области в сочетании с технологиями искусственного интеллекта Watson, чтобы играть сразу на всех площадках погодного рынка.
Примечательно то, что государственные метеорологические агентства, располагая изначально всем необходимым для выхода на заказчиков из бизнеса, не захотели или не смогли воспользоваться этой возможностью. Вероятнее всего, это связано с тем, что основной целью существования погодных агентств является предупреждение граждан о чрезвычайных ситуациях, связанных с погодой — град, ураган, наводнение, смерч. Эта область, крайне ответственная и требующая большого количества ресурсов, и стала основным фокусом государственных метеослужб. Здесь уже есть сформированная потребность: в США убытки от чрезвычайных ситуаций и ликвидации последствий превышают $400 млрд.
Результаты их работы над предсказанием погоды, однако, широко используются в индустрии — глобальный прогноз GFS (производимый в NOAA) является основой, по моей оценке, около половины погодных сервисов по всему миру. Как минимум в половине этих сервисов данные GFS не проходят дополнительной проверки, что свидетельствует об их высоком качестве. Однако для выполнения бизнес-требований, открытых данных недостаточно — нужна дополнительная аналитика обработка и повышение точности специальных сценариев. На этом поле и происходит борьба частных компаний.
Частные компании делают ставки в конкурентных стратегиях (по крайней мере именно так они декларируют их): во-первых, доступ к уникальным данным и, во-вторых, применение новых технологий для их анализа. Частные компании от государственных служб отличает более гибкий цикл адаптации новых технологий, в частности — технологий ИИ (искусственного интеллекта). Компании соревнуются в объемах уникальных источников данных и в точности алгоритмов. Текущее состояние индустрии — следствие сразу двух мощных трендов: перенос данных о реальном мире в цифровой формат (этим занимаются стартапы AstroDigital, Earth Networks, NetAtmo и многие другие) и применение технологий ИИ для анализа естественных процессов (на этом поле технологии развивают IBM, Yandex.Meteum, Orbital Insight и другие (компания Aerostate, которую представляет автор статьи, — также игрок в этой области — Forbes). Стек используемых технологий достаточно разнообразен — тут есть как и разработанные собственные силами решения (Watson — у IBM, Matrixnet — у Яндекса), так и использование открытых библиотек (упоминавшийся TensorFlow и xgboost, доступный любому желающему на GitHub). Так или иначе, все усилия разработчиков направлены на выделение новых, никому неизвестных закономерностей и их последующее использование в бизнес-процессах.
Ключевые отличия лежат, как обычно, в продуктовых и рыночных особенностях решений, которые предлагают перечисленные компании. Основная борьба и основной прогресс на крайне высокотехнологичном рынке погоды и климата идет не в плоскости создания новых алгоритмов (это скорее происходит на развитых рынках типа погодного риск-менеджмента), а в плоскости формирования новых продуктов для целевых индустрий. Поэтому уже есть истории успеха погодных сервисов в маркетинге, ритейле, сельском хозяйстве и альтернативной энергетике. Например, сервис Vinsight, выпускник YCombinator предоставляющий погодный прогноз для оценки урожайности для виноделов. Спутниковая компания Spire, запустившая свою группировку для отслеживания торговых судов и сбора погодных данных, выходит на рынок погодного обеспечения морской торговли.
Круг пользовательских продуктов тоже только растет: например, недавно музыкальный сервис Spotify выпустил песню, которую можно слушать только тогда, когда над головой у тебя идет дождь. Рост эффективности маркетинга и вовлеченности пользователей уже на протяжении нескольких лет эффективно эксплуатирует погодные данные в попытке добиться успеха. Однако в таких отраслях как агрокультура, энергетика, промышленность, изменения уже давно наступают эволюционно и прорывные данные об окружающем мире здесь — не исключение. Новые технологии, связанные с появлением новых данных и новых методов их обработки, помогут повысить на единицы процентов эффективность систем альтернативной энергетики или маржинальность сельскохозяйственного бизнеса. И это небольшая в процентном отношении подвижка способна без громких заявлений изменить весь остальной мир.