Железные данные

Миновав проходную Магнитогорского металлургического комбината, автомобиль вновь остановился, пропуская вагоны с еще не остывшим металлом. Пассажиры — сотрудники «Яндекса» — с любопытством смотрели сквозь стекло на непривычные для айтишников индустриальные пейзажи. Ставка основателя «Яндекса» Аркадия Воложа на работу с большими данными дала первые плоды: в феврале 2015 года стартовал совместный проект IT-компании с ММК миллиардера Виктора Рашникова (№30 в списке Forbes, состояние $3,5 млрд).

«Многие воспринимают «Магнитку» стереотипно. Инновационность и креативность явно не те слова, которые приходят на ум в разговоре о комбинате», — жалуется заместитель гендиректора ММК по финансам и экономике Сергей Сулимов. Зачем металлурги пригласили представителей крупнейшей в России поисковой системы?

Проект «Снайпер»

Ежегодно комбинат выпускает более 12 млн т стали. Плавка длится 40 минут. Периодически в расплавленный металл засыпают химические добавки, обеспечивающие стали нужную прочность. «Это как приправы в борще. Мы на эти добавки тратим около $300 млн в год. И очень хочется сэкономить», — рассказывает Сулимов. Решение о добавлении присадок принимает оператор-сталевар. Сулимов говорит, что по количеству одновременно отслеживаемых показателей его работа сравнима с пилотированием самолета: «Их даже готовят как пилотов. Сначала они работают «вторыми пилотами — помощниками оператора, а потом уже становятся за штурвал».

Решение о добавлении тех или иных примесей нужно принять в течение нескольких минут. На все случаи есть инструкция, но многое зависит от опыта сталевара. Главное — попасть в заданный коридор по необходимому количеству добавок: переборщил — потратишь деньги зря, не доложил — получил несоответствие состава, а это брак. При этом брак может обнаружиться, когда прокатанная сталь уже уйдет заказчику.

В 2014 году в ММК контроль за добавками решили доверить компьютеру. «Мы проанализировали все плавки стали за много лет. Какое получали качество, какой брак, какое количество ферросплавов добавляли. И попытались сами модель посчитать», — рассказывает Сулимов. Проект назвали «Снайпер», а работу над ним поручили недавно созданному на ММК Центру математического моделирования и системно-аналитических исследований во главе с профессором Южно-Уральского государственного университета Дмитрием Шнайдером. Положительный опыт автоматизации процессов на заводе у них уже был. Побочный продукт производства стали — газ, его можно использовать для топки тех же котлов, но выделяется он нестабильно. Команда просчитала математическую модель выброса газа, разработав алгоритм, который автоматизировал работу клапанов на котлах. «Сначала очень осторожно говорили об эффекте 0,5–1%, а сейчас это уже 8% экономии природного газа», — говорит Сулимов.

Но в работе с присадками добиться нужной точности заводским математикам не удавалось. Тогда в ММК решили обратиться за помощью к внешнему подрядчику — компании «Яндекс», у которой более богатый опыт работы с большими данными.

Данные фабрик

В декабре 2014 года на парижской конференции Le Web экс-гендиректор «Яндекс.Денег» Евгения Завалишина представила новое направление — Yandex Data Factory (YDF), которое специализируется на работе с большими данными. К тому моменту этот отдел под ее руководством уже несколько месяцев работал над пилотными проектами. Например, для Росавтодора сделали систему прогнозирования заторов и ДТП. Первый опыт работы с big data российский поисковик получил еще в 2011 году в совместном проекте с ЦЕРН, обслуживающей адронный коллайдер. А в 2012 году компания «Сейсмотек» (25% принадлежит «Яндексу») занялась геологоразведкой для нефтяных компаний вроде «Роснефти» и Statoil.

Однако инициатором предыдущих проектов выступал сам «Яндекс», а на этот раз инициатива исходила от ММК. «Они даже сначала немного удивленно реагировали», — вспоминает Сулимов. Как рассказывает Forbes заместитель генерального директора SAP Дмитрий Шепелявый, в первую очередь этой технологией в России заинтересовались b2c-компании — банки, телеком-операторы, ритейлеры. «Производственные компании — огромная ниша, и спрос там только зарождается», — считает Шепелявый.

Первые переговоры с «Магниткой» прошли в конце 2014 года. «Всего мы к ним ездили раза два или три, но при этом консультировались постоянно», — рассказывает руководитель проектного офиса YDF Александр Хайтин. По его словам, анализ статистики для построения математических моделей не требует глубоких знаний в металлургии, но консультации помогают выявить особо важные параметры, уточнить данные.

Как работают с большими данными? Алгоритмы анализируют показатели за продолжительный период времени и формируют рекомендации, как оптимизировать процесс плавки стали. «Сами данные не несут добавленной стоимости. Нужно извлекать знания из массивов данных, а это алгоритмистика в чистом виде», — говорит директор «Мегафона» по сегментному маркетингу и клиентской аналитике Роман Постников. Оператор связи занимается большими данными уже шесть лет: сначала для себя прогнозировали отток клиентов и вероятность покупки услуг, с конца 2013 года начали выполнять сторонние заказы.

Металлурги передали «Яндексу» данные за 10 лет. Однако поскольку эти данные накапливались на перспективу, без верификации, часть из них содержала ошибки. Например, по некоторым из 10 000 плавок получалось, что на выходе из печи материала было в два раза меньше, чем загрузили. Такие данные отбрасывались. «Это как раз тот случай, когда количеством можно победить качество, — улыбается Хайтин. — Мы использовали только те данные, которые нужны металлургам в работе. Ничего сверхъестественного не требовали».

Как рассказывает Дмитрий Шепелявый из SAP, нужные данные есть практически у всех их заказчиков: «Другой вопрос, что не всегда их бывает с избытком». Современное оборудование оснащено всеми необходимыми датчиками, но их можно устанавливать и дополнительно. Что само по себе дает экономический эффект, уверяет Сулимов. На ММК, например, выяснилось, что один из редко используемых агрегатов в выключенном состоянии потребляет 80% электроэнергии от включенного состояния. Обратив на это внимание, нашли способ снизить энергопотребление до 30%.

Все алгоритмы, используемые для работы с большими данными, известны и описаны в научной литературе. «Главное, подобрать метод или их комбинацию именно для конкретной задачи», — объясняет Хайтин. В данном случае использовалось понятие временных рядов (с его же помощью делаются, например, проекты для ритейлеров, которым нужно предсказывать очереди).

В YDF сейчас работает около 30 человек, они одновременно ведут до 15 проектов. «Но мы в любой момент можем обратиться к сотрудникам из любой команды «Яндекса», и в этом наше огромное преимущество. Не всегда можно с ходу подобрать метод», — говорит Хайтин. Те же алгоритмы и методы машинного обучения давно применяются во внутренних проектах компании — в поиске, «Пробках», «Картах» и др. Для просчета моделей и анализа статистики нужны большие вычислительные мощности, а «Яндекс» может задействовать собственный дата-центр.

Из желания продавать внутренние технологии в другие секторы и выросла Yandex Data Factory. «Мы не занимаемся фундаментальными вещами, мы придумываем, как адаптировать наши же технологии, но для других задач», — говорит Хайтин.

Венчурный эффект

В конце октября 2015 года делегация «Яндекса» вновь отправилась в Магнитогорск. На этот раз — проводить испытания разработанной модели на практике. Первое время технология «Яндекса» будет работать в тестовом режиме: давать советы оператору, который вправе выбирать, прислушиваться к ним или нет. «Мы будем разбирать и случаи, когда оператор не послушался советов системы, и случаи, когда послушался, но вышел брак», — говорит Сулимов. Если испытания пройдут успешно, определять расход ферросплавов начнут в автоматическом режиме, а оператор будет лишь присматривать за процессом на случай нештатных ситуаций.

На какие результаты рассчитывает ММК? Сулимов прогнозирует, что экономический эффект может достигать $9 млн. «Арифметика простая. Если сэкономить 1% добавок, это уже около $3 млн. Почему бы и не замахнуться на 3%», — объясняет Сулимов. При этом, добавляет он, это венчурный проект и компания готова к тому, что эффекта может и не быть. Деталей контракта стороны не раскрывают, но, по словам одного из собеседников Forbes, от результатов проекта зависит и вознаграждение «Яндекса».

Когда стало известно о сотрудничестве с ММК, к «Яндексу» обратились и другие производственные компании. Переговоры пока на начальной стадии, потенциальных клиентов в «Яндексе» называть отказываются. По словам Хайтина, успешность модели для ММК вовсе не означает, что ее можно в том же виде применить и для прямого конкурента с таким же техпроцессом. «Предсказательная модель базируется на данных заказчика, поэтому каждый раз уникальна. Однако сам набор алгоритмов, конечно же, может использоваться, и благодаря полученному опыту, следующий проект для аналогичной компании мы сделаем уже быстрее», — говорит Хайтин. В SAP, например, привлекают сотрудников из зарубежных офисов, если они делали похожие проекты. «Процессы в японском банке аналогичны процессам в российском банке. И мы можем использовать их экспертизу», — объясняет Дмитрий Шепелявый.

Хайтин надеется, что в следующем году YDF сможет работать над несколькими десятками проектов одновременно. «Мы готовим в Школе анализа данных специалистов с нужной для нас квалификацией. На рынке их не хватает. Здесь нельзя взять двух послабее вместо одного сильного», — говорит Хайтин. Сам проект YDF он считает стартапом со строгим планом по выручке.

Сколько зарабатывает YDF, в «Яндексе» не говорят. Выручка всей компании в первом полугодии 2015 года составила 26,3 млрд рублей, большая часть приходится на рекламу. Нерекламные доходы, куда входят и деньги от YDF, за тот же период составили 635 млн рублей, почти в три раза больше, чем в первом полугодии 2014 года. Но этот же показатель включает и доходы, например, от сервиса «Яндекс.Такси». Для сравнения: в «Мегафоне» подразделение, занимающееся большими данными, приносит около 1% суммарной выручки.

«Магнитка» в случае успеха пилотного проекта готова привлечь «Яндекс» к новой задаче — попытаться автоматизировать процесс выплавки чугуна в доменной печи. Этот процесс сложнее: он дольше по времени, и действия оператора могут сказаться на результате только через несколько часов. «Я сейчас изучаю работу голландского математика, который описывает процесс в домне четырьмя разными матмоделями», — рассказывает Сулимов. В «Яндексе» видят и другие перспективы совместной работы — например, можно с помощью больших данных прогнозировать отказ оборудования.