Розничные цифры: как технологии больших данных приходят в офлайн-ретейл

В отрасли розничной торговли данные действительно большие — тысячи магазинов, товарных позиций, звеньев логистических цепей, миллионы клиентов-покупателей, бесчисленное количество транзакций. Сохранить данные обо всех этих объектах и их взаимодействии практически невозможно, нужно четко понимать, для каких задач они будут использоваться, как их правильно сохранить и защитить. В онлайн-торговле сбор данных и коммуникация с пользователем уже упрощены,  технологии больших данных  в интернет-коммерции уже активно применяются. Как эти технологии приходят в  офлайн-розницу?

Пересмотр цен

Пересмотр цен на товары является одним из основных рычагов управления розничной торговлей. Грамотно установленные цены выступают одним из решающих факторов выбора магазина, в котором покупатель совершит покупку, особенно в условиях, когда есть возможность приобрести тот же товар в интернете. Коррекция цен производится постоянно и является одним из процессов, который может быть успешно автоматизирован с помощью технологий больших данных. По некоторым оценкам представителей индустрии, в среднем у категорийного менеджера на переоценку товаров уходит более 4 часов в день. При этом во внимание принимаются далеко не все доступные данные о структуре спроса и предложения, в том числе в данной местности, об изменениях на рынке, запасах нераспроданной продукции, сезонности и действиях конкурентов, совершается большое число ошибок в силу человеческого фактора, которое при огромном числе товарных позиций растет в геометрической прогрессии. Все это заставляет компании делать выбор в пользу автоматического интеллектуального репрайсинга. Одна из крупнейших американских розничных сетей Macy’s имеет более 800 магазинов и 73 млн товарных позиций, что делает ее лидером по числу возможных сочетаний товаров и локаций в американском ретейле. На пересмотр цен уходило очень много времени, и он был недостаточно качественным, еженедельно приходилось принимать сотни миллионов ценовых решений. В результате внедрения решений SAS Institute компании удалось снизить время, затрачиваемое на пересмотр цен, в 22 раза, и теперь пересмотр осуществляется практически в реальном времени. Также на 70% сократились издержки на оборудование. В своей работе внедренная система использует исторические данные о структуре спроса за последние несколько лет и данные об имеющихся товарных запасах как по бизнесу и категориям в целом, так и с детализацией до отдельного SKU и торговой точки, и приводит их в соответствие. Также учитываются сведения о запланированных промоакциях и скидках.

 Геолокационная аналитика

Для отрасли розничной торговли ключевым является вопрос о том, где стоит открывать новые магазины. Наоборот, если стоит задача закрыть или перенести наименее результативные торговые точки, геоаналитика поможет ответить на вопрос: в чем причина плохих показателей работы — в неэффективном менеджменте или в неудачном расположении? Современные геолокационные решения используют продвинутые геоинформационные системы, позволяющие рассчитать транспортную доступность выбранного местоположения для различных категорий целевой аудитории. Учитывается расположение конкурентов, маршруты целевой аудитории и близость мест ее наиболее вероятного появления (например, для магазина спортивных товаров могут быть важны расположенные поблизости фитнес-клубы). Важнейшими поставщиками геоданных для отрасли розничной торговли выступают телекоммуникационные компании и банковский сектор. Банки могут предоставлять обезличенные агрегированные данные о доходах, расходах и финансовом положении населения на определенных территориях (такие данные сейчас предоставляются, например, Сбербанком), мобильные операторы владеют данными о перемещении целевой аудитории в пространстве в течение дня. Другим важнейшим источником геоданных располагают сами ретейлеры — это данные о покупателях, проживающих на определенных территориях, полученные с помощью программ лояльности, и данные онлайн-продаж, содержащие адрес доставки. Наконец, геоданные о целевой аудитории могут быть получены из социальных сетей: из чек-инов Foursquare, записей и фотографий с указанной геопозицией. Успешная интеграция и правильное использование этих данных позволяет достаточно точно определить наиболее привлекательные территории с недоиспользованным рыночным потенциалом, а также оптимизировать ассортимент продукции и цены с учетом характеристик находящегося на данной территории населения. Одним из лидеров в предоставлении геолокационных решений в мире является компания Esri. Ее сервис Business Analyst Online позволяет проводить геомаркетинговые исследования и делиться их результатами без установки программного обеспечения и загрузки данных. В систему уже загружены данные о более чем 90% мирового населения в более чем 135 странах, для проведения анализа вы можете выбирать более 15 тысяч уже доступных показателей, включая демографические, данные об образе жизни и структуре расходов потребителей, рыночном потенциале и т. д. Российская компания  SmartLoc предоставляет сходный инструмент SmartLoc Retail, также использующий технологии Esri, но имеющий лучшие наборы данных по России. Система предоставляет доступ к данным о размещении населения в 1200 городах, в ней реализованы все основные геомаркетинговые инструменты пространственного анализа. Есть также возможность добавления собственных наборов данных и моделей оценки товарооборота.

Рекомендательные системы

Во многих направлениях розничной торговли очень важны вкусы покупателей. Например, если речь идет о магазине одежды или особенно о книжном магазине, понятно, что идеально было бы уже на входе предложить покупателю именно те товары, которые ему, скорее всего, понравятся. Это можно легко сделать в интернет-магазине, который хранит историю заказов пользователя и других клиентов со сходными предпочтениями. В офлайн-магазине это несколько сложнее, но такой подход хорошо работает для постоянных клиентов, которых можно идентифицировать по картам программ лояльности. Например, британская компания JJ Food Service, поставляющая продукты питания для ресторанов и кафе, предварительно заполняет корзины своих клиентов на основании истории покупок и рекомендаций (учитываются рецепты, сходные заказы других пользователей, добавляются новинки, о которых клиенты еще не знают). Около 80% этих товаров покупатели действительно оставляют в корзине и приобретают. Также для формирования рекомендаций можно использовать специальные автоматы. Например, в книжном магазине можно установить специальный терминал, в котором клиент сможет указать область своих интересов, свои любимые книги или недавние покупки, и ему будут даны рекомендации. Клиенты многих крупных книжных магазинов уже сейчас пользуются терминалами для поиска расположения книг в торговом зале.

Прогнозирование спроса и управление запасами

Технологии больших данных могут эффективно применяться для прогнозирования спроса на тысячи товарных позиций и управления запасами. Продвинутые системы прогнозирования, например решения SAS Institute, строят прогнозы спроса одновременно на всех уровнях: и на уровне отдельных магазинов с учетом локальной специфики, и по более крупным территориальным единицам, на категории товаров в целом и на отдельные позиции. При этом все построенные прогнозы приводятся в соответствие. Математические методы прогнозирования позволяют учесть широкий набор факторов, таких как погодные условия, промоакции, влияние изменений цен, праздничные дни, активность конкурентов, историю и структуру продаж каждой торговой точки. Также можно учитывать информацию о проведении вблизи торговых точек различных мероприятий: фестивалей, митингов, футбольных матчей и т. п. Британская розничная сеть Tesco смогла сохранить £6 млн ежегодно только за счет внедрения локальных данных о прогнозе погоды в их систему прогнозирования спроса. Анализ реакции спроса на промоакции позволил сократить число позиций, которые хотят приобрести, но их нет в наличии, на 30%. Прогнозирование спроса в соединении с алгоритмами поэтапного снижения цен на позиции с истекающим сроком годности позволило сохранить до £30 млн в год. Наконец, интеллектуальное прогнозирование спроса и управление запасами на складах цепей поставок компании дало еще £50 млн. Общий финансовый эффект внедрения технологий больших данных в области прогнозирования спроса, позволяющего не держать избыточные запасы продукции и не терять в продажах из-за отсутствия товара на складе, составил для компании Tesco £100 млн ежегодно. В своей работе система прогнозирования спроса компании Tesco задействует более 100 терабайт данных вместе со сложными математическими алгоритмами их анализа и моделирования.

A/B тестирование

Контролируемое тестирование некоторого нововведения на части клиентов в сравнении с контрольной группой, для которой ничего не изменилось, называется A/B тестированием. Такое тестирование широко применяется для веб-сайтов и приложений, в том числе для интернет-магазинов. Там очень легко показать одной группе пользователей новый вариант сайта, а другой группе — прежний. Однако те же методы могут быть применены и в офлайн-торговле. В розничной торговле с помощью A/B тестирования можно оптимизировать размещение товаров в магазине в целом и на полках, тестировать новые форматы торговли и рекламных материалов. Например, компания Heineken с помощью решения от компании Shopperception, в котором устройство Microsoft Kinect используется для отслеживания и записи поведения клиентов рядом с полками и торговыми автоматами, смогла протестировать размещение пива на полке против его размещения в отдельном холодильнике. Анализ собираемых данных выполнялся автоматически, что позволило сократить затраты более чем в 100 раз по сравнению с традиционными методами. В результате удалось выяснить, что холодильники позволяют привлекать новых клиентов, которые не планировали покупать пиво и принимают решение на месте, тогда как полки удобны для тех, кто целенаправленно выбирает данную товарную категорию.

 Сегментация покупателей

Сегментация покупателей может быть с одинаковым успехом применена в интернет-магазинах, так и в офлайн-ретейле. Для российского ретейлера «Лента» доля покупок, совершенных с использованием карт программ лояльности, составляет более 90%. Приобретая такие карты, покупатели добровольно сообщают о себе важную социодемографическую информацию, например возраст, пол, семейное положение, владение автомобилем, а также идентифицируют свои покупки. Используя данные о покупках по картам программы лояльности с 2010 г., компания осуществила сегментацию базы покупателей по принципу RFV («давность, частота и стоимость») и по покупательскому поведению. Например, был выделен отдельный сегмент мужчин, приобретающих преимущественно напитки и снеки, и группа покупателей, приобретающих простые ингредиенты для приготовления пищи собственной торговой марки «Ленты». Такая сегментация позволяет компании адаптировать ассортимент и принципы выкладки товаров, формировать ценовые предложения.

Персональные предложения

Персональные предложения покупатели легко могут получать через веб-сайт, однако в физическом магазине передать их покупателям не так просто. Впрочем, для этого уже был разработан целый ряд решений. Сообщения с персональными предложениями могут поступать на мобильные телефоны с включенным Wi-Fi или Bluetooth. Покупатель может получать их, подключаясь к сети Wi-Fi магазина и принимая условия, либо через рекламные блоки в уже установленных им приложениях, либо через специализированные приложения. Установка таких приложений в конечном итоге оказывается выгодной покупателю, так как с помощью них он может получать дополнительные скидки и получить новый опыт посещения магазина. Системы, позволяющие построить этот новый способ коммуникации с покупателем, с высокой точностью отслеживают перемещение покупателя внутри магазина и позволяют собирать ценные аналитические данные о поведении покупателя, о том, где он задерживается, что его привлекает и т. п. Сообщения могут отправляться при приближении к определенным полкам или категориям товаров. Также размещенные в магазинах рекламные панели могут менять свои сообщения при приближении конкретного покупателя. Одним из разработчиков такого рода систем является американская компания Euclid Analytics.

Анализ рыночной корзины

Анализ рыночной корзины с помощью ассоциативных алгоритмов, например алгоритма Apriori, позволяет по данным кассовых чеков выяснить, какие товары чаще приобретаются вместе, и, если потребитель положил к себе в корзину товар А, какие товары он, скорее всего, возьмет в дополнение к ним. Ассоциированные товары, наборы которых не всегда очевидны, следует поместить на пути покупателя к кассе или рядом, также можно делать на них совместные промоакции.

Оптимизация цепей поставок

Оптимизационные задачи по построению маршрутов грузоперевозок могут быть решены с использованием данных о загруженности дорог, координатах складов, магазинов и транспортных средств и структуре потребностей. В логистике большие объемы данных могут генерироваться через отслеживание перемещения грузов (радиолокация и RFID-метки) и через данные датчиков, установленных в транспортных средствах. UPS — американская логистическая компания, крупнейшая в мире по доставке посылок и управлению цепями поставок, применяет радиолокацию для отслеживания грузов, собирает и анализирует показатели множества датчиков для контроля состояния транспортных средств и поведения водителей, использует данные мобильных CRM для мониторинга доставки и качества обслуживания клиентов. Для оптимизации маршрутов и сокращения затрат в компании внедрена система ORION — одна из крупнейших в мире систем, основанных на результатах математической теории исследования операций. Построение оптимальных маршрутов производится в реальном времени с использованием огромных вычислительных мощностей. Для решения этой задачи система использует картографические данные, данные о пунктах отправления и прибытия, размерах и требуемых сроках доставки грузов. В результате удается сэкономить порядка 6 млн литров топлива в год, происходит сокращение выбросов углерода в атмосферу на 13 тысяч тонн ежегодно, повышается скорость доставки. Оптимизация и контроль цепей поставок с помощью радиолокации и RFID-меток используется и крупнейшими ретейлерами, такими как Walmart.

Предсказательное обслуживание оборудования

С развитием Интернета вещей становится возможным отслеживать и анализировать показатели, собираемые датчиками оборудования. Это позволяет заранее предсказывать возможные поломки (в случае магазина — холодильников, систем вентиляции и т. д.) и принимать превентивные меры, а также точно определить код поломки. В результате значительно сокращаются затраты на обслуживание и ремонт, не требуется предварительная диагностика, снижаются потери от простоев и выхода оборудования из строя. Пока подобные системы успешно применяются для наиболее дорогостоящего оборудования, в частности, в нефтегазовой отрасли и в машиностроении. Например, компания ThyssenKrupp с помощью облачных решений Microsoft анализирует сотни машинных показателей и таким образом отслеживает состояние своих лифтов по всему миру. В результате время бесперебойной работы лифтов компании увеличилось в среднем на 50%, что позволило значительно снизить издержки (одна поломка обходится минимум в $300) и создать повышенную надежность как новую ценность для клиентов.

Борьба с мошенничеством

Мошенничество в отрасли розничной торговли часто проявляется в форме последовательностей небольших транзакций, каждая из который по отдельности почти не кажется подозрительной, причем эти последовательности — мошеннические схемы — постоянно меняются. Технологии больших данных позволяют отслеживать все транзакции в торговых точках и выявлять в них схемы, которые требуют дальнейшего расследования, в том числе случаи мошенничества и воровства, которые могут быть остановлены немедленно. Одним из решений, разработанных в этой области, является система Secure Store от компании Sysrepublic.

Как быстро подобные технологии могут войти  в жизнь?  Согласно результатам исследования, проведенного агентством Retail Systems Research в 2016 году, даже в США — стране, которая является одним из лидеров в технологиях больших данных и темпах их внедрения в бизнесе, более 50% ретейлеров еще не внедряли никаких аналитических решений, основанных на больших данных и машинном обучении, и только менее четверти удовлетворены тем, что им удалось внедрить. В России отрасль розничной торговли, особенно офлайн, также не является флагманом применения больших данных. Ряд крупных ретейлеров, например «Лента», «Азбука Вкуса», «Глория Джинс» и «Юлмарт», реализовали некоторые проекты в этой области еще в 2014 году, затем к ним присоединились и другие компании. Однако везде потенциал использования больших данных еще далек от полного раскрытия, скорее, это лишь первые эксперименты. Во внедрении решений, основанных на технологиях больших данных, отрасль сталкивается со многими проблемами.

Первая из них —  не хватает качественных данных. Многие компании, желающие внедрить big data-решения, сталкиваются с тем, что их внутренние данные не готовы к построению на них действенных моделей. В данных часто имеются дубликаты, ошибки и неточности, противоречия, неоднозначности. Названия одних и тех же SKU и их свойств могут быть записаны множеством различных способов, например, если речь идет о крупной розничной сети, имеющей несколько сетей в своем составе и получающей товары от разных дистрибьюторов. Фиксируемые свойства товаров и транзакций могут не отражать их важных характеристик и связей между ними. Например, дизайнер может описать цвета платьев как «сенный хаки», «омут хаки» и «оливковый хаки», а на складе цвет их всех запишут как «зеленый». Или овощи и цветы могут быть записаны в одну категорию по условиям хранения, однако сделать единый прогноз продаж для этой категории будет невозможно в силу ее разнородности. Необходимо прививать культуру работы с данными внутри организации на всех уровнях, начиная от операторов и аналитиков и заканчивая руководителями по информационным технологиям. В какой-то степени данные могут быть очищены автоматически, различные записи одного и того же могут быть сопоставлены с помощью специальных алгоритмов. Однако автоматизация здесь не будет полной, потребуются значительные затраты времени и финансовых ресурсов, которые в случае больших данных могут стать запретительно велики. Ошибки в отображении реальных объектов в базах данных исправить еще сложнее.

Другая сложность связана с объемами данных и технологиями их хранения.  Розничная сеть может иметь огромное число покупателей, о которых в разных источниках может быть накоплено огромное количество разнородной информации. Перемещение товаров по цепям поставок, изменение цен, промоакций, запасов и размещения товаров происходит с большой скоростью, покупки совершаются клиентами непрерывно на протяжении времени работы магазинов. Все это генерирует огромные объемы показателей, которые трудно хранить, обрабатывать и объединять в рамках какой-то единой модели или базы данных. Многие торговые точки все еще используют достаточно простые системы учета товарооборота, данные от которых слабо консолидируются. У многих ретейлеров нет компетенций для работы с теми объемами данных, которые потенциально можно было бы сохранить и использовать для анализа. Сохранить и записать все возможные показатели, пожалуй, невозможно, и необходимо заранее определиться с тем, какие данные и для чего могут быть использованы, какие показатели представляют наибольшую ценность. Различные товары имеют совершенно разные параметры, с появлением новых моделей и продуктов появляются и новые характеристики. Все это трудно уложить в традиционную реляционную модель данных, когда данные хранятся в форме связанных таблиц с заданным перечнем столбцов. Частично эти проблемы можно решить переходом к NoSQL-базам данных, в которых данные сначала загружаются, а уже потом определяется их структура, а не наоборот. Данные при таком подходе хранятся в форме «документов», акцент делается на том, как данные будут использоваться, а не на том, как они должны быть структурированы. Также такая модель облегчает соединение данных из разных источников, например данных программ лояльности, онлайн-продаж, данных социальных сетей, геоданных. Стоимость хранения данных также постоянно снижается. Развертывание необходимой инфраструктуры облегчается использованием облачных сервисов. Однако необходимы специалисты и развитие соответствующей инфраструктуры и компетенций внутри компании, перестройка корпоративных информационных систем.

Стоит также учесть, что проект, связанный с большими данными, может не сработать из-за ошибок менеджмента. Часто big data-проекты рассматриваются как исключительно IT-проекты, «игрушки» аналитиков и математиков, некоторые эксперименты. В этом случае они оказываются оторванными от реальных потребностей и практики бизнеса и не принимаются для практического использования. Во многих случаях руководители оказываются не готовыми заменить традиционные методы принятия решений на основе накопленной экспертизы и здравого смысла на некоторые «автоматические», «математические» рекомендации, которые строит сложная математическая модель, являющаяся для них в некотором роде «черным ящиком». Иногда большие данные и машинное обучение воспринимаются как некая панацея, способная решить любые проблемы. Нужно понимать, что существуют границы применимости моделей, построенных на больших данных, и они хорошо подходят лишь для решения конкретных, четко специфицированных задач. Здесь лучше начинать с малого, потому что удовлетворить аналитические запросы всех отделов компании и реализовать все возможные проекты сразу не получится.

Особенно остро стоит вопрос приватности данных. Сбор слишком большого числа персональных данных о клиентах, данных об их перемещениях и транзакциях может быть воспринят как нарушение неприкосновенности личной жизни. Существует риск, что эти данные могут быть затребованы государственными органами или проданы кому-либо. Практически никто не удаляет накопленные данные о клиентах и их транзакциях, так как для многих видов анализа нужны длинные исторические ряды. В результате такие данные могут сохраняться теоретически вечно. Однако трудно предположить, как они могут быть использованы. Полная анонимизация накопленных данных часто оказывается невозможной, так как по разнообразным сохраненным параметрам часто можно однозначно идентифицировать конкретного человека. Отправка персональных предложений, например, через систему Euclid, описанную выше, также может быть воспринята как нарушение личного пространства.

 И наконец — безопасность.  Стремясь накопить максимальное число данных о покупателях для анализа, компании зачастую сохраняют большое количество персональных данных, которым они не могут обеспечить должный уровень защиты. Эти данные могут представлять интерес для злоумышленников, похищение их из хранилища может затронуть большое количество клиентов, привести к утрате доверия и поднять проблему приватности, вызвать недовольство покупателей. В конце 2013 года хакерам удалось похитить данные 40 млн кредитных карт вместе с персональными данными 70 млн клиентов крупной американской розничной сети Target. Примечательно, что за 6 месяцев до этого компания произвела крупные инвестиции в систему защиты от вредоносного программного обеспечения и даже получила от нее предупреждения, однако они были проигнорированы. Система не смогла автоматически предотвратить утечку данных, так как еще находилась в стадии тестирования и не имела необходимого уровня доверия. В результате против компании было возбуждено более 90 исков от покупателей и банков, прямые затраты, которые пришлось произвести после кражи данных, составили $61 млн, прибыль компании в квартале, следующем за кражей, упала на 46% к предыдущему году.

Иногда причины неудач проектов, основанных на технологиях больших данных, значительно проще описанных выше и могут быть легко устранены. Выпускники нашей программы (New Professions Lab, включает курс big data. — Forbes), работающие в компании Glowbyte, поделились подобным примером. Они делали пилотный проект с аптечной сетью «Ригла». После внедрения рекомендательной системы для кассиров выяснилось, что она не дает никаких результатов. Оказалось, что рекомендация о том, что предложить покупателю, открывалась на весь экран и мешала пробить чек, поэтому все кассиры сразу нажимали кнопку «Esc».

Возможных приложений анализа больших данных в ретейле, как и самих данных, очень много, и едва ли  хотя бы одной компании удалось реализовать их потенциал в большинстве направлений. Вместе с тем нужно понимать, что проекты в области больших данных сталкиваются со множеством проблем, требуют грамотного менеджмента. Перед реализацией проекта нужно четко определиться с ограниченным кругом задач, которые он должен решить (при этом лучше начать с малого), и задать правильные вопросы. Необходимо определиться со способом развертывания инфраструктуры больших данных и привлечь необходимых специалистов, трезво оценить качество имеющихся у организации внутренних и внешних данных и возможности реализации аналитических проектов на их основе. Также стоит задуматься о рисках, которые несут с собой большие данные, обезопасить их и не вторгаться слишком сильно в частную жизнь клиентов, не нарушать этические нормы.