Переобучить ИИ: зачем обновлять модели машинного обучения

Редакция спецпроектов Автор

Сегодня банк — в первую очередь приложение в смартфоне и огромные потоки данных. Для их обработки используются модели машинного обучения. Они, например, предсказывают мошеннические операции или потребности клиентов в кредитных картах. Но со временем способности моделей ухудшаются, и их требуется обучать заново. В Альфа-Банке создали первую в России полностью автоматическую систему переобучения внедренных в эксплуатацию моделей — Retrainable AutoML Framework. Как она помогает бизнесу?

Почему модели машинного обучения нужно переобучать

Любой современный банк — это IT-инфраструктура, в которую интенсивно внедряются различные модели искусственного интеллекта. Так, в Альфа-Банке в 2021 году их применялось 50, в 2022-м — 112, а в 2023-м — 386.

Созданием и обслуживанием таких моделей занимаются аналитики данных. Рассмотрим на примере. Банк хочет предложить клиентам кредитную карту, которая позволит посещать бизнес-залы аэропортов, но за ее обслуживание придется платить. Необходимо понять, кому именно лучше всего предложить данный продукт. Иными словами, создать модель склонности к потреблению. В качестве данных выступят социодемографические характеристики клиентов, например, пол, возраст, а также ведущие категории расходов по картам. Здесь аналитику необходимо будет сконструировать правильные фичи (feature). Так называют определенные признаки, которые можно извлечь из сырых данных для решения поставленной задачи. Например, в данном случае — частота покупки клиентами авиабилетов, заказа такси до аэропорта, бронирования гостиниц в разных городах, расходов в магазинах duty free.

Для простоты представим, что нам необходимо разделить потребителей на два типа: склонных приобрести карту с привилегиями и несклонных. Отсюда следует, что аналитик может выбрать алгоритм бинарной классификации. С его помощью можно поделить всех клиентов банка строго на две категории. В этом и будет состоять целевая функция модели (target) — правильная классификация клиента в каждом конкретном случае на основе имеющихся о нем данных. После подбора алгоритма и обучения модели аналитик получит инференс — результат ее работы. Если он будет удовлетворительным, скажем, модель в 85% случаев правильно указывает потребителя, склонного к покупке карты с привилегиями, то далее начнется процесс ее промышленного внедрения. Модель начнут применять маркетологи и менеджеры банка.

И вот тут возникает новая проблема: любая модель со временем начинает деградировать. Качество ее работы в промышленной эксплуатации неуклонно ухудшается по сравнению с полученной после обучения точностью инференса. С 85% всего за год она падает до 70% и ниже. Чаще всего показатели модели «проседают» из-за изменения потока данных. Скажем, раньше клиентская база состояла на 40% из мужчин и на 60% из женщин, а потом их соотношение резко изменилось, стало 70% на 30%. Модель привыкла «видеть» одну картину, но теперь она поменялась, и точность прогнозов «поплыла». Такие показатели становятся неприемлемыми, а значит, модель надо переобучать — вновь проходить все описанные выше этапы и тратить огромное количество дорогостоящего времени аналитиков.

Зачем автоматизировать переобучение моделей

Хорошие аналитики данных — специалисты штучные и высокооплачиваемые. Они призваны в большей степени исследовать, искать новые возможности для извлечения пользы из данных, нежели рутинно заниматься обслуживанием ранее созданных моделей. «В 2023 году на обновление моделей уходило до 10% бюджета времени наших дата-сайентистов. А по прогнозу, с ростом парка моделей и без внедрения автоматизации, в 2024-м мы затрачивали бы уже до 35%, а в 2025-м — до 55%», — рассказывает Дмитрий Рузанов, руководитель продвинутой аналитики в Альфа-Банке. Естественно, возникла идея автоматизировать этот процесс.

В течение 2022–2023 годов в Альфа-Банке появилась новая инфраструктура для машинного обучения. Во-первых, единая среда исполнения моделей (СИМ), облегчающая их внедрение. Во-вторых, платформа для разработки моделей — Model Development Platform или MDP. Но самое главное, в связи с резким ростом источников и количества данных в Альфе создали автоматическую систему их поставки. В ней есть две важные подсистемы, без которых никакая автоматизация переобучения в принципе невозможна. Это Feature Store, где все поступающие данные автоматически обрабатываются и из них выделяется список фичей. Сейчас их около 12 000. Фичи организованы в лонглисты по группам клиентов, и любая модель может «заглянуть» в соответствующий список при необходимости переобучения.

Вторая подсистема — Target Store. В ней аккумулируются все возможные целевые события, то есть что именно той или иной модели необходимо предсказать. Соответственно, здесь модель «уточняет» свою задачу при переобучении. Кроме того, параллельно команда собрала и обработала экспертизу аналитиков данных банка. Благодаря этому удалось выработать общие критерии — когда и в каких случаях модель нужно отправлять на переобучение.

Как это делают в Альфа-Банке

Чтобы понять, как себя «чувствует» модель, необходимо регулярно следить за эффективностью ее работы. Специалисты Альфа-Банка построили систему, которая постоянно собирает прогнозы большинства работающих моделей и сравнивает их с фактическим положением вещей. Возвращаясь к примеру, на протяжении полугода модель точно определяет 8–9 из 10 потенциальных покупателей кредитных карт с привилегиями. Однако в какой-то момент показатель падает до 7–8, а затем и вовсе до 6–7. Система мониторинга фиксирует деградацию модели, и далее включается петля обратной связи. Это центральное понятие кибернетики, разработанное ее основоположником Норбертом Винером. Это информация, полученная внутри системы для изменения ее поведения.

На этом принципе работают даже кондиционеры у нас дома. Например, мы хотим, чтобы температура была 20 градусов по Цельсию. Поэтому в жаркий полдень включаем кондиционер. Термометр внутри него сообщает процессору, что температура в комнате 28 градусов. Он начинает интенсивно охлаждать воздух, пока температура не упадет до требуемых 20 градусов, после чего замедляет работу. Когда температура вновь начинает подниматься, кондиционер опять принимается за работу. И так весь день.

Иными словами, охлаждение запускается не по заранее заданной программе и не из-за изменения внешних условий, а при условии разности между желаемым и действительным значением температуры в комнате. Поведение кондиционера адаптивно и управляется постоянной обратной связью. Точно так же работает особый алгоритм-контроллер. Получив от системы мониторинга предупреждение о снижении эффективности модели, он оценивает, насколько критично оно упало. Если показатель неприемлем, то запускается цикл автоматического переобучения.

В этот момент подключаются другие алгоритмы, которые забирают новые данные из Feature Store и необходимое целевое событие из Target Store. После чего модель обучается на этих данных и выявляет новые закономерности. Далее запускается инференс модели и проверяется ее работоспособность. Здесь в Альфа-Банке применяют решения с открытым исходным кодом с рынка — AutoGluon. В этот момент в системе присутствуют одновременно две модели — старая и новая. Если насчет первой система точно знает, что ее качество неудовлетворительно, то работу второй еще требуется оценить. Для этого существует отдельная программа «Врата качества», или quality gate. Она сравнивает показатели эффективности обоих вариантов модели. Если качество новой модели оказывается выше, то она уходит на исполнение, а старая откатывается в архив.

Особенности и результаты системы переобучения моделей Альфа-Банка

Retrainable AutoML Framework имеет три характеристики, которых нет среди других решений по автоматизации машинного обучения в России, считают в банке. Во-первых, это система постоянного мониторинга моделей, работающих в промышленных системах и обратной связи.

Во-вторых, сквозной процесс автоматизации — от выделения фичей до бесшовной замены старой модели на новую в работающей бизнес-системе с минимальным участием человека в принятии решений. Но самое главное, переобученная модель сразу выкатывается в промышленную систему без необходимости возвращать ее в среду разработки. «Нам пришлось сильно постараться, чтобы поменять регламент в банке. Убедить всех в необходимости такой системы. Но в итоге нам удалось создать, как мы его называем, «Пайплайн 3.0». Суть в том, что раньше мы собирали образ модели в среде разработки, отправляли его в хранилище образов, извлекали для каждого этапа, и вновь пересобрать его можно было только в среде разработки. А теперь у нас есть отдельно универсальный образ, есть сама модель и есть архив с окружением (Python-библиотеки и их зависимости). Поэтому прямо в промышленной системе в процессе исполнения мы собираем образ для инференса и можем подменить старую модель на новую», — рассказывает Марк Кузнецов, руководитель центра развития MLOps-практик в Альфа-Банке.

Внедрение Retrainable AutoML Framework повысило среднегодовое качество моделей на 5–7%. Без использования переобучения точность прогнозов моделей начинает радикально падать через полгода использования. Регулярный мониторинг и своевременное переобучение возвращают метрики на исходный уровень. Обычно требуется 2–3 таких процедуры в год. Прогнозируемый финансовый эффект на 2024 год — экономия 200 млн рублей. «Система уже отлично зарекомендовала себя. Поэтому сейчас мы масштабируем ее применение в банке. Основная цель — перевести к первому кварталу 2025 года на автоматическое переобучение до 70% всех работающих моделей машинного обучения в банке», — говорит Константин Четин, руководитель разработки моделей клиентской базы ММБ в Альфа-Банке.