Почему падал Сбербанк: его электронную систему рушила служебная программа

Вечером 17 декабря 2012 года держатели карт Сбербанка не могли расплатиться ими в магазинах и ресторанах, банкоматы в отделениях не работали, некоторые перезагружались, остальные просто выдавали сообщение о невозможности проведения операций. Через час проблема была решена, и осталась практически незамеченной — газеты написали небольшие сообщения, а еще через день история забылась. Внутри Сбербанка проблема выглядела совсем по-другому. Глава крупнейшего банка страны Герман Греф лично приехал в офис, чтобы заняться поиском ошибки в новейшем оборудовании, только-только начавшем работать в полную силу, рассказывают сотрудники Сбербанка.

К этому моменту Сбербанк уже четвертый год занимался централизацией бизнес-процессов. У банка 350 млн счетов, по которым совершается 160 млн транзакций ежедневно, 35 000 транзакций в минуту. Объединение и централизация всех процессов требовало все больше и больше вычислительных ресурсов. Собеседник Forbes в руководстве госбанка, согласившийся рассказать, как все было, ставит одну бутылку с водой на другую, показывая, что именно они делали внутри банка.

«Ресурсы, которые были на тот момент, нас не удовлетворяли, потому что, если поставишь следующий модуль, все развалится», — говорит он и водружает четвертую бутылку наверх пирамиды. Бутылка падает.

«Мы пришли к тому, что надо менять инфраструктуру», — резюмирует менеджер банка.

Сбербанк изучил имеющиеся предложения на рынке и пришел к выводу, что готовой системы нет ни у одного производителя. Было решено купить серверы у IBM, на них установили программное обеспечение Oracle, которая, по мнению Сбербанка, производит лучшую систему управления базами данных. К этом прибавили программы от Symantec и дисковые массивы Hewlett Packard. Все программы и оборудование были самыми последними, новейшими разработками. Только за 9 месяцев прошлого года Сбербанк потратил на IT 31,2 млрд рублей, еще 26,8 млрд рублей за 2011 год — это крупнейший IT-бюджет среди всех российских банков.

«У нас было все самое лучшее, но когда оно начало работать вместе, то стало выдавать странности», — говорит собеседник Forbes, отмечая, что сбоев было гораздо больше, чем видели клиенты, — за прошлый год у Сбербанка было 8 крупных сбоев, не считая проблем в регионах.

Но откатить все назад Сбербанк не мог, надо было двигаться вперед, решая проблемы одну за другой. «Две лаборатории IBM и одна Oracle весь год работали только на нас, IBM поставила нам 20 серверов бесплатно, с условием, что мы расплатимся, когда перестанет сбоить, Oracle прислал лучших «архитекторов», — вспоминает собеседник Forbes.

Система продолжала сбоить, в частности, крупный сбой случился 6 июня, когда клиенты банка 3 часа не могли ни расплатиться своими картами, ни снять деньги. По словам топ-менеджера, банк увидел проблему еще в ноябре 2011 года, тогда же стало понятно, что она может привести к серьезному падению. После этого было принято решение снизить мощность системы. «Но хотелось запустить на полную мощность, и 27 июня 2012 года это случилось: мы опустили флажок и все полетело так быстро, что мы не могли нарадоваться. А 6 июля все, что «летало», разбилось в один момент — за 10 минут, мы даже не успели отреагировать», — вспоминает собеседник Forbes. Все настройки опять вернули к первоначальным, десять дней система проработала нормально, но на 11-й снова упала. Ошибку искали полгода и наконец нашли. Что это была за ошибка, Сбербанк не раскрывает, ссылаясь на соглашение с вендорами. Со слов менеджера банка известно лишь, что это был сбой в системе управления базами данных.

Oracle, поставлявший Сбербанку программное обеспечение, не ответил на запрос Forbes.

Новый сбой случился в декабре 2012 года. В субботу, 15 декабря, в 22:10 перестал работать процессинг. Сбербанк простоял около часа, но этого, по уверениям собеседника Forbes, почти никто не заметил. Кроме, видимо, Грефа, который как и два дня спустя приезжал лично разбираться с проблемой. Поставщики программного обеспечения получили «логи» — записи, сделанные системой в момент падения, — но ошибку найти не смогли. Сбербанк отключил систему и снова ее включил — это как раз и заняло примерно час. Оператор видит, что нагрузка начинает расти по экспоненте, а еще через какое-то время система становится настолько занятой своими внутренними процессами, что перестает реагировать на оператора. И в этот момент ее можно только выключить и снова включить, это и есть время простоя. Так и сделали в тот раз, рассказывает собеседник Forbes.

Прошло два дня. В понедельник, 17 декабря, и опять в 22:10 процессинг вновь остановился. И снова Греф примчался на работу среди ночи, чтобы возглавить поиск «бага». Но тут Сбербанку повезло — сотрудник японской компании Hitachi обнаружил, что ровно в 22:10 внутри системы запускается процедура оптимизации дискового пространства от Symantec. Вообще-то эта программа запускалась каждый день, но обычно она просто «просыпалась», смотрела вокруг, видела, что оптимизировать нечего, и «засыпала» вновь. Однако накануне субботы, 15 декабря, Сбербанк решал другую проблему с базами данных, и программа Symantec, «проснувшись», обнаружила возможности оптимизации, которую и запустила. Но программа вступила в конфликт с таким же софтом от другого поставщика — Hewlett Packard — и обрушила систему.

В Symantec отказались от комментариев.

Обнаруживший ошибку российский программист из японской компании получил в награду часы Сбербанка, а глава банка Герман Греф извлек урок. В январе этого года он предложил вывести ответственного за автоматизацию Сбербанка старшего вице-президента Виктора Орловского из правления банка, заниматься информационными системами будет другой человек — Вадим Кулик, отвечающий за риски. Орловский же сосредоточится на инновационных проектах и венчурном фонде.

И еще Сбербанк начинает экономить на IT — в 2013 году бюджет на эти нужды впервые будет дефицитным.

Пресс-служба Сбербанка на момент сдачи материала комментарии предоставить не смогла.