Суперкомпьютер отделившегося от «Яндекса» проекта Nebius вошел в мировой топ-500
Новичок в классе
Проект Top500 обновил рейтинг самых мощных известных вычислительных устройств мира. Впервые в него попал суперкомпьютер ISEG от отколовшегося от «Яндекса» и не афиширующего свое происхождение международного разработчика облачных сервисов — нидерландской компании Nebius, причем сразу на 16-е место. Руководит проектом Nebius, который располагается в Израиле, Роман Чернин, возглавлявший ранее в «Яндексе» направление геосервисов.
«Как мы туда попали [в Top500]? Наша команда разработчиков с большим энтузиазмом отнеслась к тестированию той части нашей новой облачной платформы, которая на тот момент была свободна от рабочей нагрузки клиентов, — говорится в аккаунте Nebuis в LinkedIn. — Для этой цели они использовали бенчмарк из Top500. Теперь вы можете использовать часть суперкомпьютера Nebius AI для своих проектов в области искусственного интеллекта». На запрос Forbes в Nebius не ответили.
Неудивительно, что запустившийся в начале года стартап Nebius в этом же году создал свой суперкомпьютер, отмечает в разговоре с Forbes менеджер технологичной компании, знакомый с процессом создания суперкомпьютеров. К примеру, Сбербанк создал свой суперкомпьютер за три-четыре месяца, указывает собеседник Forbes. Разработка Nebius, по его словам, может быть востребована в том числе и в «Яндексе», допускает он. «У компании в Израиле находится большое подразделение (офис «Яндекса» в Израиле работает с 2014 года. – Forbes), логично было бы предположить, что им тоже нужен суперкомпьютер», — полагает собеседник Forbes.
Как заявили Forbes в «Яндексе», в процессе создания суперкомпьютера ISEG интеллектуальная собственность «Яндекса» и технологии не использовались. «В первую очередь потому, что они там не требуются. Тестирование суперкомпьютера для рейтинга проводилось на «голом железе». Специальное ПО потребуется только для реального использования суперкомпьютера (обучение моделей, хранение данных и т. д.), — подчеркнули там. — В таком случае Nebius может использовать как собственное, так и любое из доступных решений с открытым кодом. Что именно они будут использовать, нам неизвестно».
«Система Nebius потенциально имела шансы появиться в России, это потерянная возможность», — так прокомментировал вхождение в Tор500 стартапа Nebius главный научный сотрудник, директор Исследовательского центра мультипроцессорных систем Института программных систем им. А. К. Айламазяна Российской академии наук, член-корреспондент РАН, сокоординатор Национальной суперкомпьютерной технологической платформы Сергей Абрамов (включен в перечень террористов и экстремистов).
Два года назад Абрамов оценивал затраты на создание только одного суперкомпьютера «Яндекса «Червоненкис» в $7–10 млн. «В условиях параллельного импорта все суммы надо умножать от полутора до двух раз в лучшем случае», — говорит ученый сейчас. Таким образом, приблизительные расходы на создание аналогичной «Червоненкису» машины составили бы $10,5-20 млн. По словам Сергея Абрамова, для создания «серьезных систем» требуется тесная кооперация с мировыми производителями процессоров, ускорителей, интерконнекта. «Для этого нужна серьезная прямая инженерная поддержка, «горячие линии», дистанционные консультации по электронной почте. В условиях санкций можно завезти в страну «железо», но как получить техническую поддержку — непонятно. С тобой просто не будут разговаривать», — рассуждает ученый.
Что такое суперкомпьютеры и для чего они нужны
Top500 — это рейтинг самых мощных компьютеров по своей вычислительной способности, поясняет популяризатор науки, издатель N+1 Андрей Коняев, подчеркнув, что сборка суперкомпьютера — дорогостоящий проект, но не вопрос технических сложностей и достижений. «Суперкомпьютер предназначен для проведения вычислений. По сути, это множество видеокарт, объединенных в систему и позволяющих проделывать за час тот объем вычислений, который обычный компьютер делал бы лет 10», — говорит он.
Суперкомпьютером называют вычислительную машину, которая выполняет операции одновременно, в то время как обычный ПК делает это последовательно, хоть и настолько быстро, что процесс не заметен человеческому глазу, говорит СЕО Института AIRI и профессор Сколтеха Иван Оселедец. Производительность суперкомпьютеров обычно измеряется во «флопсах» (FLOPS, Floating Point Operations Per Second). «Этот показатель можно сравнить со спидометром в автомобиле, только вместо скорости в км/ч он показывает количество математических вычислений, которые компьютер может выполнить за одну секунду. Чем больше флопс, тем более быстрым и мощным суперкомпьютер считается в стандартном представлении», — продолжает Оселедец.
Показатели мощности делятся на пиковые и реальные. Обычно их определяют на тесте под названием Linpack, который предполагает решение большой линейной системы. Однако этот результат не всегда показателен, говорит эксперт. «Например, когда поставленная перед компьютером задача не сводится к перемножениям больших матриц. Скажем, задача прогнозирования погодных условий включает в себя решение сложных дифференциальных уравнений, моделирующих физику земной атмосферы, поверхности суши и океанов. К этому же классу относится множество актуальных задач в области обучения больших моделей ИИ», — сказал Оселедец.
Спектр применения суперкомпьютеров всегда связан с массивными математическими вычислениями, но не все типы операций и архитектур работают одинаково, и при качественной оценке машин важно обращать внимание на их пригодность для работы в той или иной сфере. Не стоит забывать и о таких факторах, как энергоэффективность и экономичность, резюмирует Оселедец. Список областей применения таких систем довольно обширен: физика высоких энергий, криптография, статистика, химия, биология, медицина, гидродинамика и т. д.
Крутое пике
Top500 суперкомпьютеров публикуется с 1993 года дважды в год — в июне и ноябре. При его составлении исследователи из США оценивают производительность суперкомпьютеров по результатам теста Linpack, в ходе которого машина решает систему линейных уравнений.
В новом рейтинге всего также семь суперкомпьютеров из России. Все представленные российские системы двигаются по нисходящей. Так, на 36-е место списка с 27-го опустился суперкомпьютер Chervonenkis, который продолжает оставаться самым мощным в России, на 58-е с 46-го — Galushkin, на 64-е с 52-го — Lyapunov (все три от «Яндекса»). Как объясняли ранее в «Яндексе», «Ляпунова» компания использует с конца 2020 года, а «Червоненкиса» и «Галушкина» — с лета 2021-го: «Например, благодаря им «Переводчик» точнее и быстрее переводит, «Поиск» — составляет и ранжирует быстрые ответы, а «Алиса» — поддерживает диалог с пользователем».
На 67-е место с 55-го упал суперкомпьютер «Кристофари Нео», на 119-е место с 96-го – «Кристофари» (оба — от «Сбера»). «Сбер» ранее сообщал, что задействует суперкомпьютеры для обучения ИИ и для создания и развития внутренних сервисов своей экосистемы. На 370-е место с 329-го опустился суперкомпьютер «Ломоносов-2» производства компании «Т-Платформы», установленный в Научно-исследовательском вычислительном центре МГУ. 433-е место занял суперкомпьютер MTS GROM, установленный в CloudMTS и полгода назад занимавший 391-ю позицию.
«Ввиду изменения рынка российские суперкомпьютеры обновляются постепенно в отличие от зарубежных», — поясняет нисходящую динамику отечественных систем в рейтинге источник, близкий к одному из его участников. В целом многие компании, которые владеют суперкомпьютерами, уже не рассматривают эти международные рейтинги из-за санкционной политики, утверждает собеседник Forbes.
«Компания использует все свои суперкомпьютеры для различных сервисов, в том числе для обучения модели YandexGPT, — сообщили в «Яндексе». — Изменение места в рейтинге связано с тем, что мы не проводили новые замеры для Top500, так как для проведения тестов необходимо остановить все рабочие процессы обучения моделей на суперкомпьютерах. Поэтому организаторы использовали наши старые данные от ноября 2021 года».
«В мире подъем строительства суперкомпьютеров, появляются новые игроки, мировой рынок становится все более конкурентным. В России всего три частных компании обладают такой инфраструктурой, среди них — МТС, — заявили Forbes в компании, добавив, что МТС GROM сейчас в основном используется для решения внутренних задач экосистемы. — В частности, его эксплуатирует центр Big Data и дочерняя компания VisionLabs — поставщик систем умной видеоаналитики. МТС развивает собственную AI-инфраструктуру, постепенно вводя новые мощности, ориентируясь не на рейтинги, а на бизнес-задачи внутреннего и внешнего клиента». Развитие российского сегмента осложнилось логистическими сбоями и уходом из страны вендоров, указывают в МТС, констатируя, что текущей инфраструктуры недостаточно: «МТС как AI-ориентированная экосистема планирует развивать инфраструктуру и наращивать мощности суперкомпьютера».
Выдавливают на обочину
В целом на мировом рынке суперкомпьютеров растет конкуренция между американскими и китайскими производителями, отмечает Сергей Абрамов. Уже в ноябре 2022 года, по его оценке, китайские компании держали больше 50% всех систем в списке Тор500. Речь идет о более чем 50% контрактов на разработку суперкомпьютеров, но не 50% суммарной мировой производительности или стоимости систем в Тор500, уточнил ученый.
Однако российские компании сейчас по официальным каналам не в состоянии приобрести самые мощные вычислительные системы, поэтому они остались в рейтинге на том уровне, который был до начала операции, комментирует источник Forbes в IT-отрасли. Потерю российскими компаниями прежних позиций в рейтинге он называет «естественным результатом санкций». После того как американские корпорации ушли из России, оставшиеся в стране компании не имеют «объективных технологических возможностей выступать с какими-то новыми результатами» в рейтинге Tор500, уверен собеседник Forbes.
Сейчас в России «очень большие проблемы» в сфере разработки новых суперкомпьютеров, сетует Сергей Абрамов. «При помощи параллельного импорта серьезные машины не делаются. Это очень тяжело, это нужно делать как-то единично, — рассуждает он. — Россия сейчас будет терять машины из Tор500, по старости они будут вываливаться. Новых я с трудом могу ожидать».
Абрамов поясняет, что это связано в том числе со сложностями в разработке отечественных процессоров. «Российские процессорные проекты переживают очень тяжелые времена, потому что они были завязаны на Тайвань. Тайваньские фабрики строго выдерживают санкции и не поставляют российские процессоры. Собственных фабрик нет, и мы эти процессоры на некоторое время, похоже, потеряли», — констатирует ученый. В обозримой перспективе появления публичных российских систем класса Tор500 на отечественных процессорах, по его мнению, не стоит ожидать, в том числе из-за отсутствия ускорителей.
Развитие суперкомпьютеров в России осложняется судебными процессами, в которые вовлечены их разработчики. Компания «Т-Платформы», которая построила суперкомпьютер «Ломоносов-2», в октябре 2022 года была признана банкротом. В рамках конкурсного производства на продажу были выставлены права на разработки и другое имущество, включая миноритарный пакет в капитале компании «Байкал Электроникс». «Байкал Электроникс» создает микропроцессоры «Байкал», в том числе для суперкомпьютеров. В октябре «Байкал Электроникс» стала ответчиком по иску от конкурсного управляющего «Т-Платформы» о взыскании убытков на общую сумму 500,2 млн рублей, говорится в определении Арбитражного суда Москвы от 31 октября 2023 года.