Российские суперкомпьютеры для искусственного интеллекта

Тем искусственного интеллекта как в мире, так и в России не теряет актуальности по сей день. Анонс федерального проекта «Искусственный интеллект» в рамках Национального проекта «Экономика данных и цифровая трансформация государства» лишний раз это подтверждает. В числе важных проблем, стоящих перед государством, было отмечено отсутствие необходимой вычислительной инфраструктуры для искусственного интеллекта (ИИ).

Для исправления сложившейся ситуации в сфере ИИ и развития российской ИТ-отрасли в целом на 2025-2030 годы в числе прочих были определены следующие задачи:

1. Кратное увеличение объема вычислительных мощностей в сфере ИИ от текущей отметки 0,1 Экзафлопс.
2. Значительный рост количества высококвалифицированных специалистов в сфере ИИ. Дефицит кадров планируется решать обучением 5 тыс. студентов по профильным инновационным программам. Также в планах проведение 60 хакатонов.

Зачем и где нужен искусственный интеллект?

Наука и университеты. Искусственный интеллект активно развивается в научной среде и высшем образовании, так как государство поддерживает научные сообщества грантами и форматом государственно-частного партнерства.

Промышленность. Как правило, промышленные предприятия пользуются заказной разработкой и услугами специалистов в области ИИ, привлекаемых из сторонних организаций.

Банки, телеком, транспорт, маркетинг. В 2024 году прошло много тендеров на серверы с видеокартами под нужды ИИ в банковской сфере, телекоме, транспорте, государственном секторе. Следует ожидать дальнейшего повышения спроса.

Медицина. По всем прогнозам, использование искусственного интеллекта в медицинской отрасли должно дать наибольший вау-эффект от внедрения, так как именно это скажется на продолжительности и качестве жизни населения.

Госструктуры. Использование искусственного интеллекта для видеоаналитики в целях повышения безопасности общественной среды, анализа качества и загруженности дорог, профилактики ДТП, помощи в аналитике и прогнозировании чрезвычайных ситуаций/преступлений.

Проблемы развития искусственного интеллекта в России

1. Отсутствие обширной высоконагруженной инфраструктуры. Ее нет ни в государственном, ни в частном секторе. Вариант решение проблемы — использование облаков. На при таком варианте неизбежен вопрос — чью нейросеть мы обогащаем и обучаем собственными базами данных, и насколько эти базы данных защищены.
2. Зависимость от Nvidia. Видеокарты A100 и H100 технологически и функционально созданы для работы с искусственных интеллектом, а специализированный софт Nvidia демонстрируют неизменно высокое качество. Но так как Россия сильна программистами, то создание собственного продукта, позволяющего распараллеливать задачи для сложных вычислений, является вопросом времени. В пользу этого процесса играют и санкционные риски, так как есть вероятность, что со временем Nvidia станет невозможно купить или активировать программную часть.
3. Нехватка кадров для развития прогностических моделей ИИ, а также их недостаточная синергия с бизнесом и практикоориентированность.

Направления развития российского рынка железа для ИИ

Для работы с большими данными нужен фундамент — инфраструктура. Таким фундаментом для искусственного интеллекта является сервер с сопроцессорами — видеокартами. В начале 2024 года на Реестровом рынке железа не было подходящих для этого решений — только с 1-2 видеокартами. Под конец года появились варианты исполнения серверов с 4-8 видеокартами.

В дальнейшем ожидается развитие в следующих направлениях:

• Развитие в направление программно-аппаратных комплексов (ПАК). Российские заказчики хотят получать под ключ оборудование hi-end класса и не думать о совместимости софта и железа. Реестр минпромторга наполняется ПАКами и это — тренд 2025 года.
• Программные средства, решающие трудности с видеокартами.

Особенности архитектуры суперкомпьютеров

Архитектура суперкомпьютера представляет собой кластер с вычислениями на процессорах и сопроцессорах — видеокартах.

Современные российские суперкомпьютеры состоят из шести модулей:

1. Управляющий узел из двухпроцессорных серверов Gen 4/5.
2. Вычислительные узлы. Рекомендуется использовать гибридное исполнение — серверы без GPU и серверы с 2-4 видеокартами.
3. Коммутаторы. Высокоскоростное соединение Ethernet 25G/100G в коммутаторах ядра SAN и коммутаторы внутренней сети InfiniBand.
4. Система хранения данных.
5. Система резервного копирования.
6. Инженерная инфраструктура (шкафы, холодоснабжение, пожаротушение, источники бесперебойного питания, система безопасности и др.)

Железо для суперкомпьютеров

Видеокарты. В настоящее время лучше всего для суперкомпьютеров подходят видеокарты Nvidia Н100 и А100.

Процессоры. В российских суперкомпьютерах предпочтение отдается процессорам Gen4 и Gen5 в составе кластера. Общие преимущества таких процессоров:

• Увеличенное количество ядер и объема кеша L3.
• Скорость передачи данных ОЗУ DDR5 до 5600 МТ/с.
• Возможность установки плат стандарта PCI-E5.0 и CXL.
• Интеграция в процессоры Gen 4/5 технологии Advanced Matrix Extension (AMX), которая обеспечивает многократный (от 8 до 14 раз) прирост вычислительной мощности в задачах ИИ.

• Технология гибкой настройки производительности SST-PP (SpeedSelect), которая позволяет гибко настраивать производительность. Процессоры с такой технологией имеют несколько преднастроенных профилей, каждый из которых задает количество активных ядер и базовую частоту процессора. Это позволяет иметь множество одинаковых серверов, конфигурируемых под текущие задачи.

Коммутаторы. Несмотря на то, что все результаты вычисления либо файловые, либо RAW (объекты) для коммутации используется Infiniband — блочный протокол. Он выбран как стандарт внутрикластерной сети в связи с меньшими задержками. Это действительно так и вот почему — несмотря на то, что инкапсуляция IP-стека в Infiniband вносит бóльшие задержки, чем тот же процесс в Ethernet, в Ethernet тратится куда больше времени на обработку пакетов в самих коммутаторах. По итогу общие показатели задержки у Infiniband оказываются ниже, чем в Ethernet. Поэтому, несмотря на всеобщее применение Ethernet для внутренней сети суперкомпьютеров, большинство суперкомпьютеров, представленных в топ-100, построены на Infiniband.

Это интересно!

Подсчет вычислительной производительности суперкомпьютеров

К подсчету вычислительной производительности суперкомпьютеров есть два подхода — расчет производительности процессоров и расчет производительности видеокарт.

Для видеокарт берутся табличные значения производительности. Правда, следует учитывать, что этот показатель посчитан с разной точностью — от BF16 до FP64.

• Для больших языковых моделей (LLM) хватает BF16-FP16 (ChatGPT).
• Для повседневных задач, включая рендеринг графики, обработку изображений и обучение нейросетей используется в основном FP32.
• В случае, если предусмотрено дальнейшее дообучение системы, то следует выбирать максимальные значения точности FP64.

Для процессоров используются формула вычисления FP64 = F × n × p×10^-6,  где F — тактовая частота процессора, n — количество ядер, p — количество операций с плавающей запятой за такт.

Важный момент: «р» у процессоров серии Ice Lake, Sapphire Rapids, и Emerald Rapids не равен стандартным 4, как для десктопных процессоров. р = 32 операции для двойной четности и 64 — для одинарной четности.

Например, у процессора P8462Y FP64 = 2800МГц*32*32*2/1000000 = 5.7344 для одного двухпроцессорного сервера с без GPU.

В серверах с GPU TFlops считаются как сумма вычислительных мощностей CPU+GPU.

Области применения суперкомпьютеров

Компьютерное зрение. Анализ поведения людей, технический контроль, алгоритмы обнаружения аномалий.

Обработка текста. Распознавание запроса для поиска информации. Уже сейчас появились новые профессии и обучающие программы на промт-менеджеров и промт-инженеров.

Синтез речи. Обработка голосовых запросов пользователей.

Принятие решения. Предиктивная аналитика, рекомендации по управлению, прогнозирование.

Новые методы ИИ. Робототехника, сенсорика.

Цифровые двойники. Машиностроение, градостроительство, транспорт, экология и медицина.

Выводы

ИТ-отрасль России в настоящее время испытывает мощный подъем, несмотря на санкции и даже благодаря им. Ее развитие подстегнул процесс импортозамещения. Некоторое отставание компенсируется со временем, чему в немалой степени помогут принятые государством программы, направленные на стимулирование ИТ-сферы.

Искусственный интеллект — одно из перспективных и востребованных направлений развития. И это учитывается в федеральном проекте «Искусственный интеллект».

Современной базой для суперкомпьютеров для ИИ являются серверы на процессорах Gen 4/5, в составе которых насчитывается до четырех видеокарт. Такие решения уже есть в реестровом исполнении на отечественном рынке. Проблемы, связанные с импортными видеокартами, в перспективе планируется решать с помощью отечественного программного обеспечения.

За помощью в выборе решений для ИИ и консультациями по актуальным технологиям обращайтесь к Юлии Кальмаевой по email: Yuliya.kalmaeva@softline.com.