Российские суперкомпьютеры для искусственного интеллекта
Менеджер департамента аппаратной архитектуры Softline
Тем искусственного интеллекта как в мире, так и в России не теряет актуальности по сей день. Анонс федерального проекта «Искусственный интеллект» в рамках Национального проекта «Экономика данных и цифровая трансформация государства» лишний раз это подтверждает. В числе важных проблем, стоящих перед государством, было отмечено отсутствие необходимой вычислительной инфраструктуры для искусственного интеллекта (ИИ).
Для исправления сложившейся ситуации в сфере ИИ и развития российской ИТ-отрасли в целом на 2025-2030 годы в числе прочих были определены следующие задачи:
- Кратное увеличение объема вычислительных мощностей в сфере ИИ от текущей отметки 0,1 Экзафлопс.
- Значительный рост количества высококвалифицированных специалистов в сфере ИИ. Дефицит кадров планируется решать обучением 5 тыс. студентов по профильным инновационным программам. Также в планах проведение 60 хакатонов.
Зачем и где нужен искусственный интеллект?
Наука и университеты. Искусственный интеллект активно развивается в научной среде и высшем образовании, так как государство поддерживает научные сообщества грантами и форматом государственно-частного партнерства.
Промышленность. Как правило, промышленные предприятия пользуются заказной разработкой и услугами специалистов в области ИИ, привлекаемых из сторонних организаций.
Банки, телеком, транспорт, маркетинг. В 2024 году прошло много тендеров на серверы с видеокартами под нужды ИИ в банковской сфере, телекоме, транспорте, государственном секторе. Следует ожидать дальнейшего повышения спроса.
Медицина. По всем прогнозам, использование искусственного интеллекта в медицинской отрасли должно дать наибольший вау-эффект от внедрения, так как именно это скажется на продолжительности и качестве жизни населения.
Госструктуры. Использование искусственного интеллекта для видеоаналитики в целях повышения безопасности общественной среды, анализа качества и загруженности дорог, профилактики ДТП, помощи в аналитике и прогнозировании чрезвычайных ситуаций/преступлений.
Проблемы развития искусственного интеллекта в России
- Отсутствие обширной высоконагруженной инфраструктуры. Ее нет ни в государственном, ни в частном секторе. Вариант решение проблемы — использование облаков. На при таком варианте неизбежен вопрос — чью нейросеть мы обогащаем и обучаем собственными базами данных, и насколько эти базы данных защищены.
- Зависимость от Nvidia. Видеокарты A100 и H100 технологически и функционально созданы для работы с искусственных интеллектом, а специализированный софт Nvidia демонстрируют неизменно высокое качество. Но так как Россия сильна программистами, то создание собственного продукта, позволяющего распараллеливать задачи для сложных вычислений, является вопросом времени. В пользу этого процесса играют и санкционные риски, так как есть вероятность, что со временем Nvidia станет невозможно купить или активировать программную часть.
- Нехватка кадров для развития прогностических моделей ИИ, а также их недостаточная синергия с бизнесом и практикоориентированность.
Направления развития российского рынка железа для ИИ
Для работы с большими данными нужен фундамент — инфраструктура. Таким фундаментом для искусственного интеллекта является сервер с сопроцессорами — видеокартами. В начале 2024 года на Реестровом рынке железа не было подходящих для этого решений — только с 1-2 видеокартами. Под конец года появились варианты исполнения серверов с 4-8 видеокартами.
В дальнейшем ожидается развитие в следующих направлениях:
- Развитие в направление программно-аппаратных комплексов (ПАК). Российские заказчики хотят получать под ключ оборудование hi-end класса и не думать о совместимости софта и железа. Реестр минпромторга наполняется ПАКами и это — тренд 2025 года.
- Программные средства, решающие трудности с видеокартами.
Особенности архитектуры суперкомпьютеров
Архитектура суперкомпьютера представляет собой кластер с вычислениями на процессорах и сопроцессорах — видеокартах.
Современные российские суперкомпьютеры состоят из шести модулей:
- Управляющий узел из двухпроцессорных серверов Gen 4/5.
- Вычислительные узлы. Рекомендуется использовать гибридное исполнение — серверы без GPU и серверы с 2-4 видеокартами.
- Коммутаторы. Высокоскоростное соединение Ethernet 25G/100G в коммутаторах ядра SAN и коммутаторы внутренней сети InfiniBand.
- Система хранения данных.
- Система резервного копирования.
- Инженерная инфраструктура (шкафы, холодоснабжение, пожаротушение, источники бесперебойного питания, система безопасности и др.)
Железо для суперкомпьютеров
Видеокарты. В настоящее время лучше всего для суперкомпьютеров подходят видеокарты Nvidia Н100 и А100.
Процессоры. В российских суперкомпьютерах предпочтение отдается процессорам Gen4 и Gen5 в составе кластера. Общие преимущества таких процессоров:
- Увеличенное количество ядер и объема кеша L3.
- Скорость передачи данных ОЗУ DDR5 до 5600 МТ/с.
- Возможность установки плат стандарта PCI-E5.0 и CXL.
- Интеграция в процессоры Gen 4/5 технологии Advanced Matrix Extension (AMX), которая обеспечивает многократный (от 8 до 14 раз) прирост вычислительной мощности в задачах ИИ.
- Технология гибкой настройки производительности SST-PP (SpeedSelect), которая позволяет гибко настраивать производительность. Процессоры с такой технологией имеют несколько преднастроенных профилей, каждый из которых задает количество активных ядер и базовую частоту процессора. Это позволяет иметь множество одинаковых серверов, конфигурируемых под текущие задачи.
Коммутаторы. Несмотря на то, что все результаты вычисления либо файловые, либо RAW (объекты) для коммутации используется Infiniband — блочный протокол. Он выбран как стандарт внутрикластерной сети в связи с меньшими задержками. Это действительно так и вот почему — несмотря на то, что инкапсуляция IP-стека в Infiniband вносит бóльшие задержки, чем тот же процесс в Ethernet, в Ethernet тратится куда больше времени на обработку пакетов в самих коммутаторах. По итогу общие показатели задержки у Infiniband оказываются ниже, чем в Ethernet. Поэтому, несмотря на всеобщее применение Ethernet для внутренней сети суперкомпьютеров, большинство суперкомпьютеров, представленных в топ-100, построены на Infiniband.
Это интересно!Подсчет вычислительной производительности суперкомпьютеров
К подсчету вычислительной производительности суперкомпьютеров есть два подхода — расчет производительности процессоров и расчет производительности видеокарт.
Для видеокарт берутся табличные значения производительности. Правда, следует учитывать, что этот показатель посчитан с разной точностью — от BF16 до FP64.
- Для больших языковых моделей (LLM) хватает BF16-FP16 (ChatGPT).
- Для повседневных задач, включая рендеринг графики, обработку изображений и обучение нейросетей используется в основном FP32.
- В случае, если предусмотрено дальнейшее дообучение системы, то следует выбирать максимальные значения точности FP64.
Для процессоров используются формула вычисления FP64 = F × n × p×10-6, где F — тактовая частота процессора, n — количество ядер, p — количество операций с плавающей запятой за такт.
Важный момент: «р» у процессоров серии Ice Lake, Sapphire Rapids, и Emerald Rapids не равен стандартным 4, как для десктопных процессоров. р = 32 операции для двойной четности и 64 — для одинарной четности.
Например, у процессора P8462Y FP64 = 2800МГц*32*32*2/1000000 = 5.7344 для одного двухпроцессорного сервера с без GPU.
В серверах с GPU TFlops считаются как сумма вычислительных мощностей CPU+GPU.
Области применения суперкомпьютеров
Компьютерное зрение. Анализ поведения людей, технический контроль, алгоритмы обнаружения аномалий.
Обработка текста. Распознавание запроса для поиска информации. Уже сейчас появились новые профессии и обучающие программы на промт-менеджеров и промт-инженеров.
Синтез речи. Обработка голосовых запросов пользователей.
Принятие решения. Предиктивная аналитика, рекомендации по управлению, прогнозирование.
Новые методы ИИ. Робототехника, сенсорика.
Цифровые двойники. Машиностроение, градостроительство, транспорт, экология и медицина.
Выводы
ИТ-отрасль России в настоящее время испытывает мощный подъем, несмотря на санкции и даже благодаря им. Ее развитие подстегнул процесс импортозамещения. Некоторое отставание компенсируется со временем, чему в немалой степени помогут принятые государством программы, направленные на стимулирование ИТ-сферы.
Искусственный интеллект — одно из перспективных и востребованных направлений развития. И это учитывается в федеральном проекте «Искусственный интеллект».
Современной базой для суперкомпьютеров для ИИ являются серверы на процессорах Gen 4/5, в составе которых насчитывается до четырех видеокарт. Такие решения уже есть в реестровом исполнении на отечественном рынке. Проблемы, связанные с импортными видеокартами, в перспективе планируется решать с помощью отечественного программного обеспечения.
За помощью в выборе решений для ИИ и консультациями по актуальным технологиям обращайтесь к Юлии Кальмаевой по email: Yuliya.kalmaeva@softline.com.
