Специальное железо для нейросетей. Роскошь или необходимость?

Розничная торговля – отличный пример отрасли, в которой технологии искусственного интеллекта и аналитики данных применимы и востребованы. Прогнозные модели, нейросети для прикладных задач – все это на практике, а не в теории помогает ритейлерам улучшать ассортимент, планировать складскую логистику и улучшать клиентский опыт. Сегодня мы поговорим о железе, на котором эти интеллектуальные решения работают.

На чем считать ИИ?

Для просчета математических моделей, работы нейросетей, обучения предиктивных систем и т.д. требуются серьезные вычислительные мощности и специальные архитектуры высокопроизводительных программно-аппаратных комплексов. 

Ситуация, когда расчеты занимают часы и даже дни, вполне типичны для этой категории задач. Но для бизнеса это может быть слишком долго и даже опасно, реакция часто должна быть немедленной, а иногда требуются и проактивные меры для сохранения денег, здоровья, ресурсов и т.п.

Первым шагом к ускорению вычислений стало использование графических ускорителей – производительных карт, созданных изначально для графических задач, но показавших высокую эффективность и для других расчетов, не связанных с графикой.

Такие карты устанавливаются в стандартные слоты (например, PCIe). Их можно поставить сразу несколько, и все современные приложения с интенсивными вычислениями умеют их использовать. Существует технология SXM4, когда GPU «расшита» на плате, за счет чего минимизируются задержки передачи данных через шину.

Технологический вклад NVIDIA

Главный мировой разработчик и производитель графических ускорителей – компания NVIDIA. Их флагманский продукт, ускоритель A100, имеет впечатляющие характеристики: 8192 ядер, в том числе тензорные, до 80 ГБ памяти, производительность до 9,7 TFLOPS. 

Узкое место систем с графическими ускорителями - обмен данными. Чтобы эффективно объединить в сеть множество вычислительных процессоров, NVIDIA предложила собственную шину данных NVLink. В новейших версиях она достигает пропускной способности 600 Гбайт/с на один GPU (в 10 раз быстрее, чем PCIe v4). 

Идея получила дальнейшее развитие с появлением коммутатора NVSwitch, способного объединить до 12 шин NVLink и открывающего путь к построению из графических ускорителей мощных и легко масштабируемых вычислительных кластеров.

Компания NVIDIA не была бы лидером в своей области, если не предложила бы собственную реализацию такого кластера – в виде продукта DGX A100.
Это сервер, в котором карточки A100 установлены не в слотах, а «расшиты» на плате и связаны коммутатором NVSwitch. Скоростные сетевые коммутаторы Mellanox (компания в 2020 году куплена NVIDIA) позволяют построить из нескольких DGX A100 кластер и концентрировать в одном месте невероятный объем вычислительных ресурсов.

Чем DGX хороши для задач ИИ?

Замкнутая предсказуемая экосистема. DGX – это не просто сервер, а полноценный программно-аппаратный комплекс. NVIDIA поддерживает огромный ландшафт ПО для обучения нейронных сетей и их штатной эксплуатации и для аналитики данных. Программная часть NVIDIA DGX базируется на мощной аппаратной платформе, которая является самой технологичной в мире.

Компетенции NVIDIA по data science. В NVIDIA по всему миру работают несколько сотен человек, которые обучают нейросети и строят предсказательные модели – разработчики и аналитики. А значит, NVIDIA обладает отличными компетенциями на рынке для поддержки заказчиков, которые занимаются data science и обеспечивает им одну точку входа для решения всех вопросов.

Каталог NGC. В него входит множество готовых решений, оптимизированных для графических процессоров – как собственные разработки NVIDIA, так и разработки партнеров. Это решения для задач искусственного интеллекта, машинного обучения и высокопроизводительных вычислений. Благодаря предварительно обученным моделям искусственного интеллекта и отраслевым SDK, заказчики могут решать свои задачи быстрее, чем когда-либо прежде.

Ускорение вычислений для «Спортмастера»

«Спортмастер» - большой ритейлер с классическими для своего бизнеса задачами. Моделями искусственного интеллекта в «Спортмастере» пользуются для прогнозирования спроса и оптимизации управления товарными операциями – чтобы избежать дефицита товаров на прилавках и скопления неликвидной продукции на складах. Например, каждый день формируется заказ товара в торговую сеть из тысяч магазинов и десятков тысяч товарных позиций.

Следующая задача - увеличение конверсии продаж и повышения эффективности программ лояльности. Маркетинговые кампании, особенно таргетированные, требуют постоянной оценки и оптимизации. Еще одна бизнес-задача - привлечение необходимого числа сотрудников для работы в магазинах в часы пиковой нагрузки.

Объем данных и количество факторов, влияющих на прогнозные показатели, огромны и постоянно растут, а время принятия решений сокращается. Человек не в состоянии решать столь масштабные задачи оптимизации, однако к нему на помощь приходят системы искусственного интеллекта.

Команда экспертов по анализу данных «Спортмастер» накопила большой опыт по моделированию сложных бизнес-процессов компании, но обучение моделей на имеющихся мощностях (между прочим, 10-узловый кластер BigData) занимало слишком много времени. Приняв решение перейти на специализированную платформу с ускорением вычислений на GPU, компания обратила внимание на комплекс NVIDIA DGX-2.

Для пилотного проекта NVIDIA поставила в дата-центр заказчика «младшего брата» DGX-2 – сервер NVIDIA DGX Station. Для максимального использования возможностей DGX пришлось переписать скрипты для подготовки данных и процесса обучения, провести тестирование выбранных боевых моделей машинного обучения.

Результаты оказались весьма оптимистичными. Ключевую роль сыграла GPU-совместимость конкретных алгоритмов в определенных фреймворках искусственного интеллекта. Алгоритмы с поддержкой GPU (особенно c полноценной реализацией режима multi-threaded GPU) показали резкий прирост производительности. Например, на градиентном бустинге в Сatboost был зафиксирован 30-кратный прирост, а на XGBOOST в H2O – 20-кратный.

По итогам тестирования, а также с учетом активного развития проекта open-source RAPIDS, поддерживаемого NVIDIA (там все больше алгоритмов переносится на GPU), заказчик принял решение о внедрении NVIDIA DGX-2. После разработки точных технических требований два комплекса DGX-2 были поставлены в дата-центр.

Миграция боевых моделей искусственного интеллекта на production-платформу DGX-2 подтвердила успешные результаты пилотного тестирования и показала дополнительный прирост производительности за счет более мощного железа DGX-2. Появилось окно возможностей для наращивания функционала. Например, переход с еженедельной на ежедневную технологию полного обучения моделей, значительное увеличение количества факторов и возможности «эшелонирования» моделей, использование новых ресурсоемких алгоритмов для повышения качества прогноза и результатов классификации.

Немного цифр: если на прежнем «железе» обучение модели продолжалось 12 часов, то на DGX-2 – всего 2,5 часа. После обучения инференс, занимавший на прежнем железе 36 часов, завершился на DGX-2 через 4 часа.

Экспертиза Softline

Программно-аппаратный комплекс, который мы поставили, не имеет аналогов в России, а его продвижением на отечественный рынок занимаются лишь несколько партнеров NVIDIA, среди которых – Softline. На текущий момент Softline имеет наивысший на рынке вендорский статус ELITE. 

Портфель продуктов и сервисов Softline постоянно пополняется собственными и вендорскими решениями в области искусственного интеллекта. Мы можем предложить заказчикам такое решение как SuperPod – кластер с вычислительной частью DGX, устройствами хранения и скоростной сетевой инфраструктурой.

Большая и важная категория наших заказчиков – университеты. АГНИ (Альметьевский государственный нефтяной институт) решает на железе NVIDIA задачи геологоразведки, в Институте прикладной семиотики Татарстана разрабатывают русско-татарский переводчик, в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» – обучают новых специалистов согласно указу Президента.