Модернизация инженерной инфраструктуры ЦОДа Московского физико-технического института (МФТИ)

Ситуация

Центр обработки данных МФТИ, расположенный в г. Долгопрудном Московской обл., служит ядром информационных систем института. Вычислительные мощности, собранные в ЦОД, используются как системами, предназначенными для физического моделирования и расчетов, связанных с научной и учебной деятельностью, так и служебными системами и приложениями, такие как почта и коммуникации, управление IT-инфраструктурой, бухгалтерия и т.п.

До реализации проекта многие факультеты и кафедры МФТИ располагали собственными серверами, которые поддерживали своими силами. Это ставило под угрозу их надежность и отказоустойчивость, размывало ответственность за их работоспособность, было менее эффективным в экономическом плане.

Руководство института приняло решение о консолидации вычислительных мощностей в едином ЦОДе с целью обеспечения требований надежности, доступности, безопасности и управляемости IT-инфраструктуры и снижения расходов на ее владение. Однако существующий ЦОД с точки зрения инженерной инфраструктуры не мог обеспечить надежное функционирование вычислительных мощностей, которые планировалось в нем разместить. Поэтому в МФТИ было принято решение о модернизации и расширении ЦОДа для приведения в соответствие с современными требованиями с точки зрения мощности, надежности и отказоустойчивости, а также для обеспечения возможности установки более энергоемкого IT-оборудования.

Модернизации подлежали следующие подсистемы:

система распределения электропитания и бесперебойного электроснабжения;
система кондиционирования;
структурированная кабельная система;
автоматизированная система диспетчерского управления.

Решение

Общестроительная подготовка помещений

В качестве общестроительной подготовки был выполнен демонтаж и утилизация всего устаревшего и подлежащего утилизации оборудования, спроектированы, изготовлены и установлены металлоконструкции для установки внешних блоков системы охлаждения, для размещения распределительного узла (баки, насосы, теплообменники), была выполнена система защиты оборудования от протечек при авариях в системах водопровода и отопления в расположенных выше помещениях. Система защиты обеспечивает отвод воды из пространства над натяжным потолком по уклону плоскости натяжного потолка и последующий дренаж.

Система бесперебойного электроснабжения и распределения электропитания

Важным моментом в модернизации ЦОДа стало увеличение уровня резервирования систем ИБП для компьютерного оборудования до 2N (N + N). Для энергоснабжения компьютерного оборудования используются два модульных ИБП производства APC by Schneider Electric Symmetra PX 160 кВт.

Уровень резервирования ИБП для инженерного обеспечения (циркуляционные насосы чиллеров и насосы водяного контура) – N+1, система отделена от систем ИБП для основных IT-потребителей. Электропитание инженерного оборудования осуществляется с помощью модульного ИБП производства APC by Schneider Electric MGE Galaxy 3500 20 кВт.

Время автономной работы источников бесперебойного питания при пропадании питающего напряжения составляет не менее 15 минут, что определяется временем запуска и выхода резервного источника питания на нагрузку.

Архитектура СБЭ обеспечивает возможность обслуживания и модернизации без вывода всего комплекса из работы.

Новый ЦОД рассчитан на потребление 180 кВт. Из них 141 кВт приходится на электропитание 16 серверных шкафов и 2 коммутационных шкафов.

Система кондиционирования и вентиляции

Для защиты оборудования от перегрева и выхода из строя по причине выпадения конденсата или статического разряда в машинном зале и помещении ИБП поддерживается постоянный микроклимат: температура воздуха 20-25°C, относительная влажность 40-65%.
Система кондиционирования ЦОД двухконтурная. В качестве теплоносителя внутреннего контура используется вода, а во внешнем контуре циркулирует 40%-ный раствор этиленгликоля. Такая схема исключает замерзание теплоносителя в трубопроводах снаружи здания, а также исключает использование опасного для здоровья этиленгликоля в пределах машинного зала.

Внутренний контур состоит из следующих подсистем:

система межрядного кондиционирования оборудования машинного зала,
система технологического кондиционирования помещения с расположением ИБП.

В машинном зале два ряда из 18 серверных стоек, расположенные спиной к спине, образуют «горячий» коридор, изолированный от внешней среды специальными дверями и панелями. Установленные в «горячем» коридоре 8 межрядных кондиционеров APC InRow RС забирают тепло из этого коридора и выдувают охлажденный воздух во внешнее помещение. Здесь он под статическим давлением подаётся к лицевой стороне стоек. Электропитание межрядных кондиционеров построено по схеме N+1.

В помещении ИБП были установлены кондиционеры-фанкойлы с резервированием электропитания по схеме N+1. Используются два канальных фанкойла Carrier, которые подают холодный воздух и забирают горячий. Третий фанкойл находится в резерве.

Внешний контур системы кондиционирования обеспечивает холодильная машина — чиллер. Ранее в качестве внешнего контура на крыше здания были установлены градирни. Градирни были демонтированы, а вместо них были установлены два чиллера производства компании Uniflair by Schneider Electric (один основной, другой резервный) холодопроизводительностью 185 кВт каждый, скомплектованные изготовителем специально для данного проекта. Для соединения с основной системой был проложен трубопровод.

При температуре воздуха +5 ̊С и ниже чиллеры переходят в режим свободного охлаждения (free cooling), при котором теплоноситель охлаждается за счет наружного воздуха, что снижает потребление электроэнергии.

Предусмотрены средства обеспечения работы кондиционеров при низких температурах воздуха вне здания, зимний пуск и обогрев дренажных отверстий при сливе конденсата за пределы здания.

Установлены устройства дегазации гидравлического контура. Запорная арматура установлена во всех местах, где предполагается гидравлическое отключение компонентов системы от сети.

Структурированная кабельная система ЦОД

Под вновь устанавливаемые шкафы была создана новая структурированная кабельная система, предназначенную для передачи цифровых и аналоговых данных. Архитектура и параметры производительности СКС соответствуют положениям международных стандартов ANSI/TIA/EIA-568-В, EIA/TIA-569-В, ANSI/TIA/EIA-570, ANSI/TIA/EIA-606, ISO/IEC 11801, ANSI/EIA/TIA-942, ГОСТ Р 53346-2008.

СКС состоит из двух компонентов:

медная подсистема СКС, построенная на кабелях F/FTP категории 6A. В каждый серверный шкаф установлено по одной 24-портовой патч-панели с органайзерами, от каждого нового шкафа до каждого кроссового шкафа проведено по 24 кабеля F/FTP. Подсистема выполнена на базе модульной кабельной системы компании Huber+Suhner серии LiSA Solutions, продажи которой начались только в конце 2013 года. Это первая инсталляция системы в России;
оптическая подсистема СКС. Каждый новый шкаф соединен с главными оптическими кроссами с помощью двух претерменированных 12-волоконных многомодовых кабелей. В каждый новый шкаф установлена оптическая кассета. Оптоволоконное оборудование – также производства компании Huber+Suhner.

Автоматизированная система диспетчерского управления

Система АСДУ предназначена для мониторинга состояния инженерных систем и дистанционного управления ими в режиме реального времени с рабочего места оператора. АСДУ позволяет оптимизировать работу контролируемого оборудования и обеспечить предупреждение обслуживающего персонала в случае аварийных ситуаций, например, протечек, а также ведет архив технологической информации и позволяет формировать отчеты. Система выполнена на новых модульных контроллерах производства компании Delta Controls.

Система имеет трехуровневую архитектуру.

Различные датчики и исполнительные механизмы образуют нижний уровень системы, на котором происходит сбор первичной информации для АСДУ и непосредственное управление оборудованием.

На среднем уровне работают контроллеры, осуществляющие прием информации от нижнего уровня, передача его верхнему уровню, а также формирование управляющего сигнала для исполнительных механизмов в соответствии с заложенной в контроллерах программой.
Верхний уровень системы отвечает за конечную обработку данных и взаимодействие с пользователями. На этом уровне происходит агрегация и обработка всех данных АСДУ, а также регистрация всех событий в системе, в том числе и действий пользователей. Верхний уровень включает серверное оборудование и программное обеспечение для опроса, хранения и визуализации данных (SCADA). Пользовательский интерфейс обеспечивает визуализацию параметров оборудования и средств управления ими в наглядной, интуитивно-понятной форме. Система визуализации организована с помощью программного обеспечения ORCAview.

Гарантийное и сервисное обслуживание

Компания Softline взяла на себя обязательства по пятилетнему гарантийному и сервисному обслуживанию, распрорастраняющемуся на оборудование для дата-центров, установленное в рамках контракта, и четыре уже имевшихся у заказчика кондиционера APC.
Регламент гарантийного обслуживания включает выезд сервисного инженера для диагностики, поставку за свой счет необходимых комплектующих и материалов и выполнение ремонтно-восстановительных работ. Сервисное обслуживание включает проведение не реже чем два раза в год планово-профилактических работ, включая необходимые комплектующие и расходные материалы.

Результаты

После завершения работ по поставке оборудования и монтажу инженерных систем заказчику была предоставлена исполнительная документация, составленная в соответствии со всеми требованиями ГОСТа, в числе которой была и «Программа и методика испытаний», на основании которой прошли тестовые испытания системы. Программа и методика испытаний, утвержденная заказчиком, позволила протестировать работоспособность всех подсистем и убедиться в их полном соответствии требованиям.

После передачи ЦОДа заказчик заполнил его серверным, коммуникационным и другим необходимым оборудованием и запустил в промышленную эксплуатацию. Работа в реальных условиях показала, что ЦОД отвечает всем необходимым требованиям с точки зрения мощности, надежности и отказоустойчивости.

Лучшие энергосберегающие технологии, использованные в проекте, обеспечивают высокую энергоэффективность ЦОДа.

Создание изолированного «горячего» коридора — самая эффективная система охлаждения серверного оборудования из всех известных по соотношению цена/качество.
Система охлаждения на чиллерах Uniflair by Schneider Electric с функцией фрикулинга позволяет экономить до 30% годового энергопотребления.

По предварительной оценке показатель Power Usage Effectiveness (PUE) дата-центра МФТИ по итогам модернизации составляет 1.5, что свидетельствует о высоком уровне энергоэффективности площадки.

ЦОД МФТИ соответствует уровню надежности (TIER 3) по международному стандарту TIA-942 на инфраструктуру Центров Обработки Данных, а показатель бесперебойной работы составляет 99,982%, что полностью соответствует новым задачам вычислительного кластера института.