Даже далекие от ИТ люди в курсе, что вычислительная техника имеет неприятное свойство выделять при работе тепло. Это может стать проблемой даже на персональном ноутбуке, а любой дата-центр, под завязку набитый многопроцессорными серверами, хранилками и маршрутизаторами, оснащается охлаждающим оборудованием задолго до того, как в него установят первые серверы.
Как правильно спроектировать систему кондиционирования для ЦОДа? Это большой вопрос, и отвечать хотелось бы начать с требований и стандартов по охлаждению.

Почему ЦОД надо охлаждать?

Параметры микроклимата (температуру, влажность, подвижность воздуха) в ЦОД необходимо контролировать и регулировать по нескольким причинам.
1. Обеспечение возможности работы информационно-вычислительной техники (далее – ИВТ) в ЦОД. Огромное тепловыделение в ЦОДах обусловлено тем, что в данных помещениях располагается большое количество ИВТ на единицу площади. В свою очередь выделение тепла ИВТ происходит в соответствии с принципом Ландауэра, согласно которому подведенная к ЭВМ электрическая мощность преобразуется в теплоту при разрядке конденсаторов, расположенных на печатных платах. Эта разрядка происходит из-за удаления битов информации в процессе вычислений.
Если из ЦОД не удалять избытки теплоты, то температура в нём за считанные минуты поднимется до таких значений, при которых ни ИВТ, ни персонал не смогут работать. Большинство серверов и активного сетевого оборудования отключаются, когда температура входящего в них воздуха достигает 60оС. Расчет скорости нагрева воздуха в ЦОД в случае аварии в системе кондиционирования носит индивидуальный характер, но для приблизительной оценки можно сказать, что в ЦОД со 100-киловаттным энергопотреблением ИВТ температура воздуха изменится с общепринятых 22 оС (см. далее) до критичных 60 оС приблизительно за 4-5 минут.
2. Повышение эффективности работы ИВТ в ЦОД. При эксплуатации серверов в климатических условиях, отличающихся от рекомендованных, изменяются такие параметры их работы как потребляемая мощность, производительность, уровень шума, надёжность, стойкость к коррозии. Например, при повышении тем-ры в ЦОД с 22 до 35 оС, энергопотребление серверов возрастает в среднем на 20%, а повышение уровня шума в ЦОД составляет ориентировочно 6,4 дБ.
Контроль параметров микроклимата в ЦОД чаще всего сводится к поддержанию определенного температурно-влажностного состояния воздуха, который подается к IT-оборудованию. 

Требования к микроклимату: отечественный и западные стандарты

Так на какие требуемые параметры воздуха опираться при проектировании и эксплуатации ЦОД? Согласно (СН 512 – 78. Инструкция  по проектированию зданий и помещений для электронно-вычислительных машин.), в помещениях для ЭВМ должны быть обеспечены следующие климатические условия: 

Стандарт, этот, впрочем, описывает довольно экзотическое на сегодняшний день оборудование, которое следует понимать под ЭВМ, такое как ЭВМ и ВК ЕС по ГОСТ 16325-88 или вычислительные "Эльбрус".

В современные ЦОД устанавливают совсем другое оборудование, следовательно, документ СН 512-78 формально нельзя использовать как источник нормативов, а другого документа, регламентирующего климатические параметры в помещениях с ИВТ, в РФ нет. А что же есть?

А есть такие стандарты:

• ТIA – 942. Telecommunications Infrastructure Standard for Data Centers.
• The Uptime Institute. 2000. Heat Density Trends in Data Processing Computer Systems and Telecommunications Equipment.
• ASHRAE TC 9.9. 2011. Thermal Guidelines for Data Processing Environments – Expanded Data Center Classes and Usage Guidance.

Формально они не действуют на территории РФ, и опираться на них, например, при прохождении экспертизы проектной документации, нельзя. Как выйти из положения? Согласно СН 512-78  если в данном проекте применяется другое оборудование, под этот проект нужно составлять специальные технические условия (СТУ). Данный документ вполне можно разрабатывать, опираясь на западные стандарты.

ASHRAE TC 9.9: рассмотрим подробней

Произведем некоторый анализ стандарта ASHRAE TC 9.9. 2011. Этот документ, объединяющий и осмысливающий рекомендации ведущих производителей вычислительного оборудования, претерпел три издания – в 2004, 2008, и 2011 годах. В двух последних версиях фигурирует рекомендованный (оптимальный) температурный диапазон, который получил неофициальное утверждение основных производителей коммерческого ИТ-оборудования. В версии 2011 года все вычислительное оборудование, потенциально устанавливаемое в ЦОД, разделено на 4 класса.

Как видно из таблицы, в зависимости от того, к какому классу относится то или иное оборудование, отличается допустимый температурно-влажностный режим эксплуатации. На i-d диаграмме ниже изображены диапазоны состояния воздуха, соответствующие классам А1-А4, а также рекомендуемый диапазон.

По сути, ASHRAE предлагает следующий алгоритм выбора нормируемого диапазона климатических параметров:
1. Классификация имеющегося на проекте оборудования в зависимости от его функций.
2. Выбор наиболее эффективного температурно-влажностного режима из возможного диапазона в зависимости от требуемого уровня надежности и вида предприятия, для которого организуется ЦОД.

Эти простые на первый взгляд два шага на деле оказываются очень трудозатратными и требуют серьезной квалификации и опыта. При выработке решения требуется учитывать следующее:

1. Рекомендованный (оптимальный) диапазон определяет граничные значения, при которых ИТ – оборудование будет работать наиболее надежно и в то же время обеспечивать разумный уровень энергоэффективности ЦОД.

2. Любое оборудование может работать и за пределами рекомендованного диапазона в течение коротких промежутков времени без ущерба надежности функционирования ИТ – оборудования. Данное допущение может существенно снизить PUE (Power usage effectiveness – коэффициент эффективности использования энергии в ЦОД) из-за возможного отказа от энергозатратного кондиционирования воздуха с использованием цикла прямого расширения хладагента, и снизить капитальные затраты, так как данные системы кондиционирования зачастую строятся как резервные, для работы на протяжении всего лишь 100 часов в год во время пиковых значений температуры наружного воздуха.

3. При всей привлекательности диапазонов А1-А4 следует учитывать возможный ущерб от длительной эксплуатации оборудования в ужесточенных по сравнению с рекомендованным температурных диапазонах, а также принять во внимание факторы, перечисленные ниже, которые могут существенно снизить или вовсе нивелировать пользу от расширения климатического диапазона эксплуатации.

• Электропитание сервера в зависимости от температуры окружающей среды (растет при повышении температуры);
• Уровни шума в ЦОД в зависимости от температуры окружающей среды (растет при повышении температуры);
• Надежность сервера в зависимости от температуры окружающей среды;
• Надежность сервера в зависимости от влажности, загрязненности и других климатических характеристик;
• Производительность сервера в зависимости от температуры окружающей среды (снижается при повышении температуры эксплуатации);

4. Рабочая зона для ЦОД – условная точка входа воздуха в ИТ-оборудование. Измерение и контроль температуры в любом другом месте опциональны.
5. Даже оптимальный, рекомендованный ASHRAE температурный диапазон (18-27 оС) значительно шире и предоставляет больше свободы инженеру и производителю оборудования, чем указанный в СН 512 диапазон 21-22±1оС.

Практический подход и тенденции

В настоящее время в области стандартов, определяющих проектирование, строительство, и эксплуатацию ЦОД, наблюдается тенденция к расширению допустимых и рекомендованных диапазонов параметров микроклимата. Данное течение направлено в первую очередь на снижение энергопотребления ЦОД путем использования технологии «свободного охлаждения» (фрикулинга) технологического оборудования с помощью охлаждающего потенциала наружного воздуха как можно больше времени (по возможности – всегда) в течение года.

Необходимо заметить что данная тенденция прослеживается лишь в западных стандартах и «best practices» строительства ЦОД. Рядовые заказчики и типовые серверные комнаты в РФ все еще проектируются и эксплуатируются, опираясь на устаревший СН 512-78. Надеемся, что в ближайшем будущем заказчики и специалисты в области строительства ЦОД будут уделять больше внимания выбору допустимого диапазона климатических параметров для проектирования и эксплуатации, а отечественная нормативно-техническая документация будет актуализирована в соответствии с последними рекомендациями ASHRAE.

Автор: Александр Косенко,
Технический эксперт департамента инженерных решений