Главная Почему выбирают Softline Блог Микроклимат в ЦОД: стандарты и особенности их применения

Микроклимат в ЦОД: стандарты и особенности их применения

18.11.2016

Инфраструктурные решения

Микроклимат в ЦОД: стандарты и особенности их применения

Даже далекие от ИТ люди в курсе, что вычислительная техника имеет неприятное свойство выделять при работе тепло. Это может стать проблемой даже на персональном ноутбуке, а любой дата-центр, под завязку набитый многопроцессорными серверами, хранилками и маршрутизаторами, оснащается охлаждающим оборудованием задолго до того, как в него установят первые серверы.
Как правильно спроектировать систему кондиционирования для ЦОДа? Это большой вопрос, и отвечать хотелось бы начать с требований и стандартов по охлаждению.

Почему ЦОД надо охлаждать?

Параметры микроклимата (температуру, влажность, подвижность воздуха) в ЦОД необходимо контролировать и регулировать по нескольким причинам.
1. Обеспечение возможности работы информационно-вычислительной техники (далее – ИВТ) в ЦОД. Огромное тепловыделение в ЦОДах обусловлено тем, что в данных помещениях располагается большое количество ИВТ на единицу площади. В свою очередь выделение тепла ИВТ происходит в соответствии с принципом Ландауэра, согласно которому подведенная к ЭВМ электрическая мощность преобразуется в теплоту при разрядке конденсаторов, расположенных на печатных платах. Эта разрядка происходит из-за удаления битов информации в процессе вычислений.
Если из ЦОД не удалять избытки теплоты, то температура в нём за считанные минуты поднимется до таких значений, при которых ни ИВТ, ни персонал не смогут работать. Большинство серверов и активного сетевого оборудования отключаются, когда температура входящего в них воздуха достигает 60оС. Расчет скорости нагрева воздуха в ЦОД в случае аварии в системе кондиционирования носит индивидуальный характер, но для приблизительной оценки можно сказать, что в ЦОД со 100-киловаттным энергопотреблением ИВТ температура воздуха изменится с общепринятых 22 оС (см. далее) до критичных 60 оС приблизительно за 4-5 минут.
2. Повышение эффективности работы ИВТ в ЦОД. При эксплуатации серверов в климатических условиях, отличающихся от рекомендованных, изменяются такие параметры их работы как потребляемая мощность, производительность, уровень шума, надёжность, стойкость к коррозии. Например, при повышении тем-ры в ЦОД с 22 до 35 оС, энергопотребление серверов возрастает в среднем на 20%, а повышение уровня шума в ЦОД составляет ориентировочно 6,4 дБ.
Контроль параметров микроклимата в ЦОД чаще всего сводится к поддержанию определенного температурно-влажностного состояния воздуха, который подается к IT-оборудованию.

Требования к микроклимату: отечественный и западные стандарты

Так на какие требуемые параметры воздуха опираться при проектировании и эксплуатации ЦОД? Согласно (СН 512 – 78. Инструкция по проектированию зданий и помещений для электронно-вычислительных машин.), в помещениях для ЭВМ должны быть обеспечены следующие климатические условия:

Период года	Оптимальные			Допустимые
Период года	температура воздуха, °С	относительная влажность воздуха, %	скорость движения воздуха, м/с	температура воздуха, °С	относительная влажность воздуха, %	скорость движения воздуха, м/с
Холодный и переходный периоды года (температура воздуха ниже +10°С)	21± 2	52 ± 7	Не более 0,2	18-25	Не более 75	Не более 0,3
Теплый период года (температура наружного воздуха выше +10° С)	22 ± 2	52 ± 7	Не более 0,3	В течение трех часов не более чем на 3° С выше средней температуры наружного воздуха в 13 ч самого жаркого месяца, но не выше 28 °С	При 28° С не более 50%; при27° С не более 55%; при 26° С не более 60%; при 25° С не более 65%; при 24° С и ниже не более 70%	Не более 0,5

Стандарт, этот, впрочем, описывает довольно экзотическое на сегодняшний день оборудование, которое следует понимать под ЭВМ, такое как ЭВМ и ВК ЕС по ГОСТ 16325-88 или вычислительные "Эльбрус".

В современные ЦОД устанавливают совсем другое оборудование, следовательно, документ СН 512-78 формально нельзя использовать как источник нормативов, а другого документа, регламентирующего климатические параметры в помещениях с ИВТ, в РФ нет. А что же есть?

А есть такие стандарты:

ТIA – 942. Telecommunications Infrastructure Standard for Data Centers.
The Uptime Institute. 2000. Heat Density Trends in Data Processing Computer Systems and Telecommunications Equipment.
ASHRAE TC 9.9. 2011. Thermal Guidelines for Data Processing Environments – Expanded Data Center Classes and Usage Guidance.

Формально они не действуют на территории РФ, и опираться на них, например, при прохождении экспертизы проектной документации, нельзя. Как выйти из положения? Согласно СН 512-78 если в данном проекте применяется другое оборудование, под этот проект нужно составлять специальные технические условия (СТУ). Данный документ вполне можно разрабатывать, опираясь на западные стандарты.

ASHRAE TC 9.9: рассмотрим подробней

Произведем некоторый анализ стандарта ASHRAE TC 9.9. 2011. Этот документ, объединяющий и осмысливающий рекомендации ведущих производителей вычислительного оборудования, претерпел три издания – в 2004, 2008, и 2011 годах. В двух последних версиях фигурирует рекомендованный (оптимальный) температурный диапазон, который получил неофициальное утверждение основных производителей коммерческого ИТ-оборудования. В версии 2011 года все вычислительное оборудование, потенциально устанавливаемое в ЦОД, разделено на 4 класса.

Диапазон	Класс	Тип ИТ - оборудования	Температура по сухому термометру, °С	Диапазон влажности, %	Диапазон температур точки росы, °С	Максимальная точка росы, °С
Рекомендуемый	Все	Всё	18–27	Не выше 60	5,5–15	15
Допустимый	А1	Серверы масштаба крупного предприятия, системы хранения данных	15–32	20–80	-	24
	А2	Серверы, системы хранения данных, персональные компьютеры, рабочие станции	10–35	20–80	-	24
	А3		5–40	8–85	Не ниже -12	28
	А4		5–45	8–90	Не ниже -12	28

Как видно из таблицы, в зависимости от того, к какому классу относится то или иное оборудование, отличается допустимый температурно-влажностный режим эксплуатации. На i-d диаграмме ниже изображены диапазоны состояния воздуха, соответствующие классам А1-А4, а также рекомендуемый диапазон.

По сути, ASHRAE предлагает следующий алгоритм выбора нормируемого диапазона климатических параметров:
1. Классификация имеющегося на проекте оборудования в зависимости от его функций.
2. Выбор наиболее эффективного температурно-влажностного режима из возможного диапазона в зависимости от требуемого уровня надежности и вида предприятия, для которого организуется ЦОД.

Эти простые на первый взгляд два шага на деле оказываются очень трудозатратными и требуют серьезной квалификации и опыта. При выработке решения требуется учитывать следующее:

1. Рекомендованный (оптимальный) диапазон определяет граничные значения, при которых ИТ – оборудование будет работать наиболее надежно и в то же время обеспечивать разумный уровень энергоэффективности ЦОД.

2. Любое оборудование может работать и за пределами рекомендованного диапазона в течение коротких промежутков времени без ущерба надежности функционирования ИТ – оборудования. Данное допущение может существенно снизить PUE (Power usage effectiveness – коэффициент эффективности использования энергии в ЦОД) из-за возможного отказа от энергозатратного кондиционирования воздуха с использованием цикла прямого расширения хладагента, и снизить капитальные затраты, так как данные системы кондиционирования зачастую строятся как резервные, для работы на протяжении всего лишь 100 часов в год во время пиковых значений температуры наружного воздуха.

3. При всей привлекательности диапазонов А1-А4 следует учитывать возможный ущерб от длительной эксплуатации оборудования в ужесточенных по сравнению с рекомендованным температурных диапазонах, а также принять во внимание факторы, перечисленные ниже, которые могут существенно снизить или вовсе нивелировать пользу от расширения климатического диапазона эксплуатации.

Электропитание сервера в зависимости от температуры окружающей среды (растет при повышении температуры);
Уровни шума в ЦОД в зависимости от температуры окружающей среды (растет при повышении температуры);
Надежность сервера в зависимости от температуры окружающей среды;
Надежность сервера в зависимости от влажности, загрязненности и других климатических характеристик;
Производительность сервера в зависимости от температуры окружающей среды (снижается при повышении температуры эксплуатации);

4. Рабочая зона для ЦОД – условная точка входа воздуха в ИТ-оборудование. Измерение и контроль температуры в любом другом месте опциональны.
5. Даже оптимальный, рекомендованный ASHRAE температурный диапазон (18-27 оС) значительно шире и предоставляет больше свободы инженеру и производителю оборудования, чем указанный в СН 512 диапазон 21-22±1оС.

Практический подход и тенденции

В настоящее время в области стандартов, определяющих проектирование, строительство, и эксплуатацию ЦОД, наблюдается тенденция к расширению допустимых и рекомендованных диапазонов параметров микроклимата. Данное течение направлено в первую очередь на снижение энергопотребления ЦОД путем использования технологии «свободного охлаждения» (фрикулинга) технологического оборудования с помощью охлаждающего потенциала наружного воздуха как можно больше времени (по возможности – всегда) в течение года.

Необходимо заметить что данная тенденция прослеживается лишь в западных стандартах и «best practices» строительства ЦОД. Рядовые заказчики и типовые серверные комнаты в РФ все еще проектируются и эксплуатируются, опираясь на устаревший СН 512-78. Надеемся, что в ближайшем будущем заказчики и специалисты в области строительства ЦОД будут уделять больше внимания выбору допустимого диапазона климатических параметров для проектирования и эксплуатации, а отечественная нормативно-техническая документация будет актуализирована в соответствии с последними рекомендациями ASHRAE.

Автор: Александр Косенко,
Технический эксперт департамента инженерных решений