ЦОД: основные компоненты, классификация и системы безопасности

Дата-центры — ключевой элемент цифровой инфраструктуры. Они предоставляют необходимые ресурсы для облачных вычислений, развития искусственного интеллекта (ИИ), функционирования финансового сектора, телекоммуникаций и цифровизации экономики и жизни в целом. Все это генерирует большие объемы данных — каждый день создаются терабайты информации. Все это требует огромных вычислительных ресурсов. 

Согласно исследованию McKinsey, к 2030 году для развития дата-центров по всему миру потребуется 6,7 трлн долларов инвестиций. Причем большая часть — 5,2 трлн долларов — придется исключительно для обработки ИИ-нагрузок. Подробнее о том, как ИИ влияет на индустрию ЦОДов, можно прочитать здесь. В этой статье рассказываем, как устроены дата-центры, какими бывают и как обеспечивается их безопасность. 

Что такое ЦОД и как он устроен

• Основные компоненты дата-центров

Виды дата-центров

• По назначению

• По способу организации

• По уровню надежности (Tier I-IV)

Как организована безопасность дата-центров

• Физическая безопасность

• Информационная безопасность

• Сертификаты и соответствие стандартам

Будущее дата-центров

Что такое ЦОД и как он устроен

Центр обработки данных (ЦОД) — это специализированные помещения, в которых установлено оборудование для хранения и обработки огромных объемов информации. Обычно это большие здания с тысячами серверов. Но есть и другие форматы помещений с небольшой площадью.

Основные компоненты дата-центров

• Серверы — вычислительные мощности, на которых работают приложения и обрабатываются данные.

• Системы хранения данных (СХД) — дисковые массивы и SSD-накопители, где хранится информация.

• Сетевое оборудование — маршрутизаторы, коммутаторы и каналы связи для передачи данных.

• Системы охлаждения — кондиционирование и вентиляция, которые нужны, чтобы оборудование не перегревалось. 

• Источники бесперебойного питания (ИБП) и дизель-генераторы — необходимы для поддержания работы ЦОДа при отключении электричества.

• Системы безопасности — контроль доступа, видеонаблюдение, противопожарная защита.

Виды дата-центров 

По назначению

Дата-центры делятся на два основных типа по назначению: корпоративные и коммерческие. Разница между ними в том, кто владеет объектом и для каких задач он используется.

Корпоративные ЦОДы — это дата-центры, которые компания строит для себя. Они необходимы, если организация работает с большими объемами данных и многочисленными информационными системами. Главное преимущество собственного ЦОДа — полный контроль над оборудованием и безопасностью. Также его можно оптимизировать под задачи бизнеса. Такие комплексы подходят для компаний с высокими требованиями к работе с чувствительной информацией или специфичными ИТ-нуждами. Корпоративные дата-центры обычно есть у крупных банков и промышленных предприятий. 

Несмотря на все преимущества, есть большой минус корпоративных ЦОДов — стоимость их строительства и эксплуатации, а также долгий срок окупаемости. Итоговая сумма зависит от многих факторов и начинается с нескольких миллиардов (если мы говорим про капитальное строительство). Половина инвестиций приходится на оборудование. К тому же, требуется регулярная модернизация ИТ-систем и оборудования, поэтому за 10 лет использования комплекса расходы на его эксплуатацию могут достичь суммы строительства. Плюс нужно содержать квалифицированный персонал. 

Коммерческие ЦОДы — это дата-центры, которые сдают свои мощности в аренду другим компаниям. Т.е. владельцы (провайдеры) инвестируют в строительство, эксплуатацию и модернизацию, а клиенты получают часть ресурсов и оплачивают их. Наиболее распространенные услуги коммерческих ЦОДов: 

• Размещение серверов (colocation). Клиент арендует стойку, часть стойки или отдельное помещение под свое оборудование. Дата-центр обеспечивает питание, охлаждение, защиту.

• Аренда серверов: dedicated, VPS, Cloud. Можно арендовать физический сервер (dedicated) или виртуальный (VPS/облако). Провайдер обслуживает железо, клиент управляет ПО.

• Облачные услуги. Клиент получает виртуальные машины, хранилища, базы данных и другие сервисы по подписке. Преимущество в гибкой оплате только за использованные ресурсы. 

Согласно исследованиям, среднегодовой темп роста российского рынка коммерческих дата-центров за последние пять лет составил 30%. Количество стойко-мест увеличилось на 70% и на конец 2024 года достигла отметки в 82,4 тыс. единиц. Эксперты допускают, что в 2025 году темпы роста замедлятся из-за сохранения высокой ключевой ставки Банка России. 

Ведомственные дата-центры — это ЦОДы для нужд конкретных государственных организаций: министерств, региональных администраций, силовых структур и госкомпаний. В последние годы в России растет на них спрос. В 2024 году половина выручки компаний, которые проектируют и строят ЦОДы, пришлась именно на госзаказы, а расходы госсектора на эти цели достигли 60 млрд руб. Крупные проекты: дата-центры МВД, Минприроды, ФНС и ФМС. В результате цифровизации объем данных в госсекторе быстро растет, и ведомства все чаще предпочитают хранить информацию в своих ЦОДах, а не в коммерческих, чтобы минимизировать риски утечек.

По способу организации

Традиционные дата-центры — это строительство капитального здания специально оборудованного для размещения вычислительной инфраструктуры. Такие центры проектируются индивидуально под конкретные потребности заказчика, учитывают специфику оборудования и обеспечивают высокий уровень отказоустойчивости благодаря продуманному инженерному обеспечению (охлаждение, электроснабжение, безопасность). Этот вариант подходит для провайдеров, которые планируют на база ЦОДа предоставлять услуги клиентам, и крупным компаниям с высокими требованиями к стабильности работы.

Модульный дата-центр — это сборная конструкция из готовых модулей, которые быстро монтируются на площадке заказчика. Модули стандартизированы, включают всю необходимую инфраструктуру внутри контейнера или специального блока, что позволяет существенно сократить сроки развертывания. За счет этого можно быстро масштабировать ИТ-инфраструктуру и экономить на капитальных затратах. 

Модульный принцип организации дата-центров набирает популярность. По оценкам экспертов, объем российского рынка модульных ЦОДов к 2030 году вырастет в 2,5 раза — до 4,3 млрд руб. Подобное решение подойдет компаниям с распределенной территориальной структурой, стартапам, ритейлу. Иногда это становится единственным вариантом быстро развернуть ИТ-инфраструктуру, например, когда рядом нет коммерческого ЦОДа, нужно организовать ресурсы на удаленной площадке или нет возможности согласовать капитальное строительство нового помещения. Для некоторых организаций наиболее удобной будет услуга «Модульный ЦОД как сервис» (DCaaS).

По уровню надежности (Tier I-IV)

В 90-е международный сертификационный институт Uptime Institute разработал классификацию дата-центров по уровню надежности — от Tier I до Tier IV. За почти 30 лет эта система стала золотым стандартом в индустрии. Она помогает понять, насколько ЦОД защищен от сбоев и как быстро может восстановиться после аварии.

В основе классификации множество критериев, выделим базовые: 

• резервирование активных компонентов и каналов распределения;

• возможность обслуживания без остановки (Concurrently Maintainable);

• отказоустойчивость (Fault Tolerance);

• время простоя в год. 

Tier I: Базовая инфраструктура

ЦОД уровня Tier I — это базовый уровень, в рамках которого используются активные компоненты без резервирования и один канал распределения энергии и охлаждения. Плановое обслуживание проводится ежегодно и требует полного отключения системы, что приводит к остановке работы ИТ-нагрузки. Внеплановые события также нарушают функционирование инфраструктуры. Такой уровень ЦОД подходит для некритичных задач, где допускаются кратковременные простои.

Tier II: Резервирование компонентов

На этом уровне добавляется резервирование активных компонентов, таких как ИБП, генераторы и системы охлаждения. Однако каналы распределения остаются без дублирования. Риск сбоев из-за отказа оборудования снижается, но плановое обслуживание по-прежнему требует остановки работы. Tier II могут использовать организации, которым важна повышенная надежность, но не требуется непрерывная работа.

Tier III: Возможность обслуживания без отключения

Главное отличие Tier III — возможность проводить плановое обслуживание без остановки ИТ-нагрузки. Это достигается за счет резервирования не только компонентов, но и каналов распределения. Например, если один канал электроснабжения или охлаждения отключается для ремонта, второй продолжает работать. Такой уровень обеспечивает высокую доступность и подходит для компаний, где простои недопустимы.

Tier IV: Полная отказоустойчивость

Наивысший уровень надежности, Tier IV, предполагает не только резервирование, но и физическое разделение систем — секционирование. Это означает, что даже при отказе одного компонента или канала инфраструктура продолжает работать без перебоев. Так как все системы дублированы и изолированы влияние плановых или внеплановых работ и тем более сбоев минимально. Нарушить работу дата-центров может только срабатывание систем пожаротушения или аварийного отключения электроснабжения. ЦОДы этого уровня используются для критически важных операций, где даже кратковременный простой недопустим.

Классификация Uptime Institute помогает выбрать оптимальную конфигурацию ЦОДа в зависимости от требований бизнеса. Уровень Tier определяется по самому слабому звену в инфраструктуре: даже если одна система соответствует Tier IV, а другая — Tier II, весь ЦОД получит оценку Tier II.

Как организована безопасность дата-центров

На безопасность современных ЦОДов влияет множество факторов — от выбора участка строительства до защиты от кибератак. Можно выделить два направления: физическая и информационная безопасность.

Физическая безопасность

Физическая безопасность дата-центров — это многоуровневая система, которая начинается с выбора участка под строительство. В приоритете территории, на которых вероятность природных катаклизм — ураганов, землетрясений, затоплений и т.д. — минимальна. Также учитывается и возможность техногенных катастроф. Обычно участок выбирают вдали от военных объектов и опасных производств. Для большей надежности при строительстве используется метод «здание в здании». 

Многое зависит и от грамотного проектирования комплекса, так как ошибки на этом этапе могут привести к уязвимостям в инфраструктуре. В конце 2024 года Минстрой утвердил СП 541.1325800.2024. Это свод правил для проектирования дата-центров. Его основная цель — стандартизировать требования к инженерному оборудованию, конструктивным решениям, пожарной безопасности и энергоэффективности.

Безопасность ЦОДов обеспечивается многоуровневой системой периметров: 

• Первый уровень: ограждение территории с датчиками движения, противотаранные барьеры.

• Второй уровень: КПП с охраной, сканирование транспорта. 

• Третий уровень: биометрический контроль доступа в помещения, особенно в машинные залы. 

На территории комплекса и в зданиях используется круглосуточное видеонаблюдение с распознаванием лиц, подозрительных предметов. Большое внимание уделяется противопожарной системе. Помимо этого в дата-центрах используется продвинутый контроль доступа с многофакторной аутентификацией, в том числе с биометрией, разграничение зон, датчики движения и открытия дверей. 

Информационная безопасность

По данным Uptime Institute, кибератаки, включая DDoS и программы-вымогатели, стали причиной сбоев в 17% случаях значимых нарушений работы серверов и сетевой инфраструктуры дата-центров в 2024 году. Цифровизация инженерных элементов — систем охлаждения, пожаротушения и других АСУ — расширяет поле для атак. Поэтому современные ЦОДы выстраивают комплексную систему киберзащиты, которая включает следующие компоненты. 

• Шифрование данных защищает информацию от чтения посторонними, преобразуя ее в код, который можно расшифровать только с помощью ключа.

• Антивирусные системы обнаруживают и блокируют вредоносные программы (вирусы, трояны, шпионское ПО).

• Системы обнаружения (IDS) и предотвращения (IPS) вторжений выявляют атаки и подозрительную активность и автоматически блокируют их. 

• Межсетевые экраны, включая NGFW с DPI, фильтруют входящий/исходящий трафик и анализируют содержимое пакетов для выявления скрытых угроз. 

• VPN и прокси создают защищенное соединение и фильтруют трафик. 

• SIEM собирают данные о событиях безопасности, анализируют их и помогают быстро обнаруживать угрозы.

• Резервное копирование сохраняет копии данных для восстановления после сбоев, атак или случайного удаления.

• Системы контроля доступа, включая парольную защиту и двухфакторную аутентификацию, для подтверждения личности и определения прав доступа к ресурсам. 

Сертификаты и соответствие стандартам

Надежность дата-центров можно оценить по сертификации, аттестатам соответствия, лицензиям контролирующих ведомств. Выше мы уже затронули сертификацию Tier. Но это не единственный стандарт. 

• ANSI/TIA-942-B — стандарт проектирования инфраструктуры ЦОД, разработанный Американским институтом стандартов (ANSI) и Телекоммуникационной индустриальной ассоциацией (TIA). Как стандарт Uptime Institute выделяет четыре уровня дата-центров. 

• EN 50600 — европейский стандарт, который также охватывает аспекты проектирования, строительства и эксплуатации ЦОД. 

• PCI DSS — международный стандарт безопасности для защиты данных платежных карт. Этот стандарт необходим дата-центрам, которые обрабатывают информацию о картах или предоставляет инфраструктуру для платежных сервисов, банков, ритейла. Для прохождения сертификации нужны регулярные аудиты, защита сети и строгий контроль доступа.

• ГОСТ Р 58811-2020, 58812-2020,70627-2023 и др. — российские государственные стандарты, описывающие требования к инженерной инфраструктуре, документации, технической концепции дата-центров.

Для работы с персональными данными необходимо соответствие требованиям 152-ФЗ «О персональных данных», а также постановления правительства № 1119 и приказа ФСТЭК № 21, которые устанавливают меры защиты. Для работы с государственными информационными системами (ГИС) необходима аттестация по приказу ФСТЭК № 17.

Будущее дата-центров

В ближайшие годы развитие ЦОДов будет определяться несколькими ключевыми факторами. Во первых, рост спроса на мощности для ИИ потребует масштабирования более энергоемкой инфраструктуры и внедрения новых технологий: жидкостного охлаждения, ИИ-чипов и оптимизированных архитектур распределения вычислений. 

Во-вторых, перед глобальной индустрией стоит острая проблема нехватки энергии и поиска альтернативных источников. По прогнозам Gartner, к 2027 году из-за недостатка электроэнергии свою работу ограничат 40% дата-центров для ИИ. Для России оценки не столь пессимистичные. По мнению аналитиков «Альфа-Банка», в ближайшие пять лет отечественные ЦОДы не столкнутся с энергодефицитом, а перспектива за атомной энергетикой. Поэтому будущее дата-центров — баланс между растущими запросами на вычислительные ресурсы и энергоэффективностью, а также устойчивым развитием.

Статьи по теме:

• МикроЦОДы под ключ — общемировая тенденция EDGE-computing

• Можно ли построить ЦОД на российских решениях?

• Защита данных и информации: методы, практика, стандарты и законы

• Дата-центры в России: тенденции и перспективы

• Критическая информационная инфраструктура: все, что нужно знать о КИИ