Для дата-центров

Охлаждение

Центры обработки данных (ЦОД) производят огромное количество тепла – компьютер и системы хранения, которые в них находятся, превращают 90% своей входной мощности в тепло. Чтобы оборудование исправно работало, это тепло необходимо механически охладить или убрать из пространства ЦОД. Еще более усложняет эту задачу то, что необходимо строго поддерживать надлежащее качество воздуха и безопасность дата-центра, что приводит к дополнительным расходам, сложности конструкций и работы охлаждения ЦОД. Охлаждение дата-центра – это очень специфическая задача для сферы кондиционирования и вентиляции воздуха.

Лучшие разработки и конструкции по всему миру обычно проходят проверку Американского общество инженеров по отоплению, охлаждению и кондиционированию.

Огромное количество эксплуатационных и капитальных затрат, свыше 100%-200% энергозатрат от компьютерной нагрузки приходилось тратить на системы охлаждения дата-центров. Сфера отопления, вентиляции и кондиционирования представляла единственную область для экономии средств и увеличения эффективности в дата-центрах.

С 2004 года не так много сфер конструкции ЦОД подверглись таким улучшениям, как область охлаждения. Тепловые нагрузки, сначала от обработки данных с помощью блейд-сервера, а теперь и от всех эффективных вычислительных операций, способствовали постоянному увеличению максимальной плотности теплового потока в дата-центрах, которая иногда превышала 35 кВт на стойку. Это означает увеличение плотности теплового потока в дата-центрах более чем на 300 % за последние десять лет, в то время как современное «потолочное» охлаждение составляет меньше 50 % энергозатрат – независимо от сезона и наружной температуры – в зависимости от уровня резервности и отказоустойчивости.

Монтаж чиллера

Монтаж чиллера несколько отличается от монтажа другого холодильного оборудования промышленного класса. Например, монтаж моноблочного чиллера заключается в сооружении опорных конструкций и такелажных работ, которые может выполнить любая строительная компания. Но для того, чтобы чиллер работал, необходимо провести ряд мероприятий, которые обычно не принято называть монтажом чиллера, но сложность этих работ требует специальных знаний и инженерных возможностей монтажной организации.

В первую очередь это расчеты и проектные решения. На данном этапе закладывается основа предстоящих затрат, работ и, главное результата. Не смотря на то, что все вроде бы понимают важность проектной стадии объекта, многие ей пренебрегают или не уделяют достаточно внимания. Наиболее распространено ошибочное мнение, что за приличные деньги (около 10% от стоимости объекта) заказчик не получает ничего, кроме информации. В результате такого отношения представителей Заказчика к проекту, в процессе выполнения монтажных работ нам часто приходилось сталкиваться с недоработанной проектной документацией. Это были или эскизные проекты, созданные на скорую руку для предварительной оценки стоимости объекта, но выполнить по такому проекту невозможно. Или принципиально неработоспособные решения – дело рук непрофессионалов, готовых бесплатно или за странно низкую стоимость посчитать монтаж чиллера.

Специалисты нашей компании, прежде чем взяться за реализацию того или иного проекта монтажа чиллера, всегда проводят аудит предоставленного Заказчиком проекта. Благодаря своевременному выявлению недоработок в проекте и оптимизации проектных решений, нам удавалось предостеречь Заказчика от приобретении неработоспособной конфигурации оборудования и пересмотреть проект.

При установке чиллера важным вопросом является компоновка и размещение оборудования и коммуникаций. Особенно это касается монтажа составных чиллеров, таких как чиллер с выносным конденсатором, или чиллер с водоохлажденным конденсатором, требующий установки выносных водоохладителей.

Решая задачи компоновки и размещения холодильного оборудования, мы учитываем и проверяем несущую способность оснований, соблюдаем мероприятия по защите от вибраций и шума, предусматриваем свободные зоны для обслуживания всех компонентов системы.

Наиболее дорогостоящая и трудоемкая часть монтажа чиллера - это гидравлический контур системы охлаждения. Гидравлический контур включает в себя обвязку чиллера, сеть трубопроводов и фанкойлов холодоснабжения здания. Обвязка чиллера необходима для нормальной циркуляции холодоносителя в системе. Обвязка состоит из насосов, запорно-регулирующей арматуры, накопительных и подготавливающих емкостей и управляющей автоматики. В монтаж сети холодоснабжения входит прокладка трубопроводов, установка балансировочной арматуры, монтаж фанкойлов (FanCoil - «вентиляторный теплообменник». Фанкойлами называют внутренние блоки систем кондиционирования, используемые совместно с охладителями воды – чиллерами. Внешне и по конструкции они напоминают внутренние блоки фреоновых систем, с той разницей, что внутри теплообменников течет холодная вода, а не фреон.).

Наладочные работы и запуск в эксплуатацию

Управление работой чиллера осуществляется автоматикой на базе электронного контроллера. Контроллер собирает и обрабатывает более двухсот различных параметров работы всех систем и агрегатов чиллера. В процессе пуско-наладочных работ должны быть проверены все параметры, а так же должно быть проконтролировано срабатывание автоматики при изменении некоторых параметров. Часть параметров и алгоритмов работы чиллера устанавливаются производителем и не рекомендованы к изменениям в процессе запуска в эксплуатацию. Некоторые параметры и настройки необходимо задавать в ручную, используя специальные графики и табличные данные.

При выполнении работ по монтажу чиллера, мы всегда нацелены на наилучший результат.

Фальшпол и агрегаты CRAC

CRAC (прецизионные кондиционеры воздуха для компьютерных помещений) – это громкие, обычно одноцветные элементы в помещении дата-центра, которые производят сильную циркуляцию холодного воздуха. Как правило, с их помощью также можно регулировать уровень влажности.

Агрегаты CRAC находятся на фальшполу (белая плитка из антистатических материалов, что является частью характерного вида ЦОД). Область, где холодный воздух циркулирует под полом, представляет собой пространство фальшпола (система распределения обработанного воздуха); это важная часть системы воздушных потоков. Некоторые дата-центры отказываются от капитальных затрат на создание пространства фальшпола. В результате увеличиваются рабочие расходы, так как невозможность контролировать смешивание горячего и холодного воздуха сокращает концентрации нагрева, что является решающим для эффективного охлаждения.

Пространство фальшпола должно иметь несколько заграждений. Все, что находится под полом (например, кабельная сеть) должно быть ограничено и заключено в канал, чтобы сократить «торможение» воздушного потока. Задача фальшпола – обеспечить беспрепятственный путь подаче холодного воздуха в любое место ЦОД. Плиты фальшпола сменные и взаимозаменяемые, это позволяет при необходимости осуществлять перераспределение воздуха.

Наиболее эффективные агрегаты CRAC не имеют компрессоров или движущихся элементов, кроме вентиляторов и клапанов; главным образом они работают в качестве теплообменников. В некоторых конструкциях в установки CRAC помещены компрессорные агрегаты – но меньшие компрессоры обычно менее эффективны и, более того, так как компрессоры вырабатывают тепло, им нужно больше работать для отвода их собственного тепла из дата-центра.

Наиболее эффективные агрегаты CRAC используют холодильные контуры с охлажденной водой для выработки холодного воздуха. Проще говоря, воздух пропускается через охлажденную батарею теплообменника (как в радиаторе вашей машины) и в результате охлаждается. Температура холодильного контура очень важна – при слишком высокой вырабатывается недостаточно охлаждения, слишком низкая температура может стать причиной конденсации. В традиционной конструкции лучшей температурой холодильного контура считается температура между 7,2 °C и 11,1 °C – в зависимости от окружающей среды и сезона. (Для выработки воздуха при 18,3 °C холодильный контур должен иметь температуру ~ 4,4 °C . Если наружная температура составляет 37,8 °C, разница должна составлять 33,3 градусов).

Холодильный контур немного нагревается, когда проходит через каждый агрегат CRAC. Поэтому холодильный контур должен иметь определенный размер, чтобы переносить достаточно воды для того, чтобы вода для последних установок CRAC оставалась в достаточной мере охлажденной. С помощью высокоэффективных водяных насосов возможно поддерживать последовательный и достаточно медленный расход воды каждого контура, что гарантирует наиболее эффективную работу (если вода двигается слишком быстро, теплообменник не охлаждается надлежащим образом).

Требования к температуре, влажности и качеству воздуха в серверных

Комплектация ЦОД должна включать систему климат-контроля, которая круглосуточно в течение всего года обеспечивает активному оборудованию необходимый для нормального функционирования температурный режим и влажность. При отсутствии возможности непрерывной работы централизованной системы микроклимата в здании серверному помещению требуется автономная климатическая система.

Система кондиционирования серверных и дата-центров должна обеспечивать следующие параметры:

Температура в серверной комнате 20-25 ^o С.
Влажность – 40-55%.
Приток свежего воздуха с фильтрацией класса EU4 и подогревом в зимнее время.

Фактическая холодильная мощность системы кондиционирования должна перекрывать суммарное тепловыделение от всего оборудования ЦОД. Система должна состоять как минимум из двух независимых кондиционеров, каждый из которых рассчитан на самостоятельное обеспечение заданного микроклимата в помещении.

Охлаждение серверной комнаты часто организуют с использованием фальшполов высотой не менее 300 мм от основного перекрытия до уровня чистового пола. Рекомендуемая высота – 400 мм. В пространстве под фальшполом организуют каналы распространения холодного воздуха. Фальшпол состоит из легко демонтируемых прочных модулей (плиток), выдерживающих точечную нагрузку до 455 кг. В конструкции фальшпола должна быть предусмотрена установка решеток вентиляции и кабельных вводов для телекоммуникационных стоек. Общая шина технологического заземления серверной должна обеспечивать заземление всех конструкций фальшпола.

Оптимальные технологические решения для ЦОД

В целях достижения соответствия систем кондиционирования и вентиляции стандартам TIA-942 и TIA/EIA-569, разработан целый ряд технологических решений, среди которых можно выделить следующие:

Кондиционирование

Рынок климатической техники предлагает потребителю прецизионные кондиционеры, сплит-системы, промышленные и полупромышленные кондиционеры. Кондиционирование серверной комнаты оптимально обеспечивается прецизионным типом, в рамках которого можно выделить такие варианты:

Системы с непосредственным расширением (DX). Самое распространенное решение организации кондиционирования ЦОД, если речь идет о небольших удельных тепловых нагрузках. Подобные системы строятся на основе фреоновых прецизионных кондиционеров. Принцип работы последних основывается на подаче во внутренний блок оборудования фреона, который расширяется и испаряется с отдачей холода воздуху помещения. Преимуществами таких систем являются относительно невысокая стоимость в сочетании с высокой надежностью и длительным сроком службы. Однако DX-системы требуют значительных эксплуатационных затрат и предъявляют серьезные требования к энергосистемам и помещению.
Системы на холодоносителе (СW). Решение для средних и крупных ЦОД. Принцип действия системы состоит в охлаждении воздуха в теплообменнике кондиционера за счет циркуляции охлажденного в холодильных машинах (чиллерах) холодоносителя. От DX-систем CW-системы отличаются более низкими эксплуатационными затратами и гибкостью, однако это более сложное инженерное решение, требующее высоких капитальных затрат.
Системы на основе принципа полного свободного охлаждения (FFC). В этих системах используется принцип теплообмена между наружным воздухом и воздухом, который циркулирует в ЦОД. Система кондиционирования 95% времени в году не требует участия компрессоров. За счет этого каждый кВт потребляемого электричества в среднем в течение года дает 7 кВт холода. Для сравнения: в DX-системах речь идет о 2 кВт холода на каждый кВт электроэнергии, а у CW – не более 5 кВт. FFC-система не требует фальшполов, отличается низкими эксплуатационными и средними капитальными затратами, позволяет использовать высоконагруженные стойки до 50 кВт. Недостатком является отсутствие широкого накопленного опыта внедрения подобных систем в России.
Система естественного охлаждения с промежуточным теплоносителем (DFC). Особенностью системы является сочетание компрессорного и естественного охлаждения. Переключение на оптимальный режим работы, соответствующий тепловой нагрузке и сезонным изменениям наружной температуры, производится автоматически. Преимуществом системы является ее высокая эффективность, недостатками – сложность и немалая стоимость.
Системы охлаждения, интегрированные в стойку. Высокие тепловые нагрузки может снимать замкнутый цикл охлаждения в стойке. Специализированные серверные шкафы могут быть оборудованы системами охлаждения, защиты электропитания, пожаротушения, аварийной вентиляции и мониторинга. В этом случае нет необходимости в фальшполах, а приборы охлаждения приближены к тепловой нагрузке. Недостатком такого оборудования является его высокая стоимость.

Вентиляция

Какой будет система вентиляции помещения, решается на этапе выбора системы кондиционирования. Для ЦОД обычно используется приточно-вытяжная вентиляция. В соответствии с современными тенденциями к снижению электропотребления в климатических системах, вентиляция должна проектироваться с соблюдением следующих принципов:

наличие устройств возврата и повторного использования тепловой энергии;
использование энергосберегающих элементов;
увеличение расчетного срока эксплуатации оборудования.

Выводы

Динамичный характер охлаждения ЦОД, возрастающие компьютерные возможности и, соответственно, увеличение плотности мощности в стойке и помещении представляют серьезную проблему. Современное IT-оборудование может увеличить мощность дата-центра до 750 Вт на квадратный фут, что гораздо повышает требования к охлаждению и расходы. Важно выбрать правильного партнера с развитой инфраструктурой и опытом для управления этими проблемами. Неправильное решение вероятно станет причиной больших эксплуатационных расходов и, что еще хуже, повышенного риска простоя.