Рынок контейнеризированных центров обработки данных: текущие тенденции и перспективы

Настоящий —глобальные болевые точки, формирующие современный тепловой дизайн

Если вы работали непосредственно с проектами инфраструктуры, ориентированными на edge-вычисления и искусственный интеллект, вы заметите, что проблемы охлаждения редко сводятся исключительно к оборудованию. Многие команды проектов, с которыми я сотрудничал при предыдущих развертываниях, сталкивались с избежимыми трудностями, поскольку выбирали архитектуру охлаждения без учёта местного климата, плотности мощности в стойках и условий труда на площадке. Характерный пример из практики — развертывание edge-инфраструктуры за рубежом: изначально заказчик планировал создать традиционные машинные залы, строящиеся непосредственно на объекте, для региональных рабочих нагрузок 5G и финансовых приложений. Сроки строительства затянулись, квалифицированных монтажников на месте было недостаточно, а неожиданные летние периоды высоких температур привели к многократному тепловому троттлингу вычислительного оборудования до завершения полной передачи проекта. В итоге проект перешёл на контейнеризированную ИТ-инфраструктуру, выбрав 20-ft Containerized Data Center в качестве основного аппаратного обеспечения edge-узла с предварительно интегрированной системой охлаждения, поставленной после полного прохождения заводских приёмочных испытаний.

Этот практический пример основан на наблюдениях, задокументированных сообществом ASHRAE TC 9.9. Их тепловые руководящие принципы являются самыми цитируемыми в мире рекомендациями по ограничению рабочих температурных диапазонов ИТ-оборудования (ASHRAE). Традиционно воздушное охлаждение ИТ-оборудования было простым решением. Однако недавний сдвиг в структуре рабочих нагрузок центров обработки данных поставил перед отраслью воздушного охлаждения новые вызовы, особенно при работе с ИИ и высокопроизводительными вычислениями (HPC). При воздушном охлаждении основная идея заключается в увеличении площади поверхности теплообменных змеевиков для компенсации роста тепловых нагрузок, а также в увеличении высоты охладительных установок — для повышения объёма охлаждаемого воздуха. Эти вызовы привели к расширению пределов допустимых рабочих температур ИТ-оборудования. Простое применение консервативных ограничений может в долгосрочной перспективе оказаться более затратным. Инженеры по проектированию систем охлаждения для контейнеризированных ЦОД должны определить, какие из следующих решений — косвенное испарительное охлаждение, воздушное охлаждение на уровне ряда стоек, гибридное воздушно-жидкостное или полностью жидкостное охлаждение — обеспечивают требуемую мощность на стойку. Перед отгрузкой наша производственная команда проводит испытания на герметичность и давление, а также частичное моделирование тепловой нагрузки на заводе площадью 30 000 квадратных метров. Большинство рисков интеграции устраняются до отправки контейнеров конечным пользователям. Такой рабочий процесс снижает зависимость от дефицитных специалистов по монтажу на месте — это существенное преимущество для проектов на Ближнем Востоке и в Африке.

Техническая торговля —компромиссы между воздушным —охлаждением и жидкостным —охлаждением

Некоторые рассматривают жидкостное и воздушное охлаждение как взаимоисключающие решения. На практике они дополняют друг друга в крупномасштабных инфраструктурных проектах. Модули прецизионного охлаждения в ряду (In-Row) в наших контейнеризированных ЦОД длиной 20 футов используют воздушное охлаждение и остаются экономически эффективными при ИТ-нагрузке до 25 кВт — это идеальный вариант для периферийных установок в государственном секторе и телекоммуникациях, а также для некоторых облачных развертываний. Модульные воздушно-охлаждаемые ЦОД упрощают рабочие процессы, требуют менее квалифицированного персонала на месте и используют бесплатное охлаждение, когда позволяют условия окружающей среды. Как и жидкостное охлаждение, воздушное охлаждение имеет ограничения и накладывает практические ограничения при рассмотрении плотных ИИ-нагрузок.

Системы охлаждения с жидкостным теплоотводом заменяют воздушные системы охлаждения в высокоплотных AI-приложениях. Модульные микродатацентры Nebula series с жидкостным охлаждением и контейнерные установки INFINITY SERIES на базе двух 40-футовых контейнеров предлагают гибридную воздушно-жидкостную систему охлаждения, способную поддерживать плотность размещения оборудования на стойке до 100 кВт. Эти решения ориентированы на задачи обучения ИИ и высокопроизводительные вычисления (HPC). Согласно Рамочному документу по энергоэффективности датацентров для ИИ от ASHRAE/NEMA/PNNL, гибридные тепловые конфигурации следует рассматривать при проектировании вычислительной инфраструктуры нового поколения — в частности, для обеспечения требуемого диапазона температур подаваемой воды, применения чиллеров с бесплатным охлаждением, а также для корректной эксплуатации градирен в течение сезонных изменений. Контейнерные датацентры с жидкостным охлаждением интегрируют блоки CDU, жидкостные контуры, системы обнаружения утечек и модули DCIM непосредственно на заводе-изготовителе. Каждый жидкостный контур проходит гидростатические испытания давлением и цикловую отладку, что снижает вероятность аварий на трубопроводах. При проектировании жидкостных путей охлаждения необходимо дополнительно учитывать совместимость рабочей жидкости, фильтрацию и техническое обслуживание; производители должны предоставлять конечным пользователям соответствующую информацию.

Предварительная сборка на заводе —интеграция и обеспечение качества подсистем охлаждения

В целях обеспечения надёжности систем охлаждения «от начала до конца» необходимо также учитывать, как и где осуществляется окончательная сборка и проверка систем охлаждения. Основные различия в подходах к механической интеграции систем охлаждения в традиционных проектах центров обработки данных и в более новых проектах по производству контейнеризированных центров обработки данных позволяют выявить потенциальные пробелы в традиционном строительстве центров обработки данных. В традиционных проектах центров обработки данных большая часть механических работ выполняется непосредственно на объекте заказчика, что означает, что конечные показатели эффективности охлаждения зависят от ряда неконтролируемых факторов (нестабильность качества исполнения работ, задержки из-за погодных условий, координация субподрядчиков). Проекты по производству контейнеризированных центров обработки данных кардинально меняют эту ситуацию: основные компоненты систем охлаждения интегрируются и проходят предварительное тестирование в заводских условиях, а затем доставляются на объект заказчика.

В нашем производственном процессе мы разработали системный подход к проверке целостности подсистем охлаждения. После механической сборки выполняется статическая проверка трубопроводов и электропроводки. Затем проводится серия функциональных проверок, включая вращение вентиляторов, запуск чиллеров, перекрёстную проверку датчиков и калибровку расходомеров CDU. Для полной нагрузки системы охлаждения и наблюдения за её поведением имитируются тепловые «фиктивные» нагрузки, создающие различные температурные профили. Условие частичной нагрузки может быть полностью протестировано до поставки контейнеризированного центра обработки данных на объект заказчика. Для каждой из систем контейнеризированных ЦОД размером 20 футов доступны воздушные, жидкостные и холодильные системы охлаждения. Каждый блок проходит полное тестирование, а документация по характеристикам системы охлаждения предоставляется заказчику до отгрузки. Такой комплексный подход к обеспечению качества вне площадки особенно ценен для заказчиков из регионов с высоким уровнем риска, где при вводе в эксплуатацию критически важных систем местная поддержка практически отсутствует или недоступна.

Соответствие архитектур систем охлаждения географическим и бизнес-требованиям

Эффективность охлаждения нельзя оценивать изолированно от географии эксплуатации. Решения, демонстрирующие высокую эффективность в умеренных климатических зонах, могут столкнуться с серьёзными трудностями в тропических условиях с высокой влажностью или в пустынных регионах с экстремально высокими температурами. Высокие температуры окружающей среды увеличивают продолжительность работы механических систем охлаждения, тогда как влажные регионы ограничивают применение режимов бесплатного охлаждения испарительного типа. Многие заказчики, рассматривающие размещение модульных центров обработки данных (containerized data center), стремятся к быстрому наращиванию мощностей без ожидания длительных сроков строительства традиционных объектов, однако недооценивают влияние климата на выбор габаритов оборудования для охлаждения и конфигурацию резервирования.

Для развертываний, ориентированных на периферию, например, удалённые телекоммуникационные объекты или инфраструктура финансовых учреждений типа филиалов, контейнеризованный центр обработки данных длиной 20 футов обеспечивает гибкое масштабирование. Клиенты могут начать с автономных узлов мощностью 15–25 кВт и впоследствии объединить несколько контейнеров в кластер по мере роста вычислительных потребностей; при этом мощность системы охлаждения увеличивается пропорционально добавлению ИТ-стоек. Для крупномасштабных развертываний, ориентированных на ИИ, предпочтительны наши кластеры воздушного охлаждения длиной 40 футов или группы жидкостного охлаждения серии INFINITY, спроектированные для работы с общей ИТ-мощностью от сотен киловатт до совокупных рабочих нагрузок в несколько мегаватт. На этапах участия в торгах и индивидуального проектирования наша инженерная группа анализирует локальные исторические метеоданные совместно с прогнозами ИТ-нагрузки, предоставленными клиентом, чтобы настроить пороги активации бесплатного охлаждения, схемы резервирования оборудования охлаждения по принципу N+X и ожидаемые объёмы водопотребления. Встроенный в каждый контейнеризованный центр обработки данных DCIM-мониторинг непрерывно регистрирует параметры охлаждения, помогая местным операторам отслеживать температуру на входе, время работы оборудования и энергопотребление в течение длительного периода эксплуатации.

Сбалансированность эффективности, устойчивости и общей —стоимость —из —стоимости владения для стратегий охлаждения

При разработке стратегий охлаждения возникают компромиссы. В стратегии охлаждения необходимо учитывать такие ограничения, как требование непрерывной работы («всегда включено»), эксплуатационная устойчивость и трудозатраты на техническое обслуживание, среди прочего. Как правило, снижение показателя PUE является достойной целью; однако при попытке достичь всё более низких значений компания может неоправданно перерасходовать средства на оборудование и подвергать риску бесперебойность работы. Важна также избыточность: подсистемы охлаждения могут быть сконфигурированы по схемам N+1 или 2N, что создаёт компромисс между минимизацией простоев и текущими затратами на владение.

Системы контейнеризированных центров обработки данных обеспечивают гибкость архитектуры. Например, в некоторых проектах применяется «смешанная тепловая стратегия», при которой жидкостное охлаждение используется для отдельных модулей (например, сегмента ИИ), а воздушное — для других модулей (например, вычислений общего назначения). Среди примеров реализации — масштабные корпоративные развертывания в Казахстане, а также рабочие нагрузки ИИ в США (один из кейсов относится к телекоммуникационному классу, другой — к сфере общественной безопасности). Основное внимание следует уделить жизненному циклу оборудования. В качестве иллюстрации: хотя аппаратное обеспечение компании A может стоить столько же, сколько и оборудование компании B, у оборудования компании A может быть более низкое время безотказной работы, более высокая трудоёмкость технического обслуживания и меньшая гибкость в компромиссных решениях. Наша компания имеет удалённую диагностическую платформу, а также предоставляет международную полевую поддержку после поставки клиентам. Это делается для обеспечения соответствия систем охлаждения в контейнеризированных центрах обработки данных их первоначальному проектному решению.

Часто задаваемые вопросы

В1: Как выбрать воздушное —охлаждаемый или жидкостный —охлаждаемый контейнеризованный центр обработки данных? О: Оцените плотность мощности в стойке, местный климат и возможности технического обслуживания на месте. Версия 20-футового контейнеризованного центра обработки данных с воздушным охлаждением подходит для суммарной ИТ-нагрузки контейнера менее 25 кВт. Жидкостное охлаждение подходит для высокоплотных ИИ-нагрузок и требует компетентного обслуживания жидкостного контура.

В2: Соответствует ли —встроенное охлаждение международным тепловым стандартам? О: Конструкции соответствуют рекомендациям ASHRAE TC 9.9 по ИТ-тепловым параметрам. Каждое устройство проходит заводские тепловые испытания. Окончательные эксплуатационные показатели на месте всё ещё зависят от правильного монтажа инженерных коммуникаций и ввода в эксплуатацию.

В3: Каковы основные риски —для контейнеризованных центров обработки данных с жидкостным охлаждением? О: Основные риски включают утечки в трубопроводах, засорение фильтров и несоответствие холодного источника. Встроенные датчики утечек и система DCIM с мониторингом в реальном времени помогают снизить эти риски.

В4: Можно ли расширить мощность охлаждения после доставки контейнера? A: У одного контейнера фиксированная внутренняя холодопроизводительность. Масштабирование достигается путём добавления дополнительных контейнеров для построения кластера. Поделитесь планами будущего роста на раннем этапе проектирования.

В5: Насколько важное значение имеет качество монтажа на площадке? A: Большая часть интеграционных работ завершается на заводе-изготовителе. Однако правильное подключение электропитания, заземления и источника холода остаётся критически важной для стабильной работы системы охлаждения.

ASHRAE: Энергоэффективностный стандарт для центров обработки данных с ИИ

Совместно опубликовано ASHRAE, NEMA и PNNL (Тихоокеанская национальная лаборатория Северо-Запада)