Руководство по плотности мощности контейнерных центров обработки данных

Плотность мощности контейнерного центра обработки данных: начните со списка стоек

Краткий ответ

• 5–8 кВт/стойка  — граничные вычисления, системы хранения и общие ИТ-задачи;
• 15–30 кВт/стойка  — вывод моделей (inference) и гибридные ускоренные вычисления;
• 100 кВт/стойка и выше  — обучение ИИ с применением жидкостного охлаждения на уровне чипов.

Примечание от отдела подбора оборудования

Типичный запрос начинается так:

Полезного ответа пока нет. Два мегаватта обычных серверов и два мегаватта плотно упакованных стоек с GPU требуют разных планировок помещений. Отличаются также трассы прокладки кабелей, системы охлаждения, трубопроводы, вес шкафов и размещение аккумуляторов.

Первый документ, необходимый инженерам ZT, — это не количество контейнеров. Это список стоек, в котором должны быть указаны, как минимум:

• оборудование, установленное в каждом стойке;
• ожидаемая и пиковая мощность в кВт для каждого стойка;
• напряжение и схема электропитания;
• требуемый уровень резервирования ИБП;
• автономность аккумуляторов;
• нагрузки с воздушным и жидкостным охлаждением;
• расчётная температура на площадке.

Контейнер имеет фиксированные стенки. Если два шкафа GPU создают локальную концентрацию тепла, дополнительного прохода для компенсации не существует. Эту проблему необходимо решить на чертеже до сборки на заводе.

Рассчитайте параметры до выбора системы охлаждения

Вот базовая проверка для стандартной низкоплотностной компоновки:

Расчёт служит лишь отправной точкой. Среднее значение может скрыть неравномерное распределение нагрузки по стойкам. Например:

При таком размещении средняя нагрузка по-прежнему составляет 5 кВт/стойка, однако последние две стойки определяют локальные требования к воздушному потоку. Среднее значение по ряду не обеспечивает охлаждение перегруженной стойки.

Поэтому ZT анализирует нагрузку на уровне отдельных стоек, а не полагается на одно усреднённое значение для всего контейнера.

Три проектных варианта

Вариант А — 5–8 кВт на стойку

Это привычный диапазон для пограничных систем, систем хранения данных, телекоммуникаций и общего корпоративного вычисления. Обычно подходит воздушное кондиционирование в ряду по схеме N+1.

Установка в Казахстане служит полезным ориентиром. Компания ZT поставила три 40-футовых контейнера с суммарной ИТ-нагрузкой 168 кВт , распределённой по 24 стойкам . Полученная удельная нагрузка составила 7 кВт/стойка . В комплект входили:

• иБП по схеме 2N;
• 20 минут резервного питания от батареи VRLA;
• Кондиционирование воздуха в ряду по схеме N+1;
• Система пожаротушения FM200;
• наружный корпус с классом защиты IP55.

Арифметика имеет значение:

Для одного стандартного контейнера заявленные диапазоны следующие:

Не копируйте столбец «суммарная нагрузка» в поле «кВт/стойка». Это разные параметры.

Случай B — от 15 до 30 кВт на стойку

Этот диапазон охватывает задачи ИИ: вывод моделей, дообучение и смешанные вычисления на CPU и GPU. Воздушное охлаждение может оставаться практичным, но только при целенаправленном управлении воздушными потоками в проходах и с составлением тепловой карты для каждой стойки.

Оборудование ZT для установки в ряд охватывает:

• 15–62,6 кВт для агрегатов прямого испарения;
• 32,9–61,4 кВт для агрегатов с охлаждаемой водой;
• коэффициент отвода скрытого тепла выше 95%.

Номинальная мощность охлаждающего агрегата не совпадает с номинальной мощностью стойки. Один агрегат, устанавливаемый в ряд, может обслуживать несколько шкафов в зависимости от рабочей точки, резервирования и организации воздушного потока.

Это также тот диапазон, где средние значения становятся наименее информативными. Предположим, что шесть стоек в ряду запланированы следующим образом:

Среднее значение по ряду составляет около 18,7 кВт на стойку. Однако последние две стойки определяют уровень теплового риска. Им может потребоваться иная конфигурация по сравнению с первыми четырьмя.

Австрия 30–50 кВт/стойка , ZT обычно рассматривает теплообменники на задней двери или гибридную воздушно-жидкостную конструкцию. Конкретный выбор зависит от серверного оборудования, температуры воды и условий площадки.

Сценарий C — 100 кВт на стойку и выше

На этом этапе конструкция уже не является масштабированной версией сценария A. При превышении 50 кВт/стойка , ZT использует жидкостное охлаждение на уровне чипов как практически реализуемый путь отвода тепла.

Оборудование для жидкостного охлаждения включает:

• опору для стоек от 30 кВт до 100 кВт и выше ;
• коллекторы из нержавеющей стали марки 304;
• Шланги из EPDM;
• быстросъёмные соединители сухого типа;
• CDU от 200 до 1400 кВт ;
• контроль температуры на вторичной стороне в диапазоне ±1°C ;
• доступна конфигурация насосов, приборов, электропитания и систем связи по схеме 1+1.

В проекте облачных вычислений в США использовались пять 40-футовых ISO-контейнеров в 100 кВт/стойка , общая мощность проекта составила 5 мВт . В комплект входили ИБП по схеме 2N, литиево-ионные аккумуляторы с резервным питанием на 10 минут, гибридная воздушно-жидкостная система охлаждения, чиллеры свободного охлаждения на магнитных подшипниках, агент огнетушения Novec 1230, система раннего обнаружения дыма VESDA и интегрированная система управления ИТ-инфраструктурой (DCIM).

Зафиксированный срок поставки составил шесть месяцев. Срок традиционного строительства, указанный в документации проекта, — 18–24 месяца. Архитектура была спроектирована с возможностью масштабирования от 5 МВт до 50 МВт.

Это записи по проекту, а не универсальные обязательства. Работы на площадке, согласования и готовность инженерных сетей по-прежнему влияют на график.

Какой вариант охлаждения соответствует графику размещения стоек?

Рассматривайте таблицу как инструмент предварительного отбора решений. Она не заменяет перечень серверов или тепловую модель.

Четыре проверки предложения поставщика

1. Чётко ли обозначены единицы измерения?

В предложении должны чётко различаться:

• кВт на стойку;
• общая мощность ИТ в кВт на контейнер;
• мощность холодильной установки в кВт;
• Тепловая мощность CDU в кВт;
• общая проектная мощность в МВт.

Если эти значения приведены в одной таблице без пояснительных надписей, запросите исправленную схему.

2. Описание избыточности отражает реальную топологию?

термин «высокая доступность» не является топологией. Уточните, реализована ли схема N+1, 2N или иная конфигурация. Подтвердите, какие компоненты дублируются и как работает система во время технического обслуживания.

В эталонных проектах ZT используются ИБП-системы типа 2N с литиевыми или VRLA-аккумуляторами. Стойковые ИБП соответствуют стандарту ISO/IEC 62040-3, обеспечивают нулевое время переключения и достигают КПД 98,5 % в режиме ECO. Напольные ИБП имеют КПД 95,5 %, принимают входное напряжение 138–485 В переменного тока и допускают параллельную работу четырёх единиц.

3. Проверил ли поставщик массу стоек и остаточный воздушный поток?

Стойки ZT имеют статическую грузоподъёмность 3000 кг и перфорацию более 80 % . Оба параметра важны для современного GPU-оборудования. Жидкостное охлаждение отводит тепло от компонентов с холодными пластинами, однако другие части сервера по-прежнему могут выделять тепло в окружающий воздух.

4. Существует ли план заводских испытаний?

Перед отгрузкой покупатель должен ознакомиться с предложенным планом приёмочных заводских испытаний. Полезными документами являются:

• однолинейные схемы;
• графики размещения стоек;
• списки аварийных сигналов и блокировок;
• точки тепловой нагрузки систем охлаждения;
• Последовательности управления ЦУУ;
• результаты термического анализа или численного моделирования течения жидкости и газа;
• расчёты автономности аккумулятора;
• согласование автоматических выключателей;
• испытания на герметичность;
• процедуры комплексных системных испытаний.

Интеграция на заводе сокращает объём монтажных работ на объекте. Однако это не устраняет необходимости проведения проверки.

Примечания по эффективности и соответствию требованиям

ЗТ зафиксировал годовой коэффициент использования энергии ниже 1.2для полной возможности жидкостного охлаждения с использованием холодных пластин в 2024 году. В его библиотеке параметров указано 1.5–2.0в качестве диапазона сравнения для традиционных воздушно-охлаждаемых объектов. Значение PUE зависит от климата, нагрузки и теплоотвода, поэтому окончательная целевая величина должна быть проверена с учётом условий конкретного проекта.

В списке сертификатов ZT указаны ISO 9001, CE, CCC, TUV, RoHS, UL и TIA-942. В библиотеке параметров продукции также указаны UL 1741 для систем питания контейнеров, UL 94 V-0 для огнестойкости корпуса контейнера с ИИ и IP55 для защиты от проникновения.

Перед покупкой подтвердите область действия и номер сертификата для предлагаемой конфигурации. Наличие логотипа в брошюре недостаточно.

Для более широкого контекста проектирования см. Обзор TIA-942 а также Ресурсы Министерства энергетики США по центрам обработки данных .

Часто задаваемые вопросы

Что мне следует направить в ZT для первоначального расчёта размеров контейнера?

Направьте график стоек, список серверов или GPU, пиковую нагрузку на стойку, напряжение, требования к резервированию, продолжительность автономной работы, предпочтения по системе охлаждения и условия площадки.

Является ли контейнер мощностью 40–70 кВт решением высокой плотности?

Не обязательно. В стандартной справочной документации ZT общая ИТ-нагрузка 40-футового контейнера составляет 40–70 кВт. При размещении 8 стоек с общей нагрузкой 40 кВт приходится по 5 кВт на стойку.

Можно ли использовать среднюю нагрузку на стойку для расчёта систем охлаждения?

Используйте её только для предварительной оценки. Расположение воздуховодов, трубопроводов и блоков охлаждения может определяться не средней, а максимальной нагрузкой на самую нагруженную стойку.

Когда следует рассматривать жидкостное охлаждение?

ZT обычно рассматривает охлаждение через заднюю дверь или гибридные решения при нагрузке 30–50 кВт на стойку. При нагрузке свыше 50 кВт на стойку практическим решением становится жидкостное охлаждение на уровне чипов.

Какие размеры CDU доступны?

ZT предлагает CDU мощностью от 200 до 1400 кВт с точностью поддержания температуры на вторичной стороне ±1 °C и возможностью исполнения с резервированием по схеме 1+1.

На сколько сокращает сроки строительства предварительная сборка?

ZT фиксирует сокращение времени монтажа на площадке на 50–70 % по сравнению с традиционным строительством. Фактическая продолжительность проекта по-прежнему зависит от объёма земляных работ, получения разрешений, подключения коммуникаций и логистики.

Три пункта, которые следует указать на титульном листе RFP

• Укажите максимальную нагрузку на стойку — не только среднюю.
• Указывайте общую вместимость контейнера, нагрузку на стойку и холодопроизводительность отдельно.
• Требуйте предоставления чертежей, расчётов и плана заводских испытаний до утверждения.
• 

О ZT

Основанная в 2009 году, ZT (ZheJiang ZhiTing Information Technology Co., Ltd) разрабатывает и производит предварительно собранные инфраструктурные решения для центров обработки данных на производственной площадке площадью 30 000 м² в провинции Чжэцзян, Китай, с численностью персонала более 200 человек. Ассортимент продукции включает контейнерные системы стандартов ISO на 20 и 40 футов, устройства распределения охлаждения (CDU), внутрирядное охлаждение, ИБП, стойки и программное обеспечение DCIM. Среди сертификатов, указанных компанией ZT, — ISO 9001, CE, CCC, TUV, RoHS, UL и TIA-942.

Обсудите график размещения стоек с ZT

Для полезного первого анализа направьте реальный список стоек и оборудования, а не единый целевой показатель проекта в МВт. Инженерная команда ZT сможет тогда согласовать компоновку контейнера, цепочку электропитания и систему охлаждения с заявленной нагрузкой.

Запросить техническую консультацию или просмотреть контейнерное решение для центра обработки данных .

Источники

• Серия ASHRAE Datacom
• TIA: Белая книга по центрам обработки данных — жидкостное охлаждение
• Обзор стандарта TIA-942
• Министерство энергетики США: центры обработки данных и серверы