Контейнерные, модульные и микроцентры обработки данных

Контейнерные, модульные и микроцентры обработки данных

Краткий ответ

• Определите границы системы: уточните, что входит в поставляемый комплект, а что остаётся на уровне площадки.
• Укажите каждый интерфейс: электропитание, охлаждение, сеть, системы управления, пожарная безопасность, несущая конструкция, водоотвод, доступ и ответственность.
• Выберите модуль расширения: другой корпус, другой функциональный блок, другой локальный граничный узел или скоординированная комбинация.
• Проведите проверку по запросу предложений (RFP): обеспечьте, чтобы каждый участник торгов указал цену на одинаковый объём работ, зафиксировал исключения в документации и подтвердил совместимость интерфейсов с помощью заводских и монтажных испытаний.

Проблема классификации: три разных вопроса

Большинство сравнительных таблиц начинаются с габаритов, сроков поставки или стоимости. Это преждевременно, поскольку три указанных термина отвечают на разные вопросы.

• Контейнеризированный подход предполагает вопрос: в каком физическом корпусе поставляется оборудование и как этот корпус можно транспортировать и перемещать?
• Предварительно собранный модульный подход предполагает вопрос: как объект разделён на повторяющиеся функциональные блоки, изготавливаемые на заводе, а затем интегрируемые на площадке?
• Микро-подход предполагает вопрос: какой объём локальных операционных задач решается в рамках одного компактного устройства?

Техническое задание на «модульный центр обработки данных» может вызвать предложения по ИТ-контейнерам, отдельным функциональным модулям или замкнутым периферийным стойкам — каждое из них подразумевает различный объём работ на площадке. Используйте следующие определения на титульном листе.

Категории пересекаются. Компактный контейнер, обслуживающий одну промышленную площадку, может одновременно считаться контейнеризированным и микромодульным. Модульный кампус может объединять ИТ-блоки в контейнерном формате с другими функциональными модулями. Ярлык полезен лишь после того, как границы становятся очевидными.

Рабочий процесс Покупателя в общих чертах

Рассматривайте выбор архитектуры как задачу проектирования и составления графика, а не как дискуссию о терминологии.

Четыре шага выполняются последовательно. Сначала определите эксплуатационную проблему, а затем выбирайте физический формат.

Шаг 1 — Определение границ системы

Граница — это линия, разделяющая интегрированный комплект поставщика и остальную часть проекта. Нанесите её до обсуждения количества модулей.

Начните с рабочей нагрузки. Запишите начальную и конечную ИТ-нагрузку, ожидаемую и пиковую нагрузку каждого стойка, оборудование с воздушным или жидкостным охлаждением, напряжение, схему электропитания, топологию ИБП, автономность аккумуляторов, сетевые пути, допустимое время простоя и условия проектирования площадки. Если расписание стоек ещё не готово, укажите, что оно является предварительным, и назовите ответственного за его обновление.

Затем пометьте каждую функцию одним из четырёх вариантов:

• внутри поставляемого блока;
• поставляется отдельно тем же поставщиком;
• предоставляется другим подрядчиком;
• существующая инфраструктура площадки, требующая проверки.

Список должен включать стойки, ИБП, аккумуляторы, распределение электроэнергии, охлаждающие терминалы, CDU (при наличии), наружные теплоотводящие устройства, системы обнаружения и подавления пожара, контроль доступа, DCIM, сетевой демаркационный узел, конструктивные опоры, защиту от атмосферных воздействий, водоотвод, освещение, аварийное отключение питания, заземление и средства связи на объекте.

Тест границы А: Контейнеризированный

Для контейнеризированного центра обработки данных корпус является очевидной физической границей, однако редко совпадает с полными границами проекта. Уточните, что заканчивается у стен. Включает ли предложенная комплектация только внутренние охлаждающие блоки или также внешние конденсаторы или чиллеры? Где оканчиваются входящие силовые кабели — на внешней распределительной панели, внутри контейнера или на объектном коммутационном оборудовании? Кто обеспечивает фундамент, лестницы, сервисную площадку, управление дождевыми водами и защищённый маршрут прокладки трубопроводов?

фраза «контейнер «под ключ»» не является достаточным ответом. Покупателю необходим график разделения «внутри/снаружи».

Требования к транспортировке также входят в данное определение границ. ISO 668 устанавливает рамочные требования к классификации, габаритным размерам и характеристикам контейнеров для грузовых перевозок серии 1, однако модифицированный корпус центра обработки данных по-прежнему требует проектного анализа отверстий, массы, подъёмных точек, конструктивного усиления, крепления оборудования, ограничений маршрута и условий транспортировки. Возможность транспортировки при отправке не означает возможность перемещения после ввода в эксплуатацию без проведения инженерных работ.

Граничное испытание B: Предварительно собранные модульные решения

Для предварительно собранных модульных объектов границы определяются как по функциональному назначению, так и по физическому замыканию. IT-модуль может заканчиваться на шинопроводе, соединении с системой охлаждения с использованием ледяной воды, петле пожарной сигнализации и шлюзе управления. Модуль электропитания может включать ИБП и аккумуляторы, но полагаться на отдельное оборудование среднего напряжения. Охлаждение может обеспечиваться в виде модуля центральной установки, обслуживающего несколько IT-блоков.

Здесь модульная архитектура проявляет свою гибкость: каждая функция может использовать подходящую форму, а не вынуждена умещаться в одну и ту же коробку. Это также создаёт больше интерфейсов. Дизайнер уровня объекта должен отвечать за координацию защиты, гидравлическое балансирование, последовательности управления, зонирование по требованиям пожарной безопасности, эвакуацию, герметизацию от атмосферных воздействий и ввод в эксплуатацию через границы модулей.

Тест границ C: микро

Для микроцентра обработки данных небольшой физический масштаб может скрывать широкие операционные границы. Компактный блок может быть интегрированным, однако он по-прежнему зависит от местной электрической мощности, отвода тепла, доступности сети, условий помещения, физической безопасности, удалённого мониторинга и доступа для обслуживания.

Более точное определение термина «микро» — операционное, а не численное: локализованная рабочая нагрузка управляется как единая компактная среда и как один ограниченный домен отказов. Универсального порогового значения в кВт или количестве стоек не существует. Не вводите его в техническом задании (RFP).

Сохраняйте четыре показателя электропитания раздельно

В каждой таблице границ должны быть отведены отдельные столбцы для:

• общая ИТ-нагрузка шкафа или модуля;
• ожидаемая и пиковая нагрузка каждого шкафа;
• рабочий цикл охлаждающего устройства;
• общая мощность объекта или проекта.

Для стандартных контейнеров ZT 20-футовый блок указан в диапазоне 15–25 кВт общая ИТ-нагрузка , а 40-футовый — в диапазоне 40–70 кВт общая ИТ-нагрузка . Документированная схема низкой плотности выглядит следующим образом:

Среднее значение не является тепловым расчётом. В графике размещения шкафов по-прежнему необходимо указать самый нагретый шкаф и любые локализованные нагрузки от GPU. Однако арифметика исключает возможность переноса общей мощности контейнера в поле «на один шкаф».

Этап 2 — Определение интерфейсов и назначение ответственных лиц

После определения границы нанесите точки подключения. Простая блок-схема полезнее нескольких страниц «полностью интегрированного» текста.

Каждый интерфейс требует пяти пунктов: местоположение, проектные условия, поставщик, получатель и метод верификации . Трубопроводное соединение без указания температуры, расхода, давления, качества воды, объёма поставки арматуры и согласования систем управления не является определённым интерфейсом. Электрическое соединение без указания напряжения, уровня тока короткого замыкания, границ защиты, системы заземления, объёма поставки кабелей и последовательности ввода в эксплуатацию также считается неполным.

Используйте таблицу распределения ответственности за интерфейсы на достаточно раннем этапе, чтобы участники торгов могли оспорить её.

Ответственность не должна выражаться только как «со стороны других». Укажите контрагента по договору. Если гражданский подрядчик возводит фундамент, используя нагрузки, предоставленные поставщиком модуля, установите даты для предварительных данных, утверждённых данных и управления изменениями. Если чиллер поставляет третья сторона, уточните, кто обеспечивает полную проверку последовательности управления при изменяющейся ИТ-нагрузке.

Шаг 3 — Выбор блока расширения

термин «масштабируемый» является неполным, если в запросе предложений (RFP) не указано, что именно повторяется и что должно уже существовать.

Для контейнерная архитектура блок расширения зачастую представляет собой ещё один контейнер или согласованный кластер. Подтвердите, могут ли коммутационное оборудование верхнего уровня, холодильная установка, пропускная способность сети, фундаменты и системы управления принять такой блок. Также проверьте, можно ли установить новый блок без перекрытия доступа к обслуживанию или нарушения работы первого блока.

Для предварительно собранный модульный тип архитектуры , блок расширения может представлять собой ИТ-блок плюс соответствующая доля мощности и системы охлаждения. Модули необязательно добавлять по одному. На определённом этапе может потребоваться увеличение мощности до роста ИТ-мощности или установка холодильной установки, рассчитанной на несколько последующих блоков. Генеральный план должен отображать точки подключения, изоляцию, резервную ёмкость систем управления, пути эвакуации, маршруты подъёма оборудования и последовательность работ на действующем объекте.

Для микроархитектура , типичным блоком расширения является ещё один локальный узел, а не добавление к одному центральному помещению. Это позволяет согласовать инвестиции с потребностями филиала или производственной линии. Одновременно расширяется зона мониторинга, номенклатура запасных частей и география сервисного обслуживания. Таким образом, окончательный проект представляет собой в равной степени операционную модель и физическую компоновку.

Плотность может изменить блок расширения. Инженерные справочные материалы ZT различают 5–8 кВт/стойка для общих ИТ-задач, 15–30 кВт/стойка для вывода результатов (inference) или смешанных ускоренных вычислений и 100 кВт/стойка и выше для обучения ИИ с использованием жидкостного охлаждения на уровне чипов. При 30–50 кВт/стойка , рассматривается охлаждение через заднюю дверь или гибридное воздушно-жидкостное охлаждение; выше 50 кВт/стойка , охлаждение на уровне чипов с помощью жидкости — это практичный путь в конструкциях ZT. Это диапазоны проектирования, а не определения категорий.

Будущая фаза с жидкостным охлаждением может потребовать ЦОУ, распределительных трубопроводов, контроля качества воды, обнаружения утечек, отвода тепла и резервного воздушного охлаждения, что не требовалось на первом этапе с воздушным охлаждением. Диапазон ЦОУ ZT составляет 200–1400 кВт , с ±1°C управление температурой на вторичной стороне и наличие 1+1компоновок для насосов, приборов, электропитания и систем связи. Не выводите количество ЦОУ для проекта исходя из этих каталожных пределов; рассчитывайте его на основе графика стоек, коэффициента одновременности, температурных требований, резервирования и поэтапной реализации.

Три кратких сценария закупок

Сценарий 1: Удалённая внешняя мощность с заданной нагрузкой

Покупателю требуется ограниченный ИТ-комплект на удалённой площадке с известным перечнем стоек и транспортным маршрутом, способным принять готовый шкаф. Контейнерный формат является разумным вариантом для оценки. В запросе предложений (RFP) по-прежнему следует чётко разграничивать объём работ по внутреннему комплекту от фундаментов, внешнего электропитания, внешней системы отвода тепла, систем связи, подъёмных работ, защиты от погодных воздействий и обязательств по повторному вводу в эксплуатацию.

Ключевое решение изначально заключается не в выборе «20-футового или 40-футового» контейнера. Оно состоит в том, умещаются ли заявленные стойки, зоны обслуживания, цепь электропитания и система охлаждения в заданных границах при сохранении возможности технического обслуживания.

Сценарий 2: Поэтапное строительство площадки с комбинированной плотностью размещения оборудования

Покупатель планирует установку универсальных стоек на первом этапе и более плотно укомплектованных зон для ускорённых вычислений — на последующих этапах. Термин «префабрицированный модульный» наиболее точно отражает архитектурный подход, поскольку ИТ-оборудование, системы электропитания, охлаждения и вспомогательные функции могут проектироваться как согласованные блоки. Некоторые из них могут быть выполнены в контейнерном формате, другие — нет.

В запросе предложений (RFP) должна быть отражена окончательная конфигурация на текущий момент: зарезервированные электрические и гидравлические мощности, точки изоляции, места размещения будущих модулей, трассы прокладки кабелей на действующем объекте, адресация систем управления и информация о том, какое общее оборудование устанавливается на каждом этапе. В противном случае фраза «добавить модуль позже» может привести к существенной перепланировке объекта.

Сценарий 3: Локальные вычислительные ресурсы в нескольких объектах

Производителю или сети филиалов требуются небольшие автономные вычислительные среды, расположенные в непосредственной близости от оборудования или пользователей. Микроцентры обработки данных могут подойти, поскольку масштаб развертывания является локальным. Основными критериями сравнения для покупателя должны стать удалённая видимость, физическая безопасность, локальный отвод тепла, акустические характеристики (при необходимости), поведение сети при потере соединения, стандартные запасные части, эскалация аварийных оповещений и покрытие сервисных услуг.

Контейнер для перевозки грузов может использоваться на одной открытой площадке, однако это не означает, что каждый микроузел должен быть контейнеризированным. Термин «микро» по-прежнему определяет масштаб решения.

Шаг 4 — Преобразование архитектуры в контрольный список для RFP

Окончательный запрос предложений должен делать неоднозначность дорогостоящей для участника торгов, а не для заказчика после заключения контракта.

Общие графики

Предоставьте каждому участнику торгов одинаковый график стоек, лист условий площадки, матрицу ответственности, план фазирования, основу соответствия и требования к испытаниям. Требуйте возврата предположений в виде аннотированной версии. Предложение, которое молча заменяет более низкую нагрузку на стойку, иные условия окружающей среды или сокращённый объём аккумуляторов, не является технически соответствующим, даже если его общая мощность в кВт выглядит корректной.

Запрашивайте подтверждение на надлежащем уровне

Маркировка компонента не подтверждает соответствие развернутого объекта. Запросите идентификаторы сертификатов или отчётов, применимость к модели, орган, выдавший документ, срок его действия и условия использования. В списке ZT указаны стандарты ISO 9001, CE, CCC, TÜV, RoHS, UL и TIA-942 в качестве ссылок на сертификацию. В её библиотеке параметров также указаны UL 1741 — для электрических систем контейнеров, UL 94 V-0 — для класса огнестойкости корпуса контейнера с ИИ и IP55 — среди соответствующих степеней защиты. Инженерный анализ должен подтвердить, что каждое заявленное соответствие относится к предлагаемой конфигурации и месту эксплуатации.

Для повышения устойчивости Института Uptime Программа Tier-Ready охватывает предварительно собранные и модульные решения, однако инженерный анализ модуля не эквивалентен сертификации завершённого функционирующего объекта. При тепловом проектировании используйте согласованную основу, например, Серия ASHRAE Datacom , затем укажите фактический класс оборудования, климатические условия, высоту над уровнем моря, допущения по загрязнению и условия жидкостного охлаждения.

Проверьте модуль и соединения

Матрица проверки должна включать анализ проекта, приемочные испытания на заводе-изготовителе, инспекцию перед отгрузкой, приемочные испытания на объекте, комплексные испытания систем и передачу объекта в эксплуатацию. Приемочные испытания на заводе-изготовителе (FAT) позволяют подтвердить внутреннюю коммутацию, работу сигнализации и систем управления, функционирование системы охлаждения и документированную сборку до отгрузки. Однако FAT не позволяет подтвердить соответствие требованиям к внешним сетям объекта, монтажу на месте, полной стратегии пожаротушения, внешнему отводу тепла или сквозному резервированию.

Требуются сценарии испытаний, в которых должны быть указаны предварительные условия, используемые приборы, моделируемые условия, ожидаемые результаты, допустимые пределы, лица, присутствующие при испытаниях, и порядок устранения выявленных дефектов. В сценарии следует предусмотреть последовательности отключения и восстановления электропитания, переключение на резервные компоненты, маршрутизацию сигналов тревоги, аварийные действия, реакцию системы охлаждения, резервирование сетевых компонентов (если это входит в объем работ), а также контрольные точки мониторинга. Метод проведения испытаний должен соответствовать матрице ответственности, чтобы ни один критически важный интерфейс не остался вне договорных обязательств.

Нормализация коммерческих сравнений

Не сравнивать цену за модуль до нормализации объема работ. Необходимо как минимум разделить:

• оборудование, изготовленное на заводе, и его интеграцию;
• дизайн и представление документации;
• Расходы на заводские приемочные испытания (FAT) и присутствие представителей Заказчика;
• перевозка, страхование, погрузочно-разгрузочные работы и хранение;
• фундаменты и подготовительные работы на площадке;
• подключение к коммунальным сетям и электросетям;
• внешнее оборудование для охлаждения или отвода тепла;
• получение разрешений и местные инспекции;
• Пусконаладочные работы (SAT), комплексные испытания и обучение персонала;
• запасные части, программное обеспечение, сервисное обслуживание и положения, касающиеся будущих этапов проекта.

Сборка на заводе-изготовителе позволяет сократить объем монтажных работ на площадке и одновременно выполнять производственные операции на заводе в период подготовки фундаментов и коммуникаций. Однако это не исключает необходимости получения разрешений, ограничений со стороны электросети, выполнения строительно-монтажных работ, таможенного оформления или задержек, связанных с поставкой оборудования с длительным циклом изготовления. ZT фиксирует сокращение продолжительности строительства на площадке на 50–70 % по сравнению с традиционным строительством, в зависимости от масштаба проекта и степени его готовности. Рассматривайте это как ориентировочную информацию для проведения надлежащей проверки, а не как универсальную гарантию сроков.

Часто задаваемые вопросы

Является ли каждый контейнеризированный центр обработки данных модульным?

В широком смысле доставки — обычно да: это блок, собранный на заводе и способный выступать в качестве повторяемого элемента. Обратное утверждение неверно. Префабрицированные модульные объекты могут использовать специально спроектированные помещения, блоки-скиды, панельные конструкции или несколько типов ограждающих конструкций.

Является ли микроцентр обработки данных просто меньшим по размеру контейнером?

Нет. Термин «микро» характеризует ограниченный объём локального развертывания; термин «контейнеризированный» относится к способу упаковки. Многие микроцентры обработки данных представляют собой замкнутые стойки или компактные помещения. Некоторые внешние контейнерные системы могут выполнять функции микроцентра.

Какая архитектура обеспечивает самое быстрое развертывание?

Тот, у кого стабильный дизайн, готовая площадка, доступные коммуникации, полученные разрешения и контролируемые интерфейсы. Небольшой микро-блок может потребовать меньше физических работ, тогда как заводские интегрированные контейнеризированные или модульные системы способны сократить более продолжительные графики. Сама маркировка не определяет дату поставки.

Можно ли переместить контейнер после ввода в эксплуатацию?

Возможно, однако перемещение требует плана остановки, защиты данных, отключения кабелей и трубопроводов, управления жидкостями и аккумуляторами, фиксации оборудования, учёта массы, получения разрешений, подъёма, защиты от ударных нагрузок при транспортировке, готовности места назначения и повторного ввода в эксплуатацию. Формат транспортировки не гарантирует автоматическую возможность переустановки.

Какой вариант оптимален для ИИ с высокой плотностью?

Любой формат может поддерживать плотные стойки, если вся электрическая цепь, система жидкостного охлаждения, остаточный воздушный поток, конструкционные элементы, система управления и отвод тепла спроектированы с учётом конкретного перечня серверов. Преимуществом предварительно смонтированной модульной архитектуры является возможность разделения зон различной плотности; геометрия контейнера более компактна; микросистема сильно зависит от местных инженерных сетей.

Означает ли показатель 40–70 кВт для 40-футового контейнера 40–70 кВт на одну стойку?

Нет. Это указанная ZT общая ИТ-мощность контейнера для стандартного эталонного случая. В задокументированной конфигурации с восемью стойками и общей мощностью 40 кВт средняя нагрузка составляет 5 кВт/стойка . Пиковую нагрузку на стойку по-прежнему необходимо определять по графику нагрузок стоек.

Что покупатели должны направить вместе с запросом предложений (RFP)?

Направьте перечень стоек и серверов, нагрузку на каждую стойку, начальную и конечную мощность, напряжение и топологию электропитания, резервирование, автономность аккумуляторов, предпочтения по системе охлаждения, условия площадки, ограничения по участку и доступу, требования к стандартам в стране назначения, матрицу ответственности, график этапов реализации и необходимые этапы испытаний.

Три ключевых вывода

• Правильно классифицируйте проблему. Контейнеризованный — это формат корпуса и транспортировки; предварительно собранный модульный — это метод поставки и архитектурного решения; микро — это локальный масштаб развертывания.
• Покупайте чётко определённые границы и проверенные интерфейсы — не ярлык. Назначьте ответственного за каждое подключение: электропитание, охлаждение, сеть, системы управления, пожарную безопасность, конструктивные элементы и ввод в эксплуатацию.
• Назовите модуль расширения и подпишите каждое значение в киловаттах. Общая ИТ-мощность контейнера, нагрузка на отдельную стойку, тепловая нагрузка на систему охлаждения и суммарная мощность проекта в мегаваттах — это разные величины.

О ZT

Основанная в 2009 году, ZT (ZheJiang ZhiTing Information Technology Co., Ltd) разрабатывает и производит предварительно собранные инфраструктурные решения для центров обработки данных на производственной площадке площадью 30 000 м² в провинции Чжэцзян, Китай, с численностью персонала более 200 человек. Ассортимент включает 20-футовые и 40-футовые ISO-контейнерные системы, жидкостное охлаждение серии NEBULA, блоки распределения хладагента (CDU), внутрIRST-рядное охлаждение, ИБП, стойки и программное обеспечение DCIM. Сертификаты, указанные ZT: ISO 9001, CE, CCC, TUV, RoHS, UL и TIA-942.

CTA: Приложите чертёж границ до выставления коммерческого предложения.

Направьте ZT график стойки, начальную и конечную нагрузку, условия площадки, требуемые интерфейсы, целевой уровень резервирования, основу системы охлаждения, место назначения и план расширения. После этого инженерный анализ сможет определить, требует ли проект контейнерного формата, координированной предварительно смонтированной модульной площадки, микроразвертывания или их комбинации — до того, как коммерческое сравнение зафиксирует неправильные границы.

Запросить техническую консультацию , ознакомьтесь с контейнерное решение для центра обработки данных , или изучите подход к предварительно смонтированным модульным центрам обработки данных .

Источники

• ISO 668:2020 — Грузовые контейнеры серии 1: классификация, габаритные размеры и характеристики
• Uptime Institute — Готовность к сертификации Tier для предварительно смонтированных и модульных центров обработки данных
• ASHRAE — Серия стандартов Datacom
• TIA — Обзор стандарта TIA-942
• TIA — Белая книга по центрам обработки данных: жидкостное охлаждение