Быстрый рост искусственного интеллекта (AI), высокопроизводительных вычислений (HPC), облачных сервисов и масштабного анализа данных вызывает беспрецедентный рост плотности мощности в стойках.
Традиционные технологии воздушного охлаждения, которые десятилетиями служили индустрии центров обработки данных, всё чаще не справляются со стойками мощностью свыше 30 кВт, 50 кВт или даже 100 кВт.
Для решения этих задач многие операторы переходят на системы жидкостного охлаждения с холодными пластинами, также известные как системы прямого жидкостного охлаждения чипов.
В отличие от традиционного воздушного охлаждения, жидкостное охлаждение с холодными пластинами отводит тепло непосредственно от высокомощных компонентов, таких как процессоры (CPU) и графические процессоры (GPU), значительно повышая тепловую эффективность и снижая общее энергопотребление.
Но из чего же состоит полная система жидкостного охлаждения с холодными пластинами?
В этой статье мы рассматриваем ключевые компоненты современной архитектуры жидкостного охлаждения и объясняем, как каждый элемент способствует созданию эффективного, масштабируемого и готового к работе с ИИ центра обработки данных.
Современные серверы ИИ выделяют огромное количество тепла.
Один серверный шкаф ИИ может содержать:
● Несколько GPU
●ЦП высокой производительности
● Оперативную память высокой скорости
● Акселераторы ИИ
Эти компоненты могут выделять в несколько раз больше тепла по сравнению с традиционными корпоративными серверами.
Жидкостное охлаждение с помощью холодных пластин обеспечивает ряд преимуществ:
✓ Повышенная эффективность охлаждения
✓ Более низкий коэффициент PUE
✓ Поддержка сверхплотных стоек
✓ Снижение потребления энергии вентиляторами
✓ Повышение надёжности аппаратного обеспечения
✓ Улучшение экологической устойчивости
В результате жидкостное охлаждение с использованием холодных пластин стало одной из наиболее широко применяемых технологий охлаждения в центрах обработки данных следующего поколения для ИИ.
Полное решение для жидкостного охлаждения можно разделить на три основных уровня:
● Компоненты со стороны сервера
● Инфраструктура на стороне объекта
● Интеллектуальная система мониторинга и управления
Каждый уровень играет критически важную роль в обеспечении безопасной и эффективной эксплуатации.
Система охлаждения со стороны сервера отвечает за отвод тепла непосредственно от электронных компонентов.
Холодная пластина является «сердцем» жидкостной системы охлаждения.
Обычно изготавливаются из:
● Медь
● Алюминий
● Медно-сплавные материалы
Холодные пластины содержат прецизионно спроектированные внутренние каналы для потока жидкости, предназначенные для максимизации эффективности теплопередачи.
Эти пластины устанавливаются непосредственно на компоненты, генерирующие тепло, например:
● ЦПУ
● ГПУ
● Акселераторы ИИ
● Высокопроизводительную память с высокой пропускной способностью (HBM)
Теплопроводящие материалы (ТПМ), такие как термопаста или термопрокладки, обеспечивают оптимальный контакт между кристаллом и холодной пластиной.
По мере прохождения охлаждающей жидкости через внутренние каналы тепло передаётся непосредственно от кристалла в жидкость.
● Чрезвычайно высокая эффективность теплопередачи
● Снижение температуры кристаллов
● Повышение производительности процессора
● Повышенная стабильность системы
Быстроразъемные соединения установлены на входных и выходных жидкостных соединениях сервера.
Эти разъемы обеспечивают:
● Подключение без инструментов
● Горячую замену компонентов в процессе обслуживания
● Отключение без утечек
Правильно спроектированное быстроразъемное соединение предотвращает потерю хладагента во время технического обслуживания и значительно повышает удобство сервисного обслуживания.
Для крупных кластеров искусственного интеллекта технология QDC является обязательной для минимизации простоев.
Внутри сервера охлаждающая жидкость должна равномерно распределяться между несколькими компонентами системы охлаждения.
Это достигается за счёт:
● Гибкие трубки
● Жёсткие трубопроводы
● Встроенные коллекторы
Коллектор выполняет функцию распределительного узла, который:
● Подводит охлаждающую жидкость к каждой холодной пластине
● Собирает нагретую охлаждающую жидкость
● Обеспечивает сбалансированные расходы потока
Правильный дизайн коллектора гарантирует равномерную эффективность охлаждения всех компонентов.
Безопасность имеет первостепенное значение в любой среде жидкостного охлаждения.
Современные серверы с жидкостным охлаждением интегрируют датчики для мониторинга:
● Скорость потока
● Давление
● Температуру теплоносителя
● Состояние обнаружения утечек
При обнаружении аномалий система может немедленно:
● Активировать сигналы тревоги
● Настроить параметры охлаждения
● Инициировать процедуры аварийного отключения
Это значительно повышает надежность эксплуатации.
Не все серверы предназначены для жидкостного охлаждения.
Специализированные серверы с жидкостным охлаждением обладают следующими особенностями:
● Оптимизированная конструкция корпуса
● Специализированная прокладка контуров охлаждающей жидкости
● Усовершенствованная система воздушного охлаждения
● Встроенные функции мониторинга
Эти системы специально разработаны для сред ИИ, высокопроизводительных вычислений (HPC) и вычислений высокой плотности.
В то время как компоненты на стороне сервера поглощают тепло, инфраструктура на стороне объекта отводит это тепло из центра обработки данных.
CDU часто считается центральным узлом системы жидкостного охлаждения.
Он выступает в качестве интерфейса между:
● Инфраструктурой здания для охлаждения
● Контурами охлаждения серверов
Типичный CDU включает в себя:
● Насосы
● Пластинчатые теплообменники
● Расширительные баки
● Фильтры
● Клапаны
● Датчики
● Системы управления
Его основная функция заключается в следующем:
● Подаче охлаждающей жидкости в стойки
● Сборе нагретой обратной жидкости
● Поддержании надлежащего давления и расхода
CDU могут развертываться в виде:
Устанавливаются внутри или рядом с отдельными стойками.
Обслуживает несколько стоек или целые зоны жидкостного охлаждения.
Клапаны регулирования потока охлаждающей жидкости управляют её подачей в зависимости от текущего теплового спроса.
Преимущества включают:
● Точное управление охлаждением
● Снижение энергопотребления насосов
● Повышение стабильности температуры
Умные клапаны обеспечивают динамическую оптимизацию охлаждения при изменяющихся ИТ-нагрузках.
Вторичный контур циркулирует охлаждающую жидкость непосредственно между блоком распределения охлаждающей жидкости (CDU) и серверами.
Основные компоненты включают:
Обеспечивает циркуляцию охлаждающей жидкости по всей сети жидкостного охлаждения.
Большинство корпоративных систем используют:
● Резервирование по схеме N+1
● Насосы с регулируемой скоростью
для обеспечения максимальной надежности и эффективности.
Разводка трубопроводов должна обеспечивать:
● Высокая надежность
● Стойкость к коррозии
● Защиту от утечек
Распространённые варианты включают:
● Деионизированную воду
● Специализированные диэлектрические жидкости
Хладагенты высокой чистоты помогают предотвратить образование накипи, коррозию и риски, связанные с электропроводностью.
Первичный контур отводит тепло от блока распределения охлаждающей жидкости (CDU).
В отличие от вторичного контура, он не контактирует непосредственно с ИТ-оборудованием.
Теплообмен происходит через пластинчатый теплообменник внутри блока распределения охлаждающей жидкости (CDU).
Такая конструкция обеспечивает полное физическое разделение между системой охлаждения объекта и системой охлаждения серверов.
Распространённые варианты включают:
● Вода
● Водно-гликолевые смеси
● Антифризные растворы
Циркуляция охлаждающей жидкости между блоком управления охлаждением (CDU) и наружными системами отвода тепла.
Завершающий этап процесса охлаждения обеспечивает удаление тепла из объекта.
В зависимости от климатических условий могут применяться различные решения.
Сухие охладители работают аналогично большим радиаторам.
Преимущества:
● Работа без воды
● Низкое техническое обслуживание
● Высокая эффективность в прохладном климате
Многие центры обработки данных с ИИ используют сухие охладители для максимального использования возможностей бесплатного охлаждения.
Градирни отводят тепло за счёт испарения воды.
Преимущества:
● Высокий коэффициент тепловой эффективности
● Эффективны в тёплом климате
Однако для них требуется:
● Очистка воды
● Регулярное техническое обслуживание
В жарких регионах или в средах, где необходим точный контроль температуры, чиллеры могут дополнять инфраструктуру жидкостного охлаждения.
Чиллеры обеспечивают стабильную производительность охлаждения даже при экстремальных внешних условиях.
Современное решение для жидкостного охлаждения не может считаться полным без интеллектуальных функций управления.
Этот уровень выступает в роли «мозга» всей системы охлаждения.
Датчики непрерывно отслеживают:
● Температуру
● Давление
● Скорость потока
● Состояние утечки
● Потребление энергии
Данные в реальном времени позволяют осуществлять проактивное управление и обнаружение неисправностей.
Усовершенствованные системы управления динамически регулируют:
● Скорость насоса
● Положение клапанов
● Работу вентиляторов
● Расход охлаждающей жидкости
на основе нагрузки ИТ-оборудования и условий окружающей среды.
Эта работа по требованию значительно снижает потребление энергии.
Современные системы жидкостного охлаждения всё чаще интегрируются в платформы управления инфраструктурой центров обработки данных (DCIM).
Преимущества включают:
✓ Централизованный мониторинг
✓ Управление аварийными сигналами
✓ Аналитика энергоэффективности
✓ Планирование мощности
✓ Прогнозное техническое обслуживание
✓ Управление жизненным циклом
Это обеспечивает операторам полную прозрачность как в ИТ-, так и в инфраструктуре объектов.
По мере дальнейшего роста рабочих нагрузок ИИ плотность размещения оборудования в стойках, как ожидается, превысит 100 кВт, а в некоторых развертываниях — даже 200 кВт.
Традиционное воздушное охлаждение не может эффективно поддерживать такие уровни мощности.
Жидкостное охлаждение с использованием холодных пластин обеспечивает:
● Превосходные тепловые характеристики
● Снижение энергопотребления
● Более высокую масштабируемость
● Повышенную энергоэффективность
● Инфраструктуру, готовую к работе с ИИ
Для операторов, создающих центры обработки данных следующего поколения для ИИ, высокопроизводительных вычислений (HPC), «граничных» (edge) и облачных решений, жидкостное охлаждение с использованием холодных пластин стало критически важной технологией для достижения долгосрочной эффективности и надежности.
Полное жидкостное охлаждение с использованием холодных пластин состоит из трёх интегрированных слоёв:
● Холодные пластины
● Быстросъёмные соединительные муфты
● Встроенные коллекторы
● Устройства мониторинга
● Серверы с жидкостным охлаждением
● Системы CDU
● Насосы
● Трубопроводные сети
● Первичный и вторичный контуры
● Внешнее оборудование для отвода тепла
● Датчики
● Системы управления
● Платформы DCIM
В совокупности эти технологии создают высокоэффективную систему охлаждения, способную обеспечивать высокие рабочие нагрузки современных ИИ- и вычислительных сред с высокой производительностью.
По мере того как центры обработки данных продолжают развиваться в сторону повышения плотности размещения оборудования в стойках и усиления требований к устойчивости, жидкостное охлаждение с использованием холодных пластин быстро становится предпочтительным решением для охлаждения по всему миру.
Расскажите нам о ваших потребностях в инфраструктуре дата-центров, и наша команда предложит вам персонализированные экологичные и энергосберегающие комплексные решения с глобальной доставкой и оперативной поддержкой.
EN
