Сегодняшний пост мы посвятим особенностям организации электроснабжения дата-центра. Если смотреть со стороны, все энергосистемы похожи друг на друга и имеют много общего. Но дьявол, как водится, кроется в деталях, поэтому присмотреться к конкретной реализации той или иной системы никогда не будет лишним.
Далее – рассказ о нашей системе энергоснабжения и много фото.
Электричество приходит в дата-центр по четырем вводам от двух независимых подстанций общей мощностью в 5630 кВА. Такая сложность требуется для обеспечения резервирования электропитания на случай непредвиденных ситуаций или аварий. Подобная практика обходится очень дорого, но без резервированного питания серьезный дата-центр не построить.
Кабели подключены напрямую к четырем щитам автоматического ввода резерва (АВР). К ним же подключены три дизель-генератора FG Wilson мощностью по 2МВт каждый. Этим обеспечивается бесперебойность электроснабжения.
От щитов АВР электричество сквозь распределительный щит системы бесперебойного электроснабжения приходит на батарейные источники бесперебойного питания. Наши ИБП производства заслуженной компании AEG Power Supply Systems являются трансформаторными. Сегодня уже существует более совершенная технология тиристорных ИБП, но они более чувствительны к температуре и влажности условий эксплуатации. В силу того, что трансформаторные ИБП проявили себя с хорошей стороны в течение многолетней практики, мы решили выбрать именно их из соображений повышения надежности. Проходя через трансформаторы, электричество проходит фильтрацию и стабилизацию, из него удаляются высокочастотные гармоники и помехи, результатом чего является практически чистая синусоида на выходе. После многократной трансформации из переменного тока в постоянный и обратно электричество приобретает параметры, соответствующие высоким требованиям к питанию точного высокопроизводительного оборудования.
При сбое в магистральном электроснабжении на время запуска дизель-генераторных установок питание серверов, телекоммуникационного оборудования и аварийных систем производится от батарейных ИБП. Питание систем силовой нагрузки (чиллеры, кондиционеры, общее освещение и другие системы) осуществляется от дизельных ИБП. После выхода дизельных ИБП на необходимый уровень нагрузки, питание всех систем дата-центра осуществляется от дизельных ИБП.
Система батарейных ИБП включает в себя около 800 батарей, а их общий вес достигает 20 тонн. Батареи распределены по четырем металлическим стеллажам. Емкость равномерно распределена между 11 ИБП, и достаточна для обеспечения бесперебойной работы серверов и телекоммуникационного оборудования при полной нагрузке в течение 15 минут. Это время в несколько раз перекрывает нужное на запуск дизель-генераторных установок и их выход на рабочую нагрузку.
Внутри гермозон задача распределения энергоснабжения возложена на распределительные щиты. Они – последний рубеж перед непосредственным подведением питания в стойки. Каждая стойка получает питание по двум кабелям, это одно из требований резервирования электроснабжения.
Панели шкафов автоматического ввода резерва (АВР) имеют логическую схему, контролирующую параметры напряжения в сети, полноту и последовательность фаз, а также строго заданный диапазон напряжения. При отклонении от заданных параметров электроснабжение дата-центра переводится на батарейные и дизельные ИБП.
В плане эксплуатации система неприхотлива. Будучи единожды запущенной, она требует ежегодных замеров и испытаний, включающих протирку контактов спиртом и прочие любимые персоналом мероприятия (шутка). Архитектура системы такова, что любые работы, включая ремонт, можно проводить без какого-либо перерыва в работе оборудования и вспомогательных систем дата-центра.
Далее – фотографии элементов системы. Надеемся, они окажутся интереснее сухого текста.
Контрольная панель шкафа ИБП. Виден уровень нагрузки и время работы от батарей (75 минут).
Батарейный стеллаж. Вес батарей — 5 (пять) тонн.
Распределительные шкафы ИБП.
Предохранители шкафа параллельной работы. Обратите внимание, каждый рассчитан на силу тока в 800 Ампер (это очень много).
Выключатели распределительного щита системы бесперебойного энергоснабжения.
Плата неизвестного назначения, просто красивая.
Кабели распределения питания ИБП. Красивые.
Переключатели шкафа с батарейными предохранителями. Внушительные.
А это — сами предохранители. Не менее внушительные.
Приборы шкафа управления электропитание. Виден уровень рабочего тока на фазах и напряжение.
Автоматические выключатели шкафов управления электропитанием. Те, что рассчитаны на силу тока в 1600 Ампер, обслуживают серверное и телекоммуникационное оборудование, а более мощные, на 2500 Ампер, несут силовую нагрузку (чиллеры, кондиционеры, рабочее освещение и прочее).
Вид шкафа управления полностью.
«Мозг» распределительного щита электропитания.
Переключатель распределительного щита электропитания. «Скромные» 1600 Ампер.
Содержимое шкафа автоматики. Компоненты TAC Xenta ведут мониторинг работы кондиционеров, чиллеров и других силовых систем.
Щиты и переключатели: вентиляция и дымоудаление, собственные нужды, аварийное освещение и рабочее освещение.
