ЦОД НГУ (обзор)

Питание
Питание серверной организовано от двух электро-подстанций, питающих университет, через систему АВР (автоматического ввод резерва) и источник бесперебойного питания Symmetra 40K фирмы APC, вынесенный из-за своего большого веса, который составляет почти 2 тонны, в подвал. При текущем уровне нагрузки, что составляет около 20 кВт, серверная способна проработать автономно около 30 минут, что дает в случае длительных перебоев в электроснабжении драгоценное время для принятия необходимых мер по минимизации ущерба.
Охлаждение
Серверная оборудована 4 системами кондиционирования работающих по схеме резервирования N+1. В качестве основных используются система из 2х прецизионных кондиционеров UNIFLAIR Leonardo Evolution, работающих в паре.

В качестве резерва в зависимости от времени года используется или канальный кондиционер Kentatsu летом, или система фрикулинга зимой.

Система фрикулинга была специально разработана для ЦОД НГУ и представляет собой замкнутый контур с двумя блоками теплообменников, один из которых вынесен на улицу, с циркулирующим теплоносителем. Проходя через внутренний радиатор, теплоноситель забирает тепло серверной и отдает его атмосферному воздуху, во внешнем радиаторе. Расчетная мощность теплоотведения системы при разнице температур внутреннего и атмосферного воздуха 30..40°C составляет около 50 кВт при потребляемой мощности системы всего около 2 кВт. Таким образом нам удается существенно снижать энергопотребление в холодное время года, внося посильный вклад в охрану окружающей среды.

Содержание
На площади около 36 м2 кроме системы охлаждения расположились 9 стандартных 42 U (1 U=4.45 см) стоек для оборудования в два ряда:

Стойка №1
Целиком отдана под телекоммуникационные нужды. Здесь расположился Border Router на базе Cisco 7606, в котором скоммутированы все оптические линии приходящие из разных частей университета, СО РАН, дружественных провайдеров и проч.

Ферма из 3х VPN-серверов на базе маршрутизаторов Cisco расположилась чуть выше. Кроме того здесь поселился WiFi-контроллер фирмы Cisco — центральный узел всей сети WiFi, раскинувшейся по корпусам университета.

Картину дополняют шасси медиа-конверторов, передающих сигнал из оптики в витую пару и обратно, а так же гроздь оптических кроссов для оптических линий расходящихся по университету и далее.

Стойка №2
Так же целиком отдана под телекоммуникационные нужды. Здесь в самом низу стойки расположен Core Switch на базе Cisco 6506, являющийся центром маршрутизации сети НГУ. Кроме того здесь расположен Cisco Call Manager — центральный узел, координирующий работу IP-телефонов, используемых в университете.

Еще одна большая и важная железка фирмы Huawei — центральный узел системы видео-конференций, которые способен организовывать университет.

Далее идут патч-панели для витой пары, кабели от которых расходятся по левому крылу главного корпуса университета в рабочие кабинеты и компьютерные классы. Кабели скоммутированы в расположенные в этой стойке свичи. Далее уже знакомые нам оптические кроссы.

Стойка №3
До отказа наполненная различными серверами, которые включают в себя сервера электронной почты, хостинга сайтов, сетевых сервисов и многого другого.

Стойка №4
Здесь расположено шасси c7000 фирмы HP с размещенными в нем Blade-серверами и хранилище на ~10Tb. Краткий список серверов:
— 4 сервера VMWare — составляющие vmware-облака виртуализации с общим дисковым пространством.
— Сервер УИС — система электронного документооборота НГУ.
— Сервер мониторинга оборудования и сети — обеспечивает 24х7 мониторинг состояния серверов и сетевой инфраструктуры НГУ. При необходимости оповещает уполномоченных администраторов и/или в автоматическом режиме принимает необходимые меры.
— Хостинг сервер.
— Официальное зеркало дистрибутивов Ubuntu, Debian, Gentoo.

Стойки №5 и №6

Стойка №8
Здесь располагается второе шасси c7000 фирмы HP частично заполненное серверами:
— Сервера информационных систем
— Сетевые сервисы

Кроме того в этой стойке расположились:
— Cервера приложений
— Зеркало дистрибутива FreeBSD

Стойка №9
Здесь установлено третье шасси c7000 фирмы HP с хранилищем на ~10Tb:
— Сервера хранилища документов