return

Экскурсия в салатовых тонах

2 августа 2019, 10:09

Статья написана Алексеем Учакиным aka Snake
===========================================
Самая главная транспортная проблема в Питере — это мосты. Ночью из-за них приходится убегать из кабака, не допив пиво. Ну или платить два конца за такси. Утром — тщательно рассчитывать время, чтобы мост уже свели, но ты ещё успел (например — на вокзал). Вариант «ночевать где-нибудь в центре, рядом с вокзалом» мы не рассматриваем, как идеологически вредный.
…«Сапсан», уходящий в 5:30, придумали люди, которые ненавидят сов. Нет, разумеется, очень удобно оказаться в Москве в девять утра, а Питер безумно прекрасен во время белых ночей, но в половину пятого, когда я сел в такси, мне хотелось повернуть голову на 270 градусов тому жаворонку, который придумал этот утренний поезд.

«Все хорошие датацентры похожи друг на друга» — думал я, когда узнал, что нас пригласили в гости ребята из DataLine.
Как оказалось, каждый датацентр хорош (или плох) чуточку по-своему, особенно когда набьёшь шишек, соберёшь все грабли в округе и выучишь уроки из собственного (и, немножечко, чужого) богатого опыта. Вот мы (в составе пяти ведущих linkmeup и примкнувших к ним друзей и сочувствующих) и решили проверить, насколько хороши (или не очень) датацентры OST и NORD.

Успев немного поработать в дороге (тут могла бы быть реклама одного мобильного оператора, но нет — покрытие как было плохим, так и осталось), выгружаемся на Ленинградском вокзале. Ну, хоть не под Газманова.
Начали мы свою экскурсию по «салатовым» ЦОДам с OST — «того самого», который не так давно «горел». Почему в кавычках — после. А пока — стоим, курим, ждём опаздывающих. Фотографируем офис RT по соседству. С этим соседством есть много забавных историй — начиная с укладки свежего асфальта и покраски поребриков бордюров перед приездом Высоких Персон, и заканчивая скидками в окрестных кафешках, которые даталайновцам делали из-за схожести бейджей.

Рупор тоталитарной пропаганды

Датацентр строгого (пропускного) режима
Пропуск, правила поведения, мясорубка на входе — почти такую же мы видели во время экскурсии в Linxdatacenter. А много ли вы видели в ЦОДах кофеен? Мы, вот, теперь парочку знаем. У сотрудников и клиентов на бейджах есть «кофейные» депозиты, которые регулярно пополняются. Так что в разумных пределах кофе можно угоститься совершенно бесплатно. Нас, как дорогих гостей, тоже угостили.
Про кофе не могу сказать ничего плохого — вполне обычно для «сетевой» кофейни, но вот расположение невольно подкупает, а интерьер прямо в лучших современных традициях.

Интерьер местной кофейни

На фотографиях датацентры NORD
Экскурсия начинается с офиса. Помимо известных на весь Рунет надписей на стенах и бело-салатовой гаммы есть ещё и всякие забавные штуки. Это реквизит, оставшийся от выступлений корпоративного театра (вы можете себе представить технического директора сети датацентров, играющего в спектакле? А мы его лично знаем).

И правда

Фотографии со спектаклей
ЦОД (а точнее сказать, четыре ЦОДа) располагаются в комплексе промышленных зданий, построенном ещё в позапрошлом веке (тогда — завод «Ситроён», а во времена СССР — завод «Гидропривод»), так что с одной стороны — тут суровый индастриал, металлические балки, атмосфера лофта и промышленные артефакты разных эпох, которые до сих пор находят при проведении различных работ. С другой — гермозоны ЦОДа нужно вписывать в существующие конструкции, и периодически идти на компромиссы с реальностью. Впрочем, не сказал бы, чтобы эти компромиссы сказались на качестве — но ребятам, наверняка, пришлось попотеть при проектировании. Ещё, по слухам, где-то рядом проходит Метро-2, но это не точно.

Кроме театра здесь есть и свой музей. Экспонаты, натурально — археологические находки
Пару слов о пожаре. Да, здание (а, точнее, крыша) действительно горело. Пострадали внешние блоки систем охлаждения и хладотрассы. Где-то перегорела проводка и кондиционеры остались без электричества. Где-то взорвались фреонопроводы. Но, не смотря на это, гермозоны выдержали тонны вылитой на них воды, оборудование уцелело. Восстанавливали под управлением «штаба» в лице высшего руководства всем миром — выгребли вообще все медные трубки в Москве и окрестностях (привозили даже ночью на BMW X5) и всех трезвых монтажников. Критичное оборудование из пострадавших датахоллов (пострадавших от отсутствия холода, не от пожара) оперативно перенесли по другим залам, так что, уже в пять утра подняли не только все свои сервисы, но и клиентов.
Мы лично проверили тот зал, который больше всего «пострадал» — кроме запаха гари и заменённых плиток фальшпола, о пожаре не напоминает вообще ничего (кроме стоек с оборудованием, «временно» увезённых в другой дата-холл, да там и оставшихся).

Статусная панель
Гуляя по коридорам, видим сенсорный дисплей с чем-то, очень похожим на схему машзалов ЦОДа. Это статусная панель. Их в коридорах натыкано порядком, и они позволяют on-site инженерам быстро найти, например, нужный кондиционер, ну и просто сообщают текущий статус.
Мониторинг построен на Nagios (сейчас уже несколько независимых кластеров) и покрывает все датацентры (и OST, и NORD). Дополнительно есть приложения под Android и iOS (для клиентов и сотрудников), и статусная страница прямо на сайте.
На дисплее замечаю необычно высокий PUE — не везде в России его принято считать, но всё-же 1.90 это несколько много. Ответ на это сугубо экономический — в 2012-2013 годах стойки в ЦОДах расходились, как горячие пирожки, так что было не до сантиментов и энергоэффективности. Ставим то, что есть на рынке, делаем максимально быстро и не заботимся об этих ваших PUE вообще, ибо зачем? Ещё на стадии проектирования выкупается 80-90% стоек, ну а законодательство в РФ про энергоэффективность знать ничего не хочет. Хотя какую-нибудь комиссию в Амстердаме кондратий бы хватил от таких цифр.
Ничего личного. Просто бизнес.

Ещё одна особенность — это маркировка дата-холлов. На каждой площадке дата-холлы помимо «официальной» цифро-буквенной кодировки имеют «человеческие» псевдонимы из военно-морского алфавита (Альфа-Браво-Чарли-Дельта…). Почему-то все клиенты любят зал Whiskey.

В деле заботы о клиентах не бывает мелочей

Такие «заборы» ставят для некоторых клиентов. Нам в машзалах снимать не разрешили, поэтому фото DataLine ©
Клиенты DataLine — сплошь большие и уважаемые компании, они очень не любят, когда фотографируют их оборудование. Тем более, если название (или логотип) клиента написано прямо на стойке крупными буквами. Не любят — и всё тут. Поэтому снимали мы ставшие уже знаменитыми стены с разными надписями, да инженерку. Инженерку фотографировать можно тоже не всю и не везде, но мы старались. Так как среди клиентов — большие и уважаемые, то и запросы у них бывают специфические — специальные стойки (или вообще какая-нибудь убер СХД из нескольких вендорских стоек), свои заборы, свои СКУД, своё видеонаблюдение и группа быстрого реагирования с автоматами. Вообще, одно из негласных (и гласных тоже) правил DataLine — это заботиться о клиенте и делать ему хорошо. Начиная от жилеток и оборудованных рабочих мест с выходом в интернет и зарядками, и заканчивая различными мероприятиями для клиентов. Последние очень полезны ещё и с той стороны, что одни и те же люди, переходя из компании в компанию, приводят их в DataLine. Просто потому, что здесь всё уютно, удобно и надёжно. Бизнес DataLine — это не только сдача стойко-мест. Это ещё и облако, одновременно сертифицированное и по 152-ФЗ и по PCI-DSS (о нём мы собираемся сделать подкаст, следите за анонсами), и предоставление связности (свои волокна между площадками и от каждой из них до М9, своё оптическое кольцо по городу, и так вплоть до организации последней мили к офису клиента).
М — мотивация
К слову, о надписях — идеи приходят не только от сотрудников, но и от партнёров и клиентов, после чего за самые удачные можно проголосовать на официальной странице DataLine в FB. Ну и предложить свою идею можно там же.

Встреча на Эльбе

Кроссовая (фотография предоставлена компанией DataLine)
Останавливаемся у Meet-Me-Room, где располагаются операторы. В MMR (их в OST три пары, по числу магистральных вводов оптики, под активку и пассивку) сводятся подключения со всех дата-холлов. В кроссовой всё скучно и аккуратно. Зато там, где стоит операторская активка, вспоминаешь лучшие годы и кадры с какого-нибудь БМ18: лапша из проводов и разномастное оборудование (DLink, Extreme, Juniper, Mikrotik… и так до ASR9k). Операторов здесь более полусотни, так что всё пёстро. Из MMR оптика и медь расходится по машзалам. Минимум две трассы на каждый (возможны варианты), так что за надёжность подключения можно не переживать. MMR называется «Эльба», что весьма тонко.

IBM Power н-нада?
Ещё одна находка — это IBM P-series, который ни разу не включали, и он уже несколько лет стоит в одном из коридоров. Машину (вместе с ленточной библиотекой и СХД) заказал один из клиентов, но «не пригодилась», поэтому её подарили датацентру. С тех пор и стоит.
Хорошо, наверное, быть состоятельными парнями и делать такие подарки, да? (А может и не подарили, а забыли. Или в карты проиграли. Но стоит давно)

Вот такой красавец стоит в NORD-4
Идём в энергоцентр — три (а то и четыре) ДГУ на каждый ЦОД (напомню, в OST их четыре). Дизель выходит на полную мощность за 30-40 секунд и выдаёт 1900кВА. Резервирование N+1, синхронизация, и прочее — в комплекте. Самое большое время сидения на дизелях в OST — 12 часов. в NORD — 2.5 суток (всё-таки хранилище на 85 тонн это вам не хухры-мухры).
Разумеется, есть договоры с разными топливными компаниями на подвоз топлива. Переключение на дизель происходит регулярно, так что и топливо вырабатывается, и контракты проверяются. К слову, по словам коллег, в NORD при тестировании ДГУ, которое обычно занимает не один час, на месте, куда выбрасывается горячий воздух от дизелей, даже зимой успевает зазеленеть трава.
После короткого перекуса в уже знакомой кофейне едем на площадку NORD. Это тоже не один датацентр, а четыре независимых здания на одной территории. У каждого свои вводы электричества, свои дизели и своё охлаждение. NORD-1 и NORD-2 прошли аудит Uptime Institute M&O. Самый свежий (и самый лучший ЦОД DataLine) — NORD-4, так что идём мы именно сюда.
При огромном, казалось бы, количестве ЦОДов в Москве, всё равно наблюдается дефицит. Нет, конечно, одну-две стойки вам отгрузят без проблем. Даже двадцать дадут. Больше — уже вопрос (а у DataLine клиентов с такими потребностями — не один и не два). Конкретно в NORD-4 место (пока) есть, потому что один крупный клинет съехал в свой собственный свежепостроенный ЦОД, но вот в других местах так может уже не повезти. Тем не менее, сейчас вовсю идёт проектирование NORD-5, который обещают запустить в начале 2020 года.
Но вернёмся к нашей экскурсии. Так как ехали мы на машине, то нас запустили в шлюз, ~~в котором нас взяли на прицел автоматчики~~ номер нашей машины сверили с заявкой, а всех пассажиров попросили выйти для получения пропусков (разумеется, по паспорту). Ибо Б — безопасность.
NORD-4 — это гордость компании и компиляция многолетнего опыта в строительстве и эксплуатации датацентров, он имеет сертификаты Uptime Institute Tier III на дизайн-проект и Facility (т.е. построенный ЦОД), а так же Operational Sustainability — ребята к делу подошли максимально ответственно. Внутри — четыре независимых друг от друга гермозоны по два зала внутри одного здания. У каждой — свой энергоцентр (ДГУ, аккумуляторные комнаты) контуры охлаждения и системы пожаротушения. Общего — вводы оптики (их два на здание) и MMR.


Моддинг здорового инженера
На входе в ЦОД ждёт уже знакомая нам кофейня (ну а почему бы и нет?). Поднимаемся в центр мониторинга. Главных сейчас два — в OST и NORD-4 (в NORD-1,2,3 тоже сидят свои дежурные смены). Из каждого центра можно смотреть за обеими площадками, так что даже здесь обеспечивается redundancy n+1. На видеостене — уже знакомые нам дашборды в салатовой гамме (параметров на ней, понятно, гораздо больше, чем на статусном дисплее). Немного общаемся за мониторинг — никаких модных прометеусов и графан, только Nagios, только хардкор и самописная визуализация. За десять лет (впрочем, даже больше) использования написано уже множество кастомных проверок и скриптов, так что съезжать на что-то другое выглядит той ещё авантюрой. Примерно раз в месяц появляется очередная компания, которая предлагает «быстро и безболезненно» решить все проблемы, но пока как-то не складывается. Видеостена, кстати, тоже работает на самосборном решении, которое получилось в разы дешевле коммерческих аналогов.

Здешний ЦУП
Когда много лет проектируешь, строишь и эксплуатируешь датацентры, то уже не так сильно боишься делать что-то сам, а не покупать готовое. DataLine, например, не стесняется говорить, что они, просто за счёт масштаба, наступили на максимальное количество граблей, и каждый новый ЦОД — это сын ошибок трудных и опыта, который насчитывает уже более десяти лет. Разумеется, в каждом новом ЦОДе есть свои ноу-хау, и, гуляя по NORD, то и дело ловишь себя на мысли, то люди просто взяли, и сделали хорошо. Не понта ради, не ради рейтингов и сертификатов — обычный инженерный процесс, когда на каждой итерации ты растёшь над собой и становишься всё лучше и лучше. Сторонний наблюдатель скажет, что это скучно и консервативно, а вот клиент, наоборот, поддерживает такую стабильность собственными деньгами. И для того, чтобы сделать хорошо, совсем не обязательно покупать инженерные системы или софт за много-много денег (хотя и без этого, порой, никак). Чаще решает опыт, знания и инженерная смекалка.
Например, здание NORD-4 насчитывает 3,5 этажа. Первые три — полноценные, с потолками в 4.5 метра, где располагаются машзалы. А последний — технический, высотой всего 1.8 метра, и отдан чисто под систему охлаждения. Так как этаж технический, то и требования к нему гораздо ниже, что позволило упростить проект и сэкономить деньги.

Вид на треугольный ЦОД

Макс обладает особым кунг-фу не палиться на фотках
Завершаем экскурсию на крыше — отсюда открывается отличный вид на стоящую рядом ТЭЦ и жилой массив, а так же на другие здания NORD. Два из них треугольные. По этому поводу коллеги даже смеялись, что «DataLine — дебилы, строят зачем-то треугольный ЦОД» Чтобы ставить там треугольные стойки и треугольные серверы. Но ничего — построили и успешно эксплуатируют, а заодно эффективно используют имеющуюся территорию (которая в Москве, надо сказать, не бесплатная). Ещё один удивительный (для меня) факт — большинство коммерческих клиентов хочет размещаться именно в Москве. Площадка за полста километров по Минскому шоссе (даже если есть все необходимые мощности и коммуникации) уже мало кому интересна. Вот и ютятся все в нерезиновой.

Градирни — это уже не ЦОД, а ТЭЦ
На этом наше очередное путешествие подошло к концу.
После была ещё долгая и продуктивная беседа о совместных планах и будущих подкастах (надеюсь, долго ждать не придётся), так что следите за новостями, скоро будет ещё больше интересного.
Ну а желающих увидеть всё своими глазами DataLine приглашает на экскурсию. Совершенно бесплатно, но по предварительной записи. Тем, кто назовёт кодовое слово «linkmeup» — плюс в карму.

Stay tuned!

like 0 views 5206 message 0

0 коментариев

Ещё статьи

Подготовка студии к записи подкаста
Подкаст ЛинкМиАп будет записываться в Сибири, несмотря на то, что дисперсия мест жительства его ведущих весьма высока. Поэтому здесь, в маленьком однокомнатном офисе в Новосибирске, который по совместительству ещё и ...
like 0 9563 22
17 ноября 2012
Вебинар на тему: «Основы маршрутизации/CEF»
UPD2: По многочисленным жалобам на Youtube и его 480р, оригинал: Просмотреть в оригинале (с помощью Webex) Скачать оригинал в формате .arf для оффлайн просмотра UPD: Вебинар состоялся. В среду 4 ...
like 234 5381 2
3 мая 2016
Сети для самых матёрых. Часть пятнадцатая. QoS
Все выпуски СДСМ...14. Сети для самых маленьких. Часть четырнадцатая. Путь пакета 13. Сети для самых матёрых. Часть тринадцатая. MPLS Traffic Engineering 12. Сети для самых матёрых. Часть двенадцатая. MPLS L2VPN ...
like 367 90538 12
18 августа 2018