• Миран
• linxdatacenter
• RETN
• Метротек

Всё началось с того, что наша Наташа написала, что будет в Питере 1-го июня.
Не долго думая, мы решили, что этот тот знак свыше от Лейбница и запланировали linkmeup IRL 2019.
И вот мы здесь.
5 утра, Московский вокзал, KFC, набережная Мойки, Тарелка, голуби с крыш, Исакий, Маросово поле, Каптюр яндексодрайвовый, и вот он — Миран.

Миран

В Миране уже несколько лет проживает лаба с Евой, сервер трансляции, виртуальный микротиковский Роутэрос, хостинг linkmeup с IPv6-доступностью и теперь хостинг подкастов.
У входа в Миран нас встретил сначала внушительных размеров ДГУ. Большинство Дизель-Генераторных Установок стоят на колёсах по двум причинам:
— Мобильность — в паре сотен метров есть ещё несколько модулей Мирана. У них свои генераторы — но мало ли — придётся катать.
— Мобильность — их не надо регистрировать, как стационарные электростанции и соответственно, не нужна проектная документация.
ДГУ Мирана зимой и летом стартует за нескольких секунд. В течение этого времени весь ЦОД питают аккумуляторные батареи.
И железный HP в стойке Мирана и экскурсия стали возможны благодаря Фёдору Русакову. Вся экскурсия прошла в уютной домашней атмосфере. Кофе с печеньками, разговор за телекомы, за истоки компании, про перевоз двухсот серверов вкшечки из Москвы в Питер под покровом ночи. Без спешки мы прогулялись по двум зданиям ЦОДа. Оба — BrownField — переделанные из заводских помещений. В первом, принадлежащем Мирану, с которого мы начали и где на втором этаже заряжались после четырёхчасовой прогулки по Питеру, в своё время располагался завод дизельных установок, поистине гигантских дизельных установок. Собственно второго этажа не было — были огромные ворота, чтобы туда-обратно. Всё разобрали, второй этаж сделали, активное охлаждение, резервированное электропитание, газовая система пожаротушения.
Классический горячий коридор, откуда воздух подаётся в кондиционеры и под фальшполом в закрытый холодный коридор.
Так же под фальшполом спрятаны кабели питания.
Миран не родился как площадка для одного якорного клиента, а скорее планомерно развивал предложение на рынке, где есть спрос.
В своё время тут располагался крупный банк со всеми полагающимися решётками и СКУДами, но он уже съехал. Спрос продолжал расти, Миран тоже, появилось второе здание — уже в аренду — тоже BrownField — в двухстах метрах от первого. Дорога лежит вдоль набережной Большой Невки мимо дома Нобеля. Новое здание построено по модульному принципу с возможностью перевезти целиком модуль в случае проблем с арендодателем. Первые две коробочки купили у производителя, третью — уже собрали с учётом старых ошибок.
У модульной архитектуры оказались минусы — они сравнительно узкие — горячий коридор — 60 см — двум человекам не разойтись. А самое главное — стоимость переезда, как оказалось при первом же расчёте, сравнима со строительством нового.
Но выглядят они как снаружи, так и внутри свеженько и модно.
NOC у ребят на православном Linux, стабильном дебиане. Своё название компания, кстати, получила от платы Система Meridian Integrated Recorded Announcement (MIRAN)  в телефонном коммутаторе Мередиан. А вслед за тем и ЦОД так назвали. ЦОД решили строить в сложный 2008-й год.
С тех пор ребята предоставляют дедик и колокол. В специальных помещениях установлено оборудование операторов.
И это накладывает определённые ограничения и особенности на работу. Например, в стойках стоит максимально разношёрстно оборудование, как в плане машин, так и в плане сетёвки. В Миране я разве что Аристу и Мелланокс не увидел. Всё оборудование предъявляет разное требование к температуре в холодном коридоре, поэтому приходится поддерживать на очень низком уровне — порядка 20°С, то есть о низких PUE говорить не приходится — у Мирана он 1,5.
Ещё один нюанс — со змеиными свадьбами в стойках. Как только вы пускаете в помещение внешних товарищей с их коммутациями, пиши «пропала красота». Ни у кого нет исключений. Увы, вводить драконовские меры тут может оказаться себе во вред.

Последние фото.
А потом мерч от нашего стола вашему и от вашего нашему. Загрузились всей толпой в таксо — и в линкс.

linxdatacenter

Это серьёзные ребята, на временном пропуске которых даже написано «Security Matters». Это пройдёт лейтмотивом всей экскурсии.
После пряничного Мирана в linxdatacenter ты понимаешь, что пришёл лакшери ДЦ. В свой выходной 4 человека съехались прямо скажем не в центр города, чтобы рассказать о себе другим пяти человекам, которые едва ли станут их клиентами)
Нас встретила Мария Свистунова, проводила за большой стол переговоров. Немного праздных разговоров за гватемальским кофе и вперёд. Экскурсии здесь поставлены на поток. Максим и Олег знают своё дело: рассказывают по накатанной: чётко и с увлечением. Где надо, делают акцент, а где нет — обходят стороной. С чувством юмора тоже полный порядок, поэтому два с лишним часа пролетели незаметно.
Гордостью ЦОДа является аптайм в 100% начиная с запуска в 2011-м году.
Уверенность настолько высокая, что для десятых долей даже не предусмотрено место на табло. Linx — пример ДЦ в формате GreenField. Здание специально строилось под размещение в нём ДЦ. Поэтому высота потолков, прочность перекрытий вводы электропитания, его резервирование, СКС — было заложено в проект и учтено ещё на этапе строительства. Так, по дефолту пол выдерживает стойку в 800 кг, но массу можно ещё увеличить после дополнительного укрепления. Говорят оракловые стойки стоимостью в Falcon9 требуют к себе особого отношения.
Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом. По словам Максима — это было очень правильным решением, потому что во время известного Питерского блэкаута офис и рядом стоящий БЦ пострадали, а ЦОД продолжилработу.
Дизель-генератор здесь уже не прицеп на колёсах, а вполне стационарное помещение с дымовыми трубами, вздымающимися высоко над пейзажем.
Время запуска — не более двух минут, а на батареях весь ЦОД может проработать около часа. Проработать дизеля могут 3 дня без доазправки.
Здесь во всём царит порядок и продуманность.
Вот это, например, ключинца, где клиенты ЦОДа могут сами по отпечатку пальца взять ключи от своих стоек.
А это помещение, где клиенты могут проводить любые нужные им инженерные работы, для чего на стене висит шанцевый инструмент.
Это уже полочки для местной эксплуатации со всем жизненно необходимым в повседневной работе:
Оно всегда заряжено и готово к работе.
Бейсболка начинающего хипхопера на фото выше спасла голову не одного человека. Она твёрдая аки натуральная каска — самое то лазить под полутораметровым фальшполом, где нет-нет — да торчит какая-нибудь острая железяка.
Собственно сотрудники из эксплуатации: < Вот этот ничем не примечательный прибор — дифманометр.
Он призван решить простую задачу — поддерживать разницу давлений между коридором и машинным помещением. Например для того, чтобы оно было внутри чуть выше и при открытии двери пыль не залетала внутрь, а наоборот отлетала от двери.
Система пожаротушения тоже газовая — в случае беды газ вытесняет кислород и купирует горение. В линксе встают только серьёзные и очень серьёзные ребята, у которых есть причины для паранойи величиной в Арарат.
Решётки и отдельный от датацентрового СКУД — это только начало.
Вот когда на решение проблемы или на новые коммутации приезжают два человека — один с материальным ключом, другой с электронным — это уже интереснее. А когда от клиента приезжает аудитор в очках, спускается под фальшпол, раздвигает два листа решёток и говорит, что тут пролезет голова ребёнка, понимаешь, что человек видел некоторые интересные вещи в своей жизни.
Были забавные ситуации, когда при проектировании клетки учли всё, что только можно, все системы безопасности, все размеры, которые позволяют завозить стойку и ставить в неё оборудование, но как-то не подумали о габаритах инженеров которые будут с ним работать. А они ни в фас ни в профиль не помещаются между клеткой и стойкой.
Если бы я был ФСБ, я бы поставил своё железо в linx 🙂
После экскурсии мы ещё довольно долго сидели, душевно болтая под пиццу.
Из этого царства безопасности и порядка мы двинулись в RETN.

RETN

С этими ребятами мы знакомы уже давно и близко. Поэтому ничего удивительного, что наконец-то мы собрались на их крыше, чтобы пожарить шашлыков и потравить байки.
У них мы тоже уже бывали, хотя, кажется, не рассказывали. В прошлом году планы по захвату Питерских крыш провалились из-за Фифы.
RETN- вообще-то крупнейший магистральный оператор с волокном по всей планете. Их паутине позавидует любой паук.
А ДЦ на обводном — это такой домашний проект для души, который нашёл свою нишу на растущем рынке. Сюда встают те, кому нужна толстая связность с миром и выход на других местных операторов.
Так, например, в RETNе стоит CDN Netflix’а.
Я с удивлением узнал, что каждая их нода индивидуально от руки подписана какой-то фразой.
И вот такие праздничные коробочки молотят в разных городах на POPах RETNа (и, очевидно, не только его), доставляя до вас как можно быстрее «Чёрное зеркало» и «Острые козырьки».
Тут же есть и CDN гугла и куча операторов, как местного уровня, так и федерального.
У RETNа рядом со зданием стоят два крохотных (по сравнению с мирановским) дизель-генератора и машина с канистрами, чтобы съездить на заправку. Звучит почти как семейный бизнес.
Ну а вечерние переговоры на крыше довели нас до того, что RETN выдаст нам виртуалочку для резервной площадки под хостинг подкастов и картинок.
Мировые парни, суперламповый ЦОД, поражающая своими масштабами сеть.
Для кого-то этот день закончился турниром по duke nukem, для кого-то долгожданным сном в гостинице.
На следующий день у нас было не так много планов: Метротек и подкаст живьём — linkmeup IRL.

Метротек

Буквально месяц назад в гости телеком-подкаста приходили Миша Соколов и Денис Габидуллин из НТЦ Метротек слэш Plumspace, и мы разбирали, что такое Smart SFP. А теперь мы смогли их потрогать живьём.
Денис, проводивший экскурсию по Питерскому офису Метротек (который к слову не изменился с последнего нашего похода к ним), собственно с порога дал в руки один из образцов.
Я было сначала удивился, насколько он топорно сделан — словно лобзиком и напильником выточен из ключа на 32.
Оказалось, что корпус опытного экземпляра был напечатан на 3д-принтере из металлического порошка, что и видно по шероховатой поверхности. Другие — те, что готовы к серии — в полном порядке.
Но вообще, глядя на них, поражаешься, как же они всё-таки умудрились в почти стандартный корпус спрятать такой количество мозгов.
Советую послушать подкаст про Розу, Тозу и сестру их Бозу. Получилось на мой вкус интересно.
Дизайн офиса максимально обычный. Сравнительно небольшие прямоугольные кабинеты, вытянутые к окну, достаточно тёмные, что немного давило. Но атмосфера, несмотря на выходной, царила рабочая.
Оформление за два года не поменялось. Порадовали некоторые плакаты и доски.
Мы прошлись по нескольким комнатам: R&D, системщиков, FPGAшников, подержали в руках разные виды SFP, программаторы, увидели первую модель, в которой Smart было вынесено из SFP на проводочке — один из первых экспериментов — скорее, Proof of Concept, что оно вообще работает.
Говорят, некоторым клиентам даже удобно, чтобы у них из железа торчал такой хвост.
Самой первой целью два года назад было собрать обычную оптическую SFP, которая будет хотя бы передавать сигнал.
Потом отдельно собирали Smart часть с чужой SFP (как раз на шнурке), чтобы убедиться, что они в силах скомпоновать чипы.
Метротеком провёрнута огромная работа. Подумать только, что за 2 года собрали полностью рабочий оптический модуль, который умеет в инкапсуляции, телеметрию, сервер точного времени, конвертер интерфейсов.
И при этом отладить до идеала (хотя это ещё предстоит проверить временем) базовую функциональность по передаче сигнала. Не должно быть затуханий, не должно быть даже редких дропов по вине SFP. А ещё оно не должно греться, несмотря на пачку ASICов, FPGA и CPU внутри.
Браво!

Полноценная вычислительная система: • CPU: NXP i.MX6 ARM до 900 МГц
• FPGA: Lattice ECP5 до 85K LUTs
• RAM: DDR3 до 1 ГБ

Денис отметил, что в компании практикуется и поощряется обмен знаниями, опытом. И тут я подумал: «А разве бывает иначе? 0_о». — Да, зачастую к ним приходят люди, которые на прежнем месте работы варились в собственном соку, не общались, делали двойную и тройную работу и в целом избегали попыток коммуникации.
И тут я вспомнил, что, в общем-то не далее чем два года назад я работал в одной международной широкозабаненной компании, где конференции были под запретом, а knowledge exchange отсутствовал как класс. И именно я был одним из евангелистов еженедельных встреч для обмена опытом, которые, кажется, спасали одиноких инженеров в удалённых регионах.
В общем в Метротеке на регулярной основе проводятся внутренние тренинги и лекции, почему они и молодцы.
А дальше нас завели в удивительный цех монтажа. Сколько раз бы я ни бывал в них, кажется, мой детский восторг не угасает.
У Метротек прямо в офисе стоит оборудование для печати на платах.
Трафарет для нанесения катышков припоя, принтер SMD-компонентов (иначе я его назвать просто не могу), маленькая печурка для запекания плат и рядом рабочие места для ручного монтажа.
К своему удивлению узнал, что микрочипы с сотнями ног тоже припаиваются вручную. Денис говорит, что их ребята прям-таки с удивительной точностью и скоростью напаивают мельчайшие детали и порой нет смысла запускать шайтан-машину — человек сделает быстрее.
Мы между собой нарекли производственную линию Метротек Элтекс-верилайт, на волне сравнительно недавней экскурсии к ним.
Кроме того в офисе есть 3d-принтер и фрезеровочный станок для внутренних нужд, на котором однако уже гравировали медальки для прошлогоднего Chaos Construction.
Оттуда мы отправились в потрясающий по своей идейности Krang Pizza, где уже полным составом linkmeup проглотили мутантскую и по размерам и по смыслу пиццу-бургер и двинули в офис IQ option, где и записали первый выпуск linkmeup IRL.

На следующий день мы ещё заглянули в Лазерный центр по наводке Мамонта, где с нами случился технократический экстаз и немного воспаление жадности, но об этом будет отдельная история.
В заключение хочется сказать, что все экскурсии и встречи получились весьма разными, как по масштабу действия, так и по направленности.
Миран который гостеприимно приютил у себя наш хостинг, быстро растущий, но всё ещё по-дружески простой.
Линкс — поистине крутой ЦОД, с безопасностью во главе угла и опытными маркетологами.
RETN- молодые весёлые ребята «из гаражей», которые делают гигантскую сеть и пока ещё маленький ЦОДик и не прочь развести костёрчик на крыше.
Метротек — сравнительно небольшая команда российских разработчиков железа и ПО, которая делает почти «вот этими вот руками» ворох измерительного более чем конкурентоспособного оборудования, а теперь выходит на новый для себя рынок с амбициозной задачей.
И Лазерный Центр, который выходит за рамки интересов linkmeup, но является объектом наших личных интересов. Оставил очень приятное впечатление и гравировку микрофончика на диктофоне.
Всем оставили наши сувенирные микрофончики.

К сожалению, в этот раз не удалось сходить в Комфортел к Диме Петрову, который уже в течение трёх лет нас поддерживает. Но микрофончик и ему передали.