return

telecom №90. InfiniBand

25 августа 2020, 07:36
like 1 views 3599 message 1

1 коментарий

  • Интересный подкаст, послушал спустя два года после выпуска и он все еще актуален.

    Работаю в Network Operations в компании IONOS Cloud (ex. ProfitBricks GmbH), мы используем InfiniBand для построения кластеров гипервизоров (сотни хостов в топологии) для нашего публичного облака, добавлю свои 5 копеек к обсуждаемому в подкасте:

    1) Не все так гладко в части эксплуатации scale-фабрик InfiniBand, очень много подводных камней встречается уже на пути развития, начиная от возможных проблем при миксовании разных поколений IB в одной топологии, и заканчивая нестабильным поведением SM, который может не положить, но значительно деградировать фабрику. Некоторый опыт из нашей эксплуатации:
    https://www.openfabrics.org/wp-content/uploads/2021-workshop-presentations/302_Chukov_Infiniband-reliability.pdf

    2) Упомянутая технология RDMA незаслуженно мало востребована, несмотря на то, что является основой основ для распределенных вычислений и облаков. Наши коллеги построили отказоустойчивый транспорт для блочных устройств https://github.com/ionos-enterprise/rnbd поверх RDMA и протащили все в ядро Linux — https://lwn.net/Articles/818711/ это открывает возможности к самостоятельному построению как систем хранения данных, так и распределенных блочных устройств, связанных каким-либо интерконнектом. Поскольку RDMA может использоваться как поверх нативного IB, так и поверх Ethernet (RoCEv2), то можно реализовать самые разные сценарии.

    3) Особенность использования портов на адаптерах для разных сред передачи Infiniband\Ethernet не до конца раскрыта. Наш опыт показывает, что это очень полезно для построения гибридных инфраструктур и можно самостоятельно строить highspeed шлюзы на границе Infiniband\Ethernet. Пример сервера, порты одного адаптера которого настроены на разные технологии:
    $sudo ibstat
    CA ‘mlx5_0’
    CA type: MT4119
    Number of ports: 1
    Port 1:
    State: Active
    Physical state: LinkUp
    Rate: 40
    Link layer: InfiniBand
    CA ‘mlx5_1’
    CA type: MT4119
    Number of ports: 1
    Port 1:
    State: Active
    Physical state: LinkUp
    Rate: 40
    Link layer: Ethernet

    10 января 2022, 15:53
Ещё выпуски
Шоты №31. Андрей Парамонов. ТТС2021
У диктофона нашего корреспондента Романа Козлова — Андрей Парамонов, инженер отдела беспроводных технологий CompTek. Один из создателей канала "Шапочки из фольги", постоянный спикер ...
like 1 3316 0
Play
По'уехавшие №27. Германия. Артём Колпаков
Как правильно отмечают некоторые наши слушатели, пора стряхнуть пыль с рубрики по'уехавшие. Что мы и делаем незамедлительно, врываясь с рассказом про Германию. Дрова, ...
like 0 1801 1
По'уехавшие №22. Польша. Дмитрий Сменов
Как-то так на небе сошлись звёзды, что проект По'уехавшие временно впал в кому. Но, кажется, настала пора вытащить его за шкирятник на свет ...
like 0 3531 0
Шоты №14. Николай Бекетов. Asterconf 2019
Бекетов Николай Владелец компании miko.ru Специализируемся на разработке VoIP решений и решений для интеграции телефонии и 1С. Пишу код на C++, C#, 1C, ...
like 0 5387 1
00:00 00:00