СДСМ АДСМ Книги
return

telecom №90. InfiniBand

25 августа 2020, 07:36
like 1 views 5498 message 1

В течение восьми лет мы обходили стороной такую любопытную технологию, как InfiniBand. Вероятно, потому, что 70% сетевых инженеров никогда не потрогают его руками.
И всё же полезно взглянуть на то, что можно сделать, если разрабатывать технологию в 90-е, после того, как Ethernet со своими товарищами TCP и IP собрали все грабли и обросли подпорками.
В гостях у linkmeup — Mellanox — единственный производитель оборудования InfiniBand в мире.
Познать новый для себя мир за один выпуск затея провальная, но мы попробовали, поэтому и длительность у него нетипичная. И всё же много тем осталось не освещено, а вопросов не отвечено. Поэтому, возможно, мы запишем ещё один выпуск.
Кто:

  • Александр Петровский. Системный инженер NVIDIA (Mellanox)
  • Нейман Борис. Ведущий Инженер в сетевом отделе компании NVIDIA (Mellanox)

Про что: Infiniband.

  • Сколько в мире производителей InfiniBand?
  • Экскурс в историю: про задачи и технологию.
  • А зачем InfiniBand, если можно купить 400Гб/с Ethernet и сварить на нём RoCE?
  • QoS и управление перегрузками.
  • IP over IB, IB over Ethernet, Ethernet over IB и прочие позы.
  • Целые отдельные кластера, провязанные IB для систем Искусственного Интеллекта.
  • Есть ли будущее у IB?

Слайды к выпуску

Скачать файл подкаста

Слушать на YouTube

Добавить RSS в подкаст-плеер.

Подкаст доступен в iTunes.

Скачать все выпуски подкаста вы можете с яндекс-диска.

like 1 views 5498 message 1

1 коментарий

  • joniknsk

    Интересный подкаст, послушал спустя два года после выпуска и он все еще актуален.

    Работаю в Network Operations в компании IONOS Cloud (ex. ProfitBricks GmbH), мы используем InfiniBand для построения кластеров гипервизоров (сотни хостов в топологии) для нашего публичного облака, добавлю свои 5 копеек к обсуждаемому в подкасте:

    1) Не все так гладко в части эксплуатации scale-фабрик InfiniBand, очень много подводных камней встречается уже на пути развития, начиная от возможных проблем при миксовании разных поколений IB в одной топологии, и заканчивая нестабильным поведением SM, который может не положить, но значительно деградировать фабрику. Некоторый опыт из нашей эксплуатации:
    https://www.openfabrics.org/wp-content/uploads/2021-workshop-presentations/302_Chukov_Infiniband-reliability.pdf

    2) Упомянутая технология RDMA незаслуженно мало востребована, несмотря на то, что является основой основ для распределенных вычислений и облаков. Наши коллеги построили отказоустойчивый транспорт для блочных устройств https://github.com/ionos-enterprise/rnbd поверх RDMA и протащили все в ядро Linux — https://lwn.net/Articles/818711/ это открывает возможности к самостоятельному построению как систем хранения данных, так и распределенных блочных устройств, связанных каким-либо интерконнектом. Поскольку RDMA может использоваться как поверх нативного IB, так и поверх Ethernet (RoCEv2), то можно реализовать самые разные сценарии.

    3) Особенность использования портов на адаптерах для разных сред передачи Infiniband\Ethernet не до конца раскрыта. Наш опыт показывает, что это очень полезно для построения гибридных инфраструктур и можно самостоятельно строить highspeed шлюзы на границе Infiniband\Ethernet. Пример сервера, порты одного адаптера которого настроены на разные технологии:
    $sudo ibstat
    CA ‘mlx5_0’
    CA type: MT4119
    Number of ports: 1
    Port 1:
    State: Active
    Physical state: LinkUp
    Rate: 40
    Link layer: InfiniBand
    CA ‘mlx5_1’
    CA type: MT4119
    Number of ports: 1
    Port 1:
    State: Active
    Physical state: LinkUp
    Rate: 40
    Link layer: Ethernet

    10 января 2022, 15:53
Ещё выпуски
telecom №38. Элтекс
Гости: новосибирский производитель телекоммуникационного оборудования Элтекс: Андрей Сотников — Специалист отдела развития «Элтекс.СПб». Артём Спицын — руководитель проектов направления VoIP. Александр Князев — ...
like 0 20551 13
25 апреля 2016
sysadmins №14. Докер, Кубер два апдейта
Всем добрых выходных! Мы не забыли, мы выкладываем в публичный доступ 14 выпуск linkmeup_sysadmins от 23.07.2019. Андрей Куковеров из Veeam и Михаил Жучков ...
like 0 13537 0
10 августа 2019
telecom №91. SD-WAN
Такая всё ещё далёкая, но очень уж нашумевшая тема, которую мы тоже умудрялись обходить стороной всё это время. Что же ты такое Software ...
like 1 6975 0
25 сентября 2020
sysadmins №15. Разговоры про Atlassian и не только
И снова здравствуйте наши дорогие друзья. Вот и вышел наш выпуск про компанию Atlassian и ее флагмана Jira Software. В гостях: Андрей Маркелов. ...
like 0 6778 3
30 сентября 2019
00:00 00:00
1x
1x 1.2x 1.5x 2x
Изображение подкаста

telecom №90. InfiniBand

like 1