InfiniBand - InfiniBand

Торговая ассоциация InfiniBand
InfiniBand Trade Association logo.jpg
Формирование 1999 г.
Тип Промышленно торговая группа
Цель Продвижение InfiniBand
Штаб-квартира Бивертон, Орегон , США
Веб-сайт www .infinibandta .org

InfiniBand ( IB ) - это стандарт компьютерной сетевой связи, используемый в высокопроизводительных вычислениях, который отличается очень высокой пропускной способностью и очень низкой задержкой . Он используется для передачи данных между компьютерами и внутри них. InfiniBand также используется как прямое или переключаемое соединение между серверами и системами хранения, а также как соединение между системами хранения. Он разработан с учетом возможности масштабирования и использует топологию сети с коммутируемой структурой . К 2014 году это было наиболее часто используемое межсоединение в списке суперкомпьютеров TOP500 , примерно до 2016 года.

Mellanox (приобретенная Nvidia ) производит адаптеры хост-шины InfiniBand и сетевые коммутаторы , которые используются крупными поставщиками компьютерных систем и баз данных в их линейках продуктов. В качестве межсоединения компьютерного кластера IB конкурирует с Ethernet , Fibre Channel и Intel Omni-Path . Технология продвигается торговой ассоциацией InfiniBand .

История

InfiniBand возник в 1999 году в результате слияния двух конкурирующих проектов: Future I / O и Next Generation I / O (NGIO). NGIO возглавляла Intel , спецификация была выпущена в 1998 году, и к ней присоединились Sun Microsystems и Dell . Будущий ввод-вывод был поддержан Compaq , IBM и Hewlett-Packard . Это привело к созданию InfiniBand Trade Association (IBTA), в которую вошли как поставщики оборудования, так и поставщики программного обеспечения, такие как Microsoft . В то время считалось, что некоторые из более мощных компьютеров приближались к узкому месту соединения шины PCI , несмотря на такие обновления, как PCI-X . Версия 1.0 Спецификации архитектуры InfiniBand была выпущена в 2000 году. Первоначально IBTA видела, что IB одновременно заменяет PCI в вводе-выводе, Ethernet в машинном отделении , межкомпонентное соединение кластера и Fibre Channel . IBTA предусматривается также разлагать серверное оборудование на IB ткани .

Компания Mellanox была основана в 1999 году для разработки технологии NGIO, но к 2001 году отгрузила линейку продуктов InfiniBand под названием InfiniBridge со скоростью 10 Гбит / с. После того, как лопнул пузырь доткомов, в отрасли возникли сомнения относительно того, стоит ли инвестировать в такой далеко идущий технологический скачок. К 2002 году Intel объявила, что вместо поставки интегральных схем («чипов») IB она сосредоточится на разработке PCI Express , а Microsoft прекратила разработку IB в пользу расширения Ethernet. Sun и Hitachi продолжали поддерживать IB.

В 2003 году суперкомпьютер System X, построенный в Технологическом институте Вирджинии, использовал InfiniBand в том, что на тот момент считалось третьим по величине компьютером в мире. OpenIB Alliance (позже переименовано OpenFabrics Alliance) была основана в 2004 году для разработки открытого набора программного обеспечения для Linux ядра. К февралю 2005 г. поддержка была принята в ядре Linux 2.6.11. В ноябре 2005 года устройства хранения, наконец, были выпущены с использованием InfiniBand от таких поставщиков, как Engenio.

Из 500 лучших суперкомпьютеров в 2009 году Gigabit Ethernet был внутренней технологией межсоединений в 259 установках по сравнению с 181, использующим InfiniBand. В 2010 году лидеры рынка Mellanox и Voltaire объединились, в результате чего остался только один другой поставщик IB, QLogic , в основном поставщик Fibre Channel . На Международной конференции по суперкомпьютерам 2011 года было объявлено и продемонстрировано соединение, работающее со скоростью около 56 гигабит в секунду (известное как FDR, см. Ниже), путем подключения стендов на торговой выставке. В 2012 году Intel приобрела технологию QLogic InfiniBand, оставив только одного независимого поставщика.

К 2014 году InfiniBand была самой популярной технологией внутреннего соединения для суперкомпьютеров, хотя в течение двух лет ее вытеснил 10 Gigabit Ethernet . В 2016 году сообщалось, что корпорация Oracle (инвестор Mellanox) может разработать собственное оборудование InfiniBand. В 2019 году Nvidia приобрела Mellanox, последнего независимого поставщика продуктов InfiniBand.

Технические характеристики

Технические характеристики опубликованы торговой ассоциацией InfiniBand.

Представление

Исходными названиями скоростей были одинарная скорость передачи данных (SDR), двойная скорость передачи данных (DDR) и четырехкратная скорость передачи данных (QDR), как указано ниже. Впоследствии были добавлены другие трехбуквенные сокращения для еще более высоких скоростей передачи данных.

Характеристики
  SDR DDR QDR FDR10 FDR EDR HDR Отчет о недоставке XDR
Скорость передачи (Гбит / с) 0002,5 0005 0010 0010,3125 0014.0625 0025,78125 0050 0100 0250
Теоретическая
эффективная
пропускная способность
( Гбит / с ) 		за 01 ссылкуs 0002 0004 0008 0010 0013,64 0025 0050 0100 0250
для 04 ссылок 0008 0016 0032 0040 0054,54 0100 0200 0400 1000
для 08 ссылок 0016 0032 0064 0080 0109,08 0200 0400 0800 2000 г.
для 12 ссылок 0024 0048 0096 0120 0163,64 0300 0600 1200 3000
Кодирование ( биты ) 8b / 10b 64b / 66b PAM4 подлежит уточнению
Задержка адаптера ( мкс ) 0005 0002,5 0001.3 0000,7 0000,7 0000,5 меньше? подлежит уточнению подлежит уточнению
Год 2001, 2003 2005 г. 2007 г. 2011 г. 2011 г. 2014 г. 2018 г. 2021 г. после 2023 г.?

Ссылки могут быть агрегированы: в большинстве систем используется 4-кратное агрегирование. Каналы 8 × и 12 × обычно используются для межкомпонентных соединений компьютерных кластеров и суперкомпьютеров, а также для межкоммутаторных соединений.

InfiniBand предоставляет возможности удаленного прямого доступа к памяти (RDMA) для снижения нагрузки на ЦП.

Топология

InfiniBand использует топологию коммутируемой фабрики, в отличие от ранней разделяемой среды Ethernet . Все передачи начинаются или заканчиваются на адаптере канала. Каждый процессор содержит адаптер канала хоста (HCA), а каждое периферийное устройство имеет адаптер целевого канала (TCA). Эти адаптеры также могут обмениваться информацией для обеспечения безопасности или качества обслуживания (QoS).

Сообщения

InfiniBand передает данные пакетами размером до 4 КБ, которые собираются вместе для формирования сообщения. Сообщение может быть:

Физическое соединение

Коммутатор InfiniBand с разъемами CX4 / SFF-8470

Помимо форм-фактора подключения платы, он может использовать как активный, так и пассивный медный кабель (до 10 метров) и оптоволоконный кабель (до 10 км). Используются разъемы QSFP .

Ассоциация InfiniBand также определила систему разъемов CXP для скорости до 120 Гбит / с по медным, активным оптическим кабелям и оптическим трансиверам с использованием параллельных многомодовых оптоволоконных кабелей с 24-волоконными разъемами MPO.

Программные интерфейсы

Поддержка операционной системы Mellanox доступна для Solaris , FreeBSD , Red Hat Enterprise Linux , SUSE Linux Enterprise Server (SLES), Windows , HP-UX , VMware ESX и AIX .

InfiniBand не имеет специального стандартного интерфейса прикладного программирования (API). Стандарт перечисляет только набор глаголов, таких как ibv_open_deviceили ibv_post_send, которые являются абстрактными представлениями функций или методов, которые должны существовать. Синтаксис этих функций оставлен на усмотрение поставщиков. Иногда для справки это называется API глаголов . Де - факто стандартом программного обеспечения разрабатывается OpenFabrics Alliance и называется Open Fabrics Enterprise Distribution (OFED). Он выпускается под двумя лицензиями GPL2 или BSD для Linux и FreeBSD и как Mellanox OFED для Windows (названия продуктов: WinOF / WinOF-2; приписывается как драйвер хост-контроллера для сопоставления конкретных устройств ConnectX 3 с 5) по выбору BSD. лицензия для Windows. Он принят большинством поставщиков InfiniBand для Linux , FreeBSD и Microsoft Windows . IBM относится к программной библиотеке, называемой libversbв честь ее операционной системы AIX , а также к «глаголам AIX InfiniBand». Поддержка ядра Linux была интегрирована в 2005 году в ядро ​​версии 2.6.11.

Ethernet через InfiniBand

Ethernet через InfiniBand, сокращенно EoIB, представляет собой реализацию Ethernet через протокол InfiniBand и технологию соединителей. EoIB обеспечивает несколько полос пропускания Ethernet, различающихся в версии InfiniBand (IB). Реализация пакета Internet Protocol Suite в Ethernet , обычно называемого TCP / IP, в некоторых деталях отличается от прямого протокола InfiniBand в IP over IB (IPoIB).

Производительность Ethernet через InfiniBand
Тип Переулки Пропускная способность (Гбит / с) Совместимый тип (ы) Ethernet Совместимое количество Ethernet
SDR 001 0002,5 GbE до 2,5 GbE 02 × GbE в 1 × 02,5 GbE
004 0010 GbE на 10 GbE От 10 × GbE до 1 × 10 GbE
008 0020 GbE на 10 GbE От 20 × GbE до 2 × 10 GbE
012 0030 GbE на 25 GbE От 30 × GbE до 1 × 25 GbE + 1 × 05 GbE
DDR 001 0005 GbE на 5 GbE 0От 5 × GbE до 1 × 05 GbE
004 0020 GbE на 10 GbE От 20 × GbE до 2 × 10 GbE
008 0040 GbE на 40 GbE От 40 × GbE до 1 × 40 GbE
012 0060 GbE на 50 GbE От 60 × GbE до 1 × 50 GbE + 1 × 10 GbE
QDR 001 0010 GbE на 10 GbE От 10 × GbE до 1 × 10 GbE
004 0040 GbE на 40 GbE От 40 × GbE до 1 × 40 GbE

Смотрите также

использованная литература

внешние ссылки