Componentes da rede de um cluster: adaptadores, switches, cabos e transceptores

As quatro peças da rede

A rede de computação de um cluster tem quatro tipos de peça: o adaptador dentro de cada servidor, o switch, o cabo que liga os dois e, quando a distância pede, o transceptor que converte o sinal elétrico em luz. Uma escolha errada em qualquer uma delas limita a velocidade das outras.

A regra que evita a maior parte dos problemas é escolher as quatro na mesma geração e conferir a compatibilidade entre elas na lista de cabos validados do fabricante.

Gerações InfiniBand e as famílias de produto

Cada geração de InfiniBand leva o nome da velocidade por porta. As famílias de adaptadores e switches acompanham essas gerações.

A geração HDR permite dividir cada porta em duas de 100 Gb/s (HDR100), o que dobra o número de servidores ligados a um mesmo switch quando a carga não precisa de 200 Gb/s. A geração NDR também divide a porta em duas de 200 Gb/s (NDR200).

Como escolher o adaptador

• Quantas portas por servidor. Servidores com várias GPUs costumam ter uma porta de rede por GPU, para que cada placa troque dados sem disputar a mesma ligação. Servidores de CPU costumam usar uma ou duas.
• O barramento do servidor. Para render 400 Gb/s, a placa precisa de um slot PCIe da geração 5 com 16 linhas. Num slot de geração anterior, a velocidade fica limitada pelo slot.
• O formato. Os adaptadores existem em placa padrão (meia altura) e em formato OCP 3.0. O servidor define qual cabe.
• InfiniBand, Ethernet ou os dois. Vários modelos ConnectX funcionam nos dois protocolos, o que dá margem para mudar a rede sem trocar as placas.
• O ciclo de vida do modelo. Dentro da mesma família há códigos em produção e códigos já descontinuados. Conferir o status de cada código antes de fechar a compra evita prazo longo e peça difícil de repor.

Como escolher o switch

• Número de portas. Define quantos servidores cabem num switch e quantos switches a topologia precisa. A lista de material faz essa conta.
• Gerenciado ou não gerenciado. O switch gerenciado dá acesso a contadores e configuração e, nos modelos e configurações que suportam, roda o gerenciador da subrede. Em rede pequena, isso pode dispensar um servidor só para essa função. Recursos como as operações coletivas na rede (SHARP) pedem software de gerenciamento ou servidor dedicado ao gerenciador, o que muda a lista de material.
• Fluxo de ar. Os modelos vêm com ventilação da frente para trás ou de trás para a frente. O sentido precisa combinar com o corredor quente e o corredor frio da sala.
• Fontes e altura. Fontes redundantes e a altura em unidades de rack entram no projeto elétrico e no espaço do rack.

Ethernet de alto desempenho

Do lado da Ethernet, as mesmas placas ConnectX trabalham com RDMA sobre Ethernet (RoCE). A plataforma Spectrum-X junta switches Spectrum-4, como o SN5600, que chega a portas de 800 Gb/s, a placas SuperNIC que reordenam os pacotes na chegada e ajustam o ritmo de envio quando a rede congestiona. O ganho depende de usar switch e placa preparados para isso, com a configuração recomendada.

Em Ethernet com RDMA, filas e controle de congestionamento precisam seguir a configuração recomendada para a solução escolhida. Nos switches com Cumulus Linux, por exemplo, o modo padrão para RoCE é sem perda, com controle de prioridade (PFC) e marcação de congestionamento (ECN), e existe também um modo com perda. O guia de testes mostra como conferir a configuração aplicada.

Cabos e transceptores

Na geração NDR, o cabo de cobre passivo é o mais barato e não consome energia da porta, mas tem o menor alcance. O cobre ativo gasta cerca de 1,5 W por conector para levar o sinal mais longe. Acima de alguns metros entram os transceptores com cabo de fibra, multimodo ou monomodo. O guia de cabeamento detalha cada caso.

Perguntas frequentes