Topologia da rede de um cluster de IA e HPC

Quando um switch basta

Se o número de portas de servidor cabe nas portas de um switch, a topologia é a mais simples possível: todos os servidores ligados ao mesmo switch. Um switch NDR de 64 portas liga 8 servidores com 8 portas cada, ou 64 servidores com uma porta cada.

Vale deixar portas de reserva para crescer. Quando o cluster passa do tamanho de um switch, a rede muda de forma, e planejar essa mudança desde o início sai mais barato do que refazer o cabeamento depois.

Fat tree de dois níveis

Acima de um switch, o desenho mais usado em cluster é o fat tree. Os servidores ligam-se aos switches de borda, chamados de folha, e as folhas ligam-se aos switches de núcleo, chamados de espinha.

Numa rede sem bloqueio, cada folha usa metade das portas para os servidores e a outra metade para subir às espinhas. Assim, a rede tem banda de subida para todos os servidores transmitirem ao mesmo tempo. O desempenho real ainda depende do roteamento e do padrão de tráfego, e os testes de entrega medem o resultado.

Uma rede com bloqueio usa menos portas para cima e economiza switches e cabos. Ela serve quando a carga quase não usa todos os servidores falando entre si ao mesmo tempo, o que precisa ser confirmado com a carga real antes de abrir mão da banda.

Trilhos por GPU

Em servidores com 8 GPUs e 8 portas de rede, as arquiteturas de referência da NVIDIA para clusters de IA separam as portas por posição. A porta 1 de todos os servidores vai para um grupo de switches, a porta 2 para outro, e assim por diante. Cada grupo forma um trilho.

Com os trilhos, as GPUs de mesma posição em servidores diferentes ficam ligadas pelo menor caminho, passando por um só switch quando estão na mesma folha do trilho. A referência para os sistemas DGX H200 descreve a rede de computação como fat tree completo, sem bloqueio e otimizado por trilhos. Cada sistema tem oito ligações NDR de 400 Gb/s.

As redes que ficam separadas

Um cluster de IA bem desenhado tem mais de uma rede. A mesma arquitetura de referência separa quatro:

1. Computação. Liga as GPUs entre servidores. É a rede que a lista de material dimensiona.
2. Armazenamento. Liga os servidores ao armazenamento compartilhado, separada da computação para que leitura e gravação de dados disputem banda só entre si.
3. Gerência dentro da banda. Ethernet para instalar sistemas, mover dados administrativos e dar acesso aos usuários.
4. Gerência fora da banda. Ethernet de 1 Gb/s para as portas de gerenciamento dos servidores e equipamentos, isolada dos usuários.

Em cluster menor, armazenamento e computação podem dividir a mesma rede InfiniBand. Essa escolha economiza equipamento, e o projeto precisa mostrar que a banda dá conta das duas cargas.

O gerenciador da subrede

Toda rede InfiniBand precisa de um gerenciador da subrede ativo, que descobre os equipamentos, calcula as rotas e ativa as portas. Ele pode rodar no próprio switch gerenciado ou num servidor ligado à rede.

Nos switches gerenciados que documentam esse limite, como os das linhas HDR e NDR, o gerenciador embutido atende redes de até 2.048 nós. Acima disso, ou quando se quer telemetria da rede inteira ou recursos como as operações coletivas na rede (SHARP), pode ser necessário o software de gerenciamento de fabric do fabricante (UFM) ou outro gerenciador dimensionado para a rede. A documentação recomenda no máximo dois gerenciadores por rede, um ativo e outro de reserva.

Quando a rede passa de dois níveis

Acima do limite de dois níveis, a rede ganha um terceiro nível de switches ou passa a usar switches com mais portas. A geração XDR tem um modelo de 144 portas, que leva o limite de dois níveis para 10.368 portas de servidor. Topologias como Dragonfly também são suportadas pela InfiniBand e entram na comparação em redes muito grandes.

Perguntas frequentes