Rede de data center para cluster de IA e HPC

Rede InfiniBand e Ethernet para cluster: componentes, instalação e testes.

Adaptadores, switches, cabos e transceptores escolhidos para o tamanho do seu cluster. Desenhamos a topologia, instalamos e identificamos cada cabo, entregamos a rede testada e seguimos cuidando dela depois da entrega.

Mellanox é marca da NVIDIA. Este site é operado pela Friol Enterprise, integradora independente, sem vínculo com a NVIDIA.

O que fornecemos

O equipamento e o trabalho em volta dele

Uma rede de cluster rende quando adaptadores, switches e cabos foram escolhidos juntos e instalados com método. Fornecemos as peças e os serviços, juntos ou separados.

Adaptadores

Placas de rede InfiniBand ou Ethernet com RDMA, na velocidade que o servidor e a carga aproveitam. Componentes

Switches

Modelos de borda e de núcleo, gerenciados, com o número de portas que a topologia pede. Topologia

Cabos e transceptores

Cobre onde a distância permite e fibra onde passa disso, com comprimentos medidos na planta. Cabeamento

Projeto

Topologia, lista de material, mapa de portas e plano de cabeamento antes da compra.

Implementação e testes

Instalação, firmware, gerenciador da subrede, configuração e o roteiro de testes de entrega. Testes

Sustentação e manutenção

Monitoramento e atendimento por time especializado 24/7. Diagnóstico, troca de peças, firmware e garantia do fabricante conforme o contrato.

Lista de material

Quantos switches e quantas ligações a sua rede precisa

Estimativa para a rede de computação como uma única fat tree de dois níveis, sem bloqueio e sem divisão por trilhos. Os números iniciais são só um exemplo: troque pelos do seu cluster. O guia de topologia explica a conta.

Servidores
Switch
Portas de servidor-
Ligações entre switches-
Switches folha-
Switches espinha-
Switches no total-

-

Como a conta é feita: se as portas de servidor cabem num switch, basta um. Acima disso, cada folha reserva metade das portas para os servidores e a outra metade para subir às espinhas, sem bloqueio, e cada folha divide as subidas igualmente entre as espinhas; o limite de dois níveis é a metade do quadrado do número de portas do switch. Os números contam switches e ligações lógicas: na geração NDR, um conector OSFP leva duas ligações, e o modelo Q3200 reúne dois switches de 36 portas num chassi. Tipo e comprimento de cada cabo saem do plano de cabeamento. A rede de armazenamento, a de gerência e as portas de reserva ficam de fora e entram no projeto.

Duas famílias

InfiniBand ou Ethernet com RDMA

As duas atendem cluster de IA e HPC. A escolha sai da carga de trabalho, do tamanho do cluster e da equipe que vai administrar a rede.

InfiniBand

Rede feita para cluster

RDMA nativo, roteamento adaptativo e operações coletivas na própria rede. Pede um gerenciador da subrede e equipe que conheça a tecnologia.

Ethernet com RDMA (RoCE)

RDMA na rede Ethernet

Conversa direto com a rede do data center. Para render, switches e placas precisam de filas e controle de congestionamento configurados de forma coerente, no modo que a solução escolhida recomenda.

Rede de gerência

Separada da computação

Ethernet comum para administração, acesso aos servidores e portas de gerenciamento, fora do caminho do tráfego entre GPUs.

Sobre o nome

Mellanox, ConnectX e Quantum

Mellanox era a fabricante das placas ConnectX e dos switches InfiniBand. A NVIDIA concluiu a compra da empresa em 27 de abril de 2020, por US$ 7 bilhões, e as linhas passaram a ser vendidas com a marca NVIDIA, mantendo os nomes ConnectX, Quantum e Spectrum.

Este site pertence à Friol Enterprise, integradora independente. Usamos o nome antigo só para identificar a linha de produtos, sem vínculo de propriedade, patrocínio ou representação com a NVIDIA.

Fonte: NVIDIA, comunicado de 27/04/2020.

Guias

Para quem está montando a rede

Perguntas frequentes

Vocês vendem produtos da marca Mellanox?

Mellanox é marca da NVIDIA, que concluiu a compra da empresa em abril de 2020. Os adaptadores ConnectX e os switches Quantum e Spectrum atuais saem com a marca NVIDIA. Este site é operado pela Friol Enterprise, integradora independente, que fornece esses equipamentos sem vínculo com a NVIDIA.

Este site tem ligação com a NVIDIA?

O site é operado pela Friol Enterprise, integradora independente, sem vínculo de propriedade, patrocínio ou representação com a NVIDIA, dona da marca Mellanox.

Vocês atendem a rede de um cluster que já existe?

Sim. Fazemos diagnóstico, troca de cabos e transceptores, atualização de firmware, expansão com novos switches e o roteiro de testes para comparar com o desempenho esperado.

A rede pode vir junto com os servidores?

Sim. A rede pode ser fornecida junto com servidores e armazenamento ou sozinha, para ligar um cluster que você já tem.

Como funciona o suporte depois da instalação?

Um time especializado 24/7 faz o monitoramento e o atendimento. Diagnóstico, troca de peças e testes depois de cada intervenção seguem o escopo do contrato, e os tempos de atendimento ficam escritos na proposta.

InfiniBand ou Ethernet: qual escolher?

Depende da carga de trabalho, do tamanho do cluster e da equipe que vai administrar a rede. InfiniBand traz RDMA nativo e recursos feitos para cluster; Ethernet com RDMA conversa direto com a rede do data center e pede filas e controle de congestionamento bem configurados. O projeto compara as duas para o seu caso.

O que mandar para pedir uma proposta?

O número de servidores, as portas de rede por servidor, a velocidade desejada, a distância entre os racks e, se houver, a descrição da rede existente.

Próximo passo

Conte quantos servidores a rede vai ligar

Para começar, bastam o número de servidores, as portas por servidor, a velocidade desejada e a distância entre os racks. Se já existe uma rede, conte também o que está instalado.

Com isso, montamos a proposta:

  • topologia e lista de material;
  • plano de cabeamento com comprimentos;
  • implementação e roteiro de testes de entrega;
  • sustentação com monitoramento e atendimento por time especializado 24/7, e manutenção conforme o contrato.
WhatsApp(11) 3280-1333
E-mailcontato@mellanox.com.br
Falar sobre a rede