Oracle Cloud Infrastructure expande instâncias aceleradas por GPU Nvidia

As empresas estão rapidamente adotando a IA generativa, os grandes modelos de linguagem (LLMs), os gráficos avançados e os digital twins para aumentarem as eficiências operacionais, reduzirem os custos e estimularem a inovação. Entretanto, para adotarem essas tecnologias com eficiência, as empresas precisam de acesso ao que há de melhor em plataformas de computação aceleradas de pilha completa. Para atender a essa demanda, a Oracle Cloud Infrastructure (OCI) anunciou que instâncias bare-metal da GPU Nvidia L40S já estão disponíveis para pedidos, além da disponibilidade vindoura de uma nova máquina virtual acelerada por uma só GPU Nvidia H100 Tensor Core. Essa nova VM expande o portfólio da H100 já existente da OCI, que inclui uma instância bare-metal com oito GPUs Nvidia HGX H100.

Combinadas à rede Nvidia e executando a pilha de software Nvidia, essas plataformas oferecem desempenho e eficiência potentes, permitindo que as empresas tenham mais avanços na IA generativa.

A Nvidia L40S é uma GPU de Data Center universal projetada para oferecer aceleração revolucionária para várias cargas de trabalho, para uso em aplicações de IA generativa, gráficos e vídeo. Equipada com Tensor Cores de quarta geração e suporte ao formato de dados FP8, a GPU L40S é excelente para treinamento e ajuste fino de grandes modelos de linguagem (LLMs) de pequeno a médio portes e para inferência em uma vasta gama de casos de uso de IA generativa.

Por exemplo, uma única GPU L40S (FP8) pode gerar até 1,4x mais tokens por segundo do que uma única GPU Nvidia A100 Tensor Core (FP16) para Llama38B com Nvidia TensorRT-LLM a uma sequência de entrada e saída de 128.

A GPU L40S também tem a melhor aceleração do setor para gráficos e mídia. Seus Nvidia Ray Tracing Cores (RT Cores) de terceira geração e vários mecanismos de codificação/decodificação fazem com que ela seja a ideal para aplicações de visualização avançada e digital twin.

A GPU L40S entrega até 3,8x o desempenho de ray tracing em tempo real de sua predecessora e suporta Nvidia DLSS 3 para renderização mais rápida e taxas de quadro mais suaves. Isso faz dela a GPU ideal para o desenvolvimento de aplicações na plataforma Nvidia Omniverse, habilitando simulações 3D fotorrealistas em tempo real e digital twins habilitados por IA. Com o Omniverse na GPU L40S, as empresas podem desenvolver aplicações e fluxos de trabalho 3D avançados para digitalização industrial que permitirão projetarem, simularem e otimizarem produtos, processos e instalações em tempo real antes de começarem a produção.

A OCI oferecerá as GPUs L40S em seu formato de computação bare-metal BM.GPU.L40S.4, contando com quatro GPUs Nvidia L40S, cada uma com 48 GB de memória GDDR6. Esse formato inclui unidades NVMe locais com capacidade de 7,38 TB, CPUs Intel Xeon de quarta geração com 112 núcleos e 1 TB de memória do sistema.

Esses formatos eliminam o custo indireto de qualquer virtualização para cargas de trabalho de IA de alto rendimento e sensíveis à latência ou de Machine Learning com a arquitetura de computação bare-metal da OCI. O formato de computação acelerada conta com a DPU Nvidia BlueField-3 para melhor eficiência do servidor, liberando as CPUs das tarefas de data center para acelerar as cargas de trabalho de rede, armazenamento e segurança. O uso das DPUs BlueField leva ainda mais longe a estratégia da OCI de virtualização pronta para usar em toda a sua frota.

O OCI Supercluster com Nvidia L40S habilita um desempenho ultra-alto com largura de banda entre nós de 800 Gbps e baixa latência para até 3.840 GPUs. A rede de cluster da OCI usa placas de interface de rede Nvidia ConnectX-7 sobre RoCE v2 para suportar cargas de trabalho de alto rendimento e sensíveis à latência incluindo treinamento de IA.

VMs com uma GPU H100 chegando em breve à OCI

O formato de máquina virtual para computação VM.GPU.H100.1 acelerado por uma única GPU Nvidia H100 Tensor Core chegará em breve à OCI. Isso oferecerá acesso sob demanda com ótimo custo-benefício para empresas procurando usar a potência das GPUs Nvidia H100 para suas cargas de trabalho de IA generativa e HPC.

Uma única H100 já é capaz de oferecer uma boa plataforma para cargas de trabalho menores e inferência de LLM. Por exemplo, uma GPU H100 pode gerar mais de 27.000 tokens por segundo para Llama 3 8B (até 4x mais rendimento do que uma única GPU A100 com precisão FP16) com Nvidia TensorRT-LLM em um comprimento de sequência de entrada e saída de 128 e precisão FP8.

O formato VM.GPU.H100.1 inclui 2x 3,4 TB de capacidade de unidade NVMe, 13 núcleos de processadores Intel Xeon de quarta geração e 246 GB de memória do sistema, tornando-o adequado para uma gama de tarefas de IA.

Instâncias bare-metal GH200 disponíveis para validação

A OCI também disponibilizou o formato de computação BM.GPU.GH200 para testes dos clientes. Ele conta com o superchip Nvidia Grace Hopper e NVLink-C2C, uma conexão de alta largura de banda com coerência de cache de 900 GB/s entre a CPU Nvidia Grace e a GPU Nvidia Hopper. Isso permite mais de 600 GB de memória acessível, habilitando um desempenho até 10x maior para aplicações executando terabytes de dados em comparação com a GPU Nvidia A100.

Software otimizado para a IA empresarial

As empresas têm uma grande variedade de GPUs Nvidia para acelerarem suas cargas de trabalho de IA, HPC e análise de dados na OCI. Entretanto, maximizar todo o potencial dessas instâncias de computação aceleradas por GPU exige uma camada de software otimizada.

Os Nvidia NIM, parte da plataforma de software Nvidia AI Enterprise disponível no marketplace da OCI, são um conjunto de microsserviços fáceis de usar projetados para implantação segura e confiável de inferência de modelo de IA de alto desempenho para se implantarem aplicações de IA generativa de classe mundial.

Otimizados para as GPUs Nvidia, os contêineres pré-fabricados NIM oferecem aos desenvolvedores melhor custo de propriedade, mais rapidez para chegada ao mercado e segurança. Os microsserviços NIM para modelos populares na comunidade, encontrados no catálogo de APIs da Nvidia, podem ser facilmente implantados na OCI.

O desempenho continuará a melhorar com o tempo, com as futuras instâncias aceleradas por GPU, incluindo as GPUs NVIDIA H200 Tensor Core e GPUs Nvidia Blackwell.