Oracle e AMD oferecem maior desempenho para cargas de trabalho de IA

A Oracle e a AMD anunciaram que as novas GPUs AMD Instinct MI355X estarão disponíveis na Oracle Cloud Infrastructure (OCI) para oferecer aos clientes mais opções e desempenho de preço mais de duas vezes melhor para cargas de trabalho de treinamento e inferência de IA em larga escala em comparação com a geração anterior. A Oracle oferecerá clusters de IA em zettascale acelerados pelos mais recentes aceleradores AMD Instinct com até 131.072 GPUs MI355X para permitir que os clientes criem, treinem e infiram IA em escala.

“Para oferecer suporte aos clientes que executam as cargas de trabalho de IA mais exigentes na Nuvem, nos dedicamos a fornecer as mais amplas ofertas de infraestrutura de IA”, disse Mahesh Thiagarajan, vice-presidente executivo da Oracle Cloud Infrastructure. “As GPUs AMD Instinct, combinadas com o desempenho, a rede avançada, a flexibilidade, a segurança e a escala da OCI, ajudarão nossos clientes a atender às suas necessidades de inferência e treinamento para cargas de trabalho de IA e novos aplicativos de agentes”, completou

Para oferecer suporte a novos aplicativos de IA que exigem conjuntos de dados maiores e mais complexos, os clientes precisam de soluções de computação de IA projetadas especificamente para treinamento de IA em larga escala. O zettascale OCI Supercluster com GPUs AMD Instinct MI355X atende a essa necessidade, fornecendo uma arquitetura de rede de cluster RDMA de alta taxa de transferência e latência ultrabaixa para até 131.072 GPUs MI355X. O AMD Instinct MI355X oferece quase o triplo do poder de computação e um aumento de 50% na memória de alta largura de banda do que a geração anterior.

“A AMD e a Oracle têm um histórico compartilhado de fornecer aos clientes soluções abertas para acomodar alto desempenho, eficiência e maior flexibilidade de design de sistema”, disse Forrest Norrod, vice-presidente executivo e gerente geral do Data Center Solutions Business Group da AMD. “A última geração de GPUs AMD Instinct e NICs Pollara na OCI ajudará a oferecer suporte a novos casos de uso em inferência, ajuste fino e treinamento, oferecendo mais opções aos clientes à medida que a adoção da IA cresce”, comentou.

AMD Instinct MI355X chegando à OCI

As formas com tecnologia AMD Instinct MI355X são projetadas com valor superior, flexibilidade de Nuvem e compatibilidade de código aberto, ideal para clientes que executam os maiores modelos de linguagem e cargas de trabalho de IA da atualidade. Com o AMD Instinct MI355X na OCI, os clientes poderão se beneficiar de:

Aumento significativo de desempenho: ajuda os clientes a aumentar o desempenho para implementações de IA com taxa de transferência até 2,8 vezes maior. Para permitir a inovação de IA em escala, os clientes podem esperar resultados mais rápidos, menor latência e a capacidade de executar cargas de trabalho de IA maiores.

Memória maior e mais rápida: permite que os clientes executem modelos grandes inteiramente na memória, aprimorando as velocidades de inferência e treinamento para modelos que exigem alta largura de banda de memória. As novas formas oferecem 288 gigabytes de memória 3 (HBM3) de alta largura de banda e até oito terabytes por segundo de largura de banda de memória.

Novo suporte FP4: permite que os clientes implementem grandes modelos de linguagem (LLM) modernos e IA generativa de maneira econômica com o suporte do novo padrão de computação de ponto flutuante (FP4) de 4 bits. Isso permite inferência ultraeficiente e de alta velocidade.

Design denso e refrigerado a líquido: permite que os clientes maximizem a densidade de desempenho em 125 quilowatts por rack para cargas de trabalho de IA exigentes. Com 64 GPUs por rack a 1.400 watts cada, os clientes podem esperar tempos de treinamento mais rápidos com maior taxa de transferência e menor latência.

Criado para treinamento e inferência em escala de produção: oferece suporte aos clientes que implantam novos aplicativos agenciais com um TTFT (time-to-first) token mais rápido e alta taxa de transferência de tokens por segundo. Os clientes podem esperar melhor desempenho de preço para cargas de trabalho de treinamento e inferência.

Nó de cabeça poderoso: auxilia os clientes a otimizar o desempenho de sua GPU, permitindo orquestração de trabalho eficiente e processamento de dados com uma CPU AMD Turin de alta frequência com até três terabytes de memória do sistema.

Pilha de código aberto: permite que os clientes aproveitem arquiteturas flexíveis e migrem facilmente seu código existente sem dependência de fornecedor por meio do AMD ROCm. O AMD ROCm é uma pilha de software aberta que inclui modelos de programação populares, ferramentas, compiladores, bibliotecas e tempos de execução para desenvolvimento de soluções de IA e HPC em GPUs AMD.

Inovação de rede com AMD Pollara: fornece aos clientes a funcionalidade RoCE avançada que permite projetos inovadores de malha de rede. A Oracle será a primeira a implantar NICs AMD Pollara AI em redes de back-end, fornecendo funções avançadas de RoCE, como controle de congestionamento programável e suporte para padrões abertos do setor do Ultra Ethernet Consortium (UEC) para redes de alto desempenho e baixa latência.