Intel apresenta Gaudi 3 AI para acelerar o treinamento de IA

A Intel apresentou na terça-feira (9/4), no evento Intel Vision, o acelerador Intel Gaudi 3 AI, que oferece computação de IA 4 vezes superior para BF16, aumento de 1,5x na largura de banda de memória e largura de banda de rede de 2x para expansão massiva do sistema em comparação com seu antecessor – um salto significativo no desempenho e na produtividade para treinamento de IA e inferência em grandes modelos de linguagem (LLMs) mais populares e modelos multimodais. Com base no desempenho e eficiência comprovados do acelerador Intel Gaudi 2 AI – a única alternativa de benchmark MLPerf para LLMs no mercado – a Intel oferece aos clientes uma escolha com software aberto baseado na comunidade e rede Ethernet padrão do setor para escalar seus sistemas de forma mais flexível.

“No cenário em constante evolução do mercado de IA, uma lacuna significativa persiste nas ofertas atuais. O feedback de nossos clientes e do mercado em geral ressalta o desejo de aumentar a escolha. As empresas ponderam considerações como disponibilidade, escalabilidade, desempenho, custo e eficiência energética. O Intel Gaudi 3 se destaca como a alternativa GenAI apresentando uma combinação atraente de desempenho de preço, escalabilidade do sistema e vantagem de tempo de retorno”, disse Justin Hotard, vice-presidente executivo da Intel e gerente-geral do Data Center and AI Group.

Segundo a Intel, as empresas de setores críticos, como finanças, manufatura e saúde, estão buscando rapidamente ampliar a acessibilidade à IA e fazer a transição de projetos de IA generativa (GenAI) de fases experimentais para implementação em grande escala. Para gerenciar essa transição, estimular a inovação e atingir as metas de crescimento de receita, as empresas exigem soluções e produtos abertos, econômicos e mais eficientes em termos de energia que atendam às necessidades de retorno sobre investimento (ROI) e eficiência operacional.

O acelerador Intel Gaudi 3 atenderá a esses requisitos e oferecerá versatilidade por meio de software aberto baseado na comunidade e Ethernet padrão da indústria aberta, ajudando as empresas a escalar de forma flexível seus sistemas e aplicativos de IA.

Como a arquitetura personalizada oferece desempenho e eficiência do GenAI

O acelerador Intel Gaudi 3, arquitetado para computação eficiente de IA em larga escala, é fabricado em um processo de 5 nanômetros (nm) e oferece avanços significativos em relação ao seu antecessor. Ele foi projetado para permitir a ativação de todos os mecanismos em paralelo — com o Matrix Multiplication Engine (MME), Tensor Processor Cores (TPCs) e Placas de Interface de Rede (NICs) — permitindo a aceleração necessária para computação e escala de aprendizado profundo rápido e eficiente. Os principais recursos incluem:

Mecanismo de computação dedicado à IA: o acelerador Intel Gaudi 3 foi desenvolvido especificamente para computação GenAI de alto desempenho e alta eficiência. Cada acelerador apresenta exclusivamente um mecanismo de computação heterogêneo composto por 64 TPCs programáveis e personalizados por IA e oito MMEs. Cada Intel Gaudi 3 MME é capaz de realizar impressionantes 64 mil operações paralelas, permitindo um alto grau de eficiência computacional, tornando-os hábeis em lidar com operações matriciais complexas, um tipo de computação fundamental para algoritmos de aprendizado profundo. Este design exclusivo acelera a velocidade e a eficiência das operações paralelas de IA e suporta vários tipos de dados, incluindo FP8 e BF16.

Aumento de memória para requisitos de capacidade LLM: 128 gigabytes (GB) de capacidade de memória HBMe2, 3,7 terabytes (TB) de largura de banda de memória e 96 megabytes (MB) de memória de acesso aleatório estático (SRAM) integrada fornecem memória ampla para processar grandes conjuntos de dados GenAI em menos Intel Gaudi 3s, particularmente útil no atendimento de modelos multimodais e de linguagem grande, resultando em maior desempenho de carga de trabalho e eficiência de custo do data center.

Dimensionamento eficiente do sistema para Enterprise GenAI: 24 portas Ethernet de 200 gigabits (Gb) são integradas em cada acelerador Intel Gaudi 3, fornecendo rede flexível e de padrão aberto. Eles permitem o dimensionamento eficiente para oferecer suporte a grandes clusters de computação e eliminar o bloqueio do fornecedor de malhas de rede proprietárias. O acelerador Intel Gaudi 3 foi projetado para aumentar e expandir eficientemente de um único nó para milhares para atender aos requisitos expansivos dos modelos GenAI.

Software de indústria aberta para a produtividade do desenvolvedor: o software Intel Gaudi integra a estrutura PyTorch e fornece modelos otimizados baseados na comunidade Hugging Face – a estrutura de IA mais comum para desenvolvedores GenAI atualmente. Isso permite que os desenvolvedores do GenAI operem em um alto nível de abstração para facilidade de uso e produtividade e facilidade de portabilidade de modelos entre tipos de hardware.

Gaudi 3 PCIe: uma novidade na linha de produtos é a placa complementar Gaudi 3 peripheral component interconnect express (PCIe). Feito sob medida para trazer alta eficiência com menor potência, esse novo formato é ideal para cargas de trabalho como ajuste fino, inferência e geração aumentada de recuperação (RAG). Ele é equipado como um fator de forma de altura total a 600 watts, com uma capacidade de memória de 128 GB e uma largura de banda de 3,7 TB por segundo.

O acelerador Intel Gaudi 3 fornecerá melhorias significativas de desempenho para tarefas de treinamento e inferência nos principais modelos GenAI. Especificamente, o acelerador Intel Gaudi 3 é projetado para entregar em média em comparação com o Nvidia H100:

– Tempo de treinamento 50% mais rápido nos parâmetros Llama2 7B e 13B e nos modelos de parâmetros GPT-3 175B.

– Taxa de transferência de inferência 50% mais rápida2 e 40% maior eficiência energética de inferência3 nos parâmetros Llama 7B e 70B e nos modelos de parâmetros Falcon 180B.

– Uma vantagem de desempenho de inferência ainda maior em sequências de entrada e saída mais longas.

– Inferência 30% mais rápida4 nos parâmetros Llama 7B e 70B e nos modelos de parâmetros Falcon 180B contra Nvidia H200.

O acelerador Intel Gaudi 3 estará disponível para fabricantes de equipamentos originais (OEMs) no segundo trimestre de 2024 em configurações padrão da indústria de placa base universal e módulo acelerador aberto (OAM). Entre os notáveis adotantes OEM que trarão Gaudi 3 ao mercado estão Dell Technologies, HPE, Lenovo e Supermicro. A disponibilidade geral dos aceleradores Intel Gaudi 3 está prevista para o terceiro trimestre de 2024, e a placa de expansão Intel Gaudi 3 PCIe está prevista para estar disponível no último trimestre de 2024.

O acelerador Intel Gaudi 3 também alimentará várias infraestruturas de LLM em Nuvem econômicas para treinamento e inferência, oferecendo vantagens e opções de preço-desempenho para organizações que agora incluem NAVER.

Os desenvolvedores podem começar hoje mesmo com acesso a instâncias baseadas no Intel Gaudi 2 na Nuvem do desenvolvedor para aprender, prototipar, testar e executar aplicativos e cargas de trabalho

O impulso dos aceleradores Intel Gaudi 3 será fundamental para o Falcon Shores, a unidade de processamento gráfico (GPU) de próxima geração da Intel para IA e computação de alto desempenho (HPC). O Falcon Shores integrará a propriedade intelectual (IP) Intel Gaudi e Intel Xe com uma única interface de programação de GPU construída na especificação Intel oneAPI.