Intel mostra forte desempenho de inferência de IA em teste do MLCommons

A Intel anunciou que o MLCommons publicou os resultados de seu benchmark de desempenho MLPerf Inference v3.1 para GPT-J, o modelo de linguagem grande de 6 bilhões de parâmetros, bem como visão computacional e modelos de processamento de linguagem natural. A Intel apresentou resultados para aceleradores Habana Gaudi2, processadores escaláveis ​​Intel Xeon de 4ª geração e Intel Xeon CPU Max Series. Os resultados mostram o desempenho competitivo da Intel para inferência de IA e reforçam o compromisso da empresa em tornar a Inteligência Artificial (IA) mais acessível em escala em toda a continuidade das cargas de trabalho de IA – do cliente e da borda à rede e Nuvem.

“Conforme demonstrado pelos resultados recentes do MLCommons, temos um portfólio de produtos de IA forte e competitivo, projetado para atender às necessidades de nossos clientes por inferência e treinamento de aprendizagem profunda de alto desempenho e alta eficiência, para o espectro completo de modelos de IA – desde o menor ao maior – com preço/desempenho líder”, afirmou Sandra Rivera, vice-presidente executiva da Intel e gerente-geral do Data Center e AI Group.

Com base na atualização do treinamento de IA do MLCommons de junho e nos benchmarks de desempenho do Hugging Face que validam que Gaudi2 pode superar o H100 da Nvidia em um modelo de linguagem de visão de última geração, os resultados apresentados reforçam ainda mais que a Intel oferece a única solução viável alternativa ao H100 e A100 da Nvidia para necessidades de computação de IA.

Cada cliente tem considerações únicas, e a Intel está levando a IA a todos os lugares com produtos que podem abordar inferência e treinamento em toda a continuidade das cargas de trabalho de IA. Os produtos de IA da Intel oferecem aos clientes flexibilidade e escolha na escolha de uma solução de IA ideal com base em suas respectivas metas de desempenho, eficiência e custos, ao mesmo tempo que os ajudam a romper com ecossistemas fechados.

Os resultados de desempenho de inferência de Habana Gaudi2 para GPT-J fornecem uma forte validação de seu desempenho competitivo:

– O desempenho de inferência de Gaudi2 em GPT-J-99 e GPT-J-99.9 para consultas de servidor e amostras offline é de 78,58 por segundo e 84,08 por segundo, respectivamente.

– O Gaudi2 oferece desempenho atraente em comparação ao H100 da Nvidia, com o H100 mostrando uma ligeira vantagem de desempenho de 1,09x (servidor) e 1,28x (offline) em relação ao Gaudi2.

– O Gaudi2 supera o A100 da Nvidia em 2,4x (servidor) e 2x (offline).

– A submissão de Gaudi2 empregou o FP8 e alcançou 99,9% de precisão neste novo tipo de dados.

– Com as atualizações de software Gaudi2 lançadas a cada seis a oito semanas, a Intel espera continuar oferecendo avanços de desempenho e cobertura expandida de modelos em benchmarks MLPerf.

Resultados do MLPerf

A Intel apresentou todos os sete benchmarks de inferência, incluindo GPT-J, em processadores escaláveis ​​Intel Xeon de 4ª geração. Esses resultados mostram ótimo desempenho para cargas de trabalho de IA de uso geral, incluindo modelos de visão, processamento de linguagem, fala e tradução de áudio, bem como modelos muito maiores de recomendação DLRM v2 e ChatGPT-J. Além disso, a Intel continua sendo o único fornecedor a enviar resultados públicos de CPU com software de ecossistema de aprendizagem profunda padrão do setor.

O processador escalável Intel Xeon de 4ª geração é ideal para criar e implementar cargas de trabalho de IA de uso geral com as estruturas e bibliotecas de IA mais populares. Para a tarefa de resumo de 100 palavras GPT-J de um artigo de notícias de aproximadamente 1.000 a 1.500 palavras, os processadores Intel Xeon de 4ª geração resumiram dois parágrafos por segundo no modo offline e um parágrafo por segundo no modo de servidor em tempo real.

Pela primeira vez, a Intel apresentou os resultados do MLPerf para a série Intel Xeon CPU Max, que fornece até 64 gigabytes (GB) de memória de alta largura de banda. Para o GPT-J, foi a única CPU capaz de atingir 99,9% de precisão, o que é fundamental para aplicações para as quais a maior precisão é de suma importância no desempenho.

A Intel colaborou com seus clientes fabricantes de equipamentos originais (OEM) para entregar seus próprios envios, demonstrando ainda mais a escalabilidade do desempenho de IA e a ampla disponibilidade de servidores de uso geral equipados com processadores Intel Xeon que podem atender aos acordos de nível de serviço do cliente (SLAs).

O MLPerf, considerado o benchmark mais respeitável para desempenho de IA, permite comparações de desempenho justas e repetíveis. A Intel antecipa o envio de novos resultados de desempenho de treinamento de IA para o próximo benchmark MLPerf. As atualizações contínuas de desempenho mostram o compromisso da Intel em apoiar os clientes e abordar cada nó do continuum de IA: desde processadores de IA de baixo custo até aceleradores de hardware e GPUs de IA de mais alto desempenho para clientes de rede, nuvem e empresas.

Serviço
www.intel.com