Nvidia Orin inova com a IA na Borda

Em sua estreia nos benchmarks MLPerf do setor, o Nvidia Orin, um sistema em chip de baixa potência baseado na arquitetura Nvidia Ampere, estabelece novos recordes em inferência de Inteligência Artificial (IA), elevando o nível do desempenho por acelerador no Edge.

A Nvidia, junto a seus parceiros, continua a mostrar o mais alto desempenho e o mais amplo ecossistema para executar todas as cargas de trabalho e cenários de Machine Learning, nesta quinta rodada de métricas do setor para IA de produção.

“A cada nova análise, seja de produtos já analisados ou de novos, como o é o caso do Orin, a Nvidia se mostra mais e mais apta a dar saltos de qualidade, tecnologia e inovação. Conhecer e expandir limites é muito importante para uma empresa de tecnologia que quer sempre atingir melhores desempenhos, e continuamos fazendo isso com maestria”, aponta Marcio Aguiar, diretor da divisão Enterprise da Nvidia para América Latina.

Para a IA no Edge, uma versão de pré-produção do Nvidia Orin liderou em cinco dos seis testes de desempenho. Ele foi executado até cinco vezes mais rápido do que a geração anterior Jetson AGX Xavier e ofereceu em média duas vezes mais eficiência energética.

O Nvidia Orin já está disponível no Kit para Desenvolvedor Nvidia Jetson AGX Orin para robótica e sistemas autônomos. Mais de 6 mil clientes, incluindo Amazon Web Services, John Deere, Komatsu, Medtronic e Microsoft Azure, usam a plataforma Nvidia Jetson para inferência de IA ou outras tarefas.

Ele é também um componente – chave da plataforma Nvidia Hyperion para veículos autônomos. A maior fabricante de veículos elétricos (EV) da China, a BYD, é a mais atual fabricante de automóveis a anunciar que usará a arquitetura Drive Hyperion baseada em Orin nas suas frotas automatizadas de EVs de última geração.

O Orin também é um ingrediente essencial da Nvidia Clara Holoscan para dispositivos médicos, uma plataforma que fabricantes de sistemas e pesquisadores estão usando para desenvolver a próxima geração de instrumentos de IA.

Módulo pequeno, pacote grande
Servidores e dispositivos com GPUs Nvidia, incluindo o Jetson AGX Orin, foram os únicos aceleradores de Edge a executar todos os seis benchmarks do MLPerf. Com seu SDK JetPack, o Orin executa toda a plataforma de IA da Nvidia, um pacote de softwares já comprovado no Data Center e no Cloud. Além disso, ele conta com o apoio de um milhão de desenvolvedores que usam a plataforma Nvidia Jetson.

A Nvidia e seus parceiros continuam mostrando o melhor desempenho em todos os testes e cenários na última rodada de inferência MLPerf. Os benchmarks MLPerf contam com um amplo suporte de organizações como Amazon, Arm, Baidu, Dell Technologies, Facebook, Google, Harvard, Intel, Lenovo, Microsoft, Stanford e a Universidade de Toronto.

Mais parceiros e mais envios
A plataforma de IA da Nvidia voltou a atrair o maior número de envios do MLPerf do ecossistema mais amplo de parceiros.

A Azure deu continuidade à sua forte estreia de dezembro nos testes de treinamento MLPerf com bons resultados nesta rodada de inferência de IA, ambos usando GPUs Nvidia A100 Tensor Core. A instância ND96amsr_A100_v4 da Azure se equiparou aos envios de oito GPUs com o mais alto desempenho em quase todos os testes de inferência, demonstrando a potência que está prontamente disponível no Cloud público.

Marcadores de sistema ASUS e H3C fizeram sua estreia no MLPerf nesta rodada com envios usando a plataforma de IA da Nvidia. Eles se juntaram aos fabricantes de sistemas Dell Technologies, Fujitsu, GIGABYTE, Inspur, Nettrix e Supermicro, que apresentaram resultados em mais de 20 sistemas certificados pela Nvidia.

Importância do MLPerf
Os parceiros da Nvidia participam do MLPerf porque sabem que essa é uma ferramenta importante para clientes que avaliam plataformas e fornecedores de IA. Os diversos testes do MLPerf abrangem as cargas de trabalho e os cenários de AI mais populares do momento. Isso dá aos usuários confiança de que os benchmarks refletirão o desempenho que eles podem esperar em todo o âmbito de seus trabalhos.

O software que torna tudo possível
Todos os softwares usados nos testes estão disponíveis no repositório do MLPerf. Dois componentes principais que possibilitaram os resultados de inferência, o Nvidia TensorRT (para otimizar modelos de IA) e o Servidor de Inferência Nvidia Triton (para implementá-los com eficiência) estão disponíveis gratuitamente no NGC, catálogo de softwares otimizados por GPU.

Organizações em todo o mundo estão adotando o Triton, incluindo provedores de serviço em cloud, como Amazon e Microsoft.

Todas as otimizações em contêineres estão disponíveis no NGC. Assim, todos os usuários podem começar a colocar a IA em produção com o melhor desempenho.

¹ MLPerf v2.0 Inference Closed – o desempenho por acelerador derivado dos melhores resultados do MLPerf para os respectivos envios usando a contagem de aceleradores relatada em servidor de Data Center e off-line. Qualcomm AI 100: 2.0-130, Intel Xeon 8380 do envio MLPerf v.1.1: 1.1-023 e 1.1-024, Intel Xeon 8380H 1.1-026, Nvidia A30: 2.0-090, Nvidia A100 (Arm): 2.0-077, Nvidia A100 (X86): 2.0-094. O nome e o logo MLPerf são marcas registradas.

Serviço
www.mlcommons.org