VMware e Nvidia liberam a IA generativa para as empresas

A VMware e a Nvidia anunciam a expansão da parceria estratégica para preparar as centenas de milhares de empresas que utilizam a infraestrutura de Nuvem da VMware para a era da IA generativa.

O VMware Private AI Foundation com a Nvidia permitirá que as empresas personalizem modelos e executem aplicações de IA generativa, incluindo chatbots inteligentes, assistentes, pesquisa e resumo.  A plataforma será uma solução totalmente integrada com software de IA generativa e computação acelerada da Nvidia, desenvolvida no VMware Cloud Foundation e otimizada para IA.

“A IA generativa e a multi-Cloud são a combinação perfeita”, afirma Raghu Raghuram, CEO da VMware. “Os Dados dos clientes estão em toda parte – em seus Data Centers, no Edge e em suas Nuvens. Juntamente com a Nvidia, iremos empoderar as empresas a executar suas cargas de trabalho de IA generativa adjacentes aos seus Dados com confiança, ao mesmo tempo em que abordamos suas preocupações de privacidade, segurança e controle de Dados corporativos.”

“As empresas de todos os lugares estão correndo para integrar a IA generativa em seus negócios”, ressalta Jensen Huang, fundador e CEO da Nvidia. “Nossa colaboração ampliada com a VMware oferecerá a centenas de milhares de clientes – em serviços financeiros, saúde, manufatura e muito mais – o software full-stack e a computação completa de que precisam para desbloquear o potencial da IA generativa usando aplicações personalizadas criadas com seus próprios Dados.”

Computação full-stack completa para turbinar a IA generativa
Para obter benefícios comerciais mais rapidamente, as empresas estão buscando simplificar o desenvolvimento, o teste e a implementação de aplicações de IA generativa. A McKinsey estima que a IA generativa poderia acrescentar até US$ 4,4 trilhões anualmente à economia global.(1)

O VMware Private AI Foundation com a Nvidia permitirá que as empresas aproveitem esse recurso, personalizando grandes modelos de linguagem; produzindo modelos mais seguros e privados para uso interno; oferecendo IA generativa como um serviço para seus usuários; e executando cargas de trabalho de inferência em escala com mais segurança.

Espera-se que a plataforma inclua ferramentas de IA integradas para empoderar as empresas a executar modelos comprovados treinados em seus dados privados de maneira econômica. A ser construída sobre o VMware Cloud Foundation e o software Nvidia AI Enterprise, os benefícios esperados da plataforma incluirão:

Privacidade
Permitirá que os clientes executem facilmente serviços de IA adjacentes a qualquer lugar em que tenham dados com uma arquitetura que preserve a privacidade dos dados e permita o acesso seguro.

Escolha
As empresas terão uma ampla escolha de onde construir e executar seus modelos – do Nvidia NeMo ao Llama 2 e além – incluindo as principais configurações de hardware OEM e, no futuro, em Nuvem pública e ofertas de provedores de serviços.

Desempenho
A execução na infraestrutura acelerada da Nvidia proporcionará desempenho igual e até superior ao do bare metal em alguns casos de uso, conforme comprovado em benchmarks recentes do setor.

Escala do Data Center
As otimizações de escala da GPU em ambientes virtualizados permitirão que as cargas de trabalho de IA sejam dimensionadas em até 16 vGPUs/GPUs em uma única máquina virtual e em vários nós para acelerar o ajuste fino e a implementação do modelo de IA generativo.

Custo mais baixo
Maximizará o uso de todos os recursos de computação entre GPUs, DPUs e CPUs para reduzir os custos gerais e criar um ambiente de recursos agrupados que possa ser compartilhado com eficiência entre as equipes.

Armazenamento acelerado
A arquitetura de armazenamento VMware vSAN Express fornecerá armazenamento NVMe otimizado para o desempenho e oferecerá suporte ao armazenamento GPUDirect sobre RDMA, permitindo a transferência direta de E/S do armazenamento para as GPUs sem o envolvimento da CPU.

Rede acelerada
A integração profunda entre o vSphere e a tecnologia Nvidia NVSwitch permitirá que modelos multi-GPU sejam executados sem gargalos inter-GPU.

Implementação rápida e tempo de retorno do investimento
As imagens de VM do vSphere Deep Learning e o repositório de imagens permitirão recursos de prototipagem rápidos, oferecendo uma imagem de solução turnkey estável que inclui estruturas e bibliotecas otimizadas para desempenho pré-instaladas.

A plataforma contará com o Nvidia NeMo, um framework nativo do Cloud de ponta a ponta incluído no Nvidia AI Enterprise – o sistema operacional da plataforma Nvidia AI – que permite que as empresas criem, personalizem e implantem modelos de IA generativa em praticamente qualquer lugar. O NeMo combina frameworks de personalização, kits de ferramentas de guardrail, ferramentas de curadoria de dados e modelos pré-treinados para oferecer às empresas uma maneira fácil, econômica e rápida de adotar a IA generativa.

Para implantar a IA generativa na produção, o NeMo usa o TensorRT para grandes modelos de linguagem (TRT-LLM), que acelera e otimiza o desempenho da inferência nos grandes modelos de linguagem (LLMs) mais recentes em GPUs Nvidia. Com o NeMo, o VMware Private AI Foundation com a Nvidia permitirá que as empresas extraiam seus próprios dados para criar e executar modelos de IA generativa personalizados na infraestrutura de nuvem híbrida da VMware.

No VMware Explore 2023, a Nvidia e a VMware destacarão como os desenvolvedores das empresas podem usar o novo Nvidia AI Workbench para extrair modelos da comunidade, como o Llama 2, disponível no Hugging Face, personalizá-los remotamente e implantar IA generativa de nível de produção em ambientes VMware.

“Essa plataforma permitirá a integração de soluções de IA generativa em diversas empresas. As companhias poderão, de forma segura e com controle de Dados, personalizar e produzir modelos para uso interno”, pontua Marcio Aguiar, diretor da divisão Enterprise da Nvidia para América Latina.

Amplo suporte do ecossistema para o VMware Private AI Foundation com Nvidia
O VMware Private AI Foundation com Nvidia será suportado pela Dell Technologies, Hewlett Packard Enterprise e Lenovo, que estarão entre as primeiras a oferecer sistemas que aumentam a personalização de grandes modelos de linguagem (LLMs) corporativo e as cargas de trabalho de inferência com GPUs Nvidia L40S, DPUs Nvidia BlueField-3 e SmartNICs Nvidia ConnectX-7.

A GPU Nvidia L40S permite até 1,2x mais desempenho de inferência de IA generativa e até 1,7x mais desempenho de treinamento em comparação com a GPU Nvidia A100 Tensor Core.

As DPUs Nvidia BlueField-3 aceleram, descarregam e isolam a enorme carga computacional de virtualização, rede, armazenamento, segurança e outros serviços de IA nativos do cloud da GPU ou CPU.

As SmartNICs Nvidia ConnectX-7 fornecem redes inteligentes e aceleradas para a infraestrutura do Data Center para impulsionar algumas das cargas de trabalho de IA mais exigentes do mundo.

O VMware Private AI Foundation com a Nvidia se baseia na parceria de uma década entre as empresas. Seu trabalho de engenharia conjunta otimizou a infraestrutura em Nuvem da VMware para executar o Nvidia AI Enterprise com desempenho comparável ao do bare metal. Os clientes mútuos se beneficiam ainda mais do gerenciamento de recursos e infraestrutura e da flexibilidade possibilitada pelo VMware Cloud Foundation.

Disponibilidade

A VMware pretende lançar o VMware Private AI Foundation com a NVIDIA no início de 2024.

(1) “The economic potential of generative AI: The next productivity frontier,” McKinsey, 2023

Serviço
www.vmware.com/company
www.nvidia.com/pt-br