Cloudera lança serviço AI Inference integrado ao Nvidia NIM Microservices

A Cloudera, provedora global de plataforma híbrida para dados, análises e IA, lançou o Cloudera AI Inference com tecnologia de Nvidia NIM Microservices, parte da plataforma Nvidia AI Enterprise. Como um dos primeiros serviços de inferência de IA do setor a fornecer capacidade integrada de microsserviços NIM, o Cloudera AI Inference agiliza de forma única a implementação e o gerenciamento de modelos de IA em grande escala, permitindo que as empresas aproveitem o verdadeiro potencial de seus dados para avançar a GenAI desde as fases piloto até a produção completa.

Dados recentes da Deloitte revelam que as maiores barreiras à adoção da GenAI pelas empresas são os riscos de conformidade e as preocupações de governação, mas a adoção da GenAI está progredindo a um ritmo rápido, com mais de dois terços das organizações ampliando seus orçamentos de GenAI no terceiro trimestre deste ano. Para mitigar estas preocupações, as empresas devem recorrer à execução de modelos e aplicações de IA de forma privada – seja on premises ou em nuvens públicas. Essa mudança requer soluções seguras e escaláveis que evitem abordagens complexas do tipo “faça você mesmo”.

O Cloudera AI Inference protege dados confidenciais contra vazamentos para serviços de modelo de IA não privados hospedados por fornecedores, oferecendo desenvolvimento e implantação seguros dentro do controle corporativo. Alimentado pela tecnologia NVIDIA, o serviço ajuda a construir dados confiáveis para IA com velocidades de alto desempenho, permitindo o desenvolvimento eficiente de chatbots, assistentes virtuais e aplicativos de agente orientados por IA, impactando a produtividade e o crescimento de novos negócios.

O lançamento do Cloudera AI Inference ocorre logo após a colaboração da empresa com a Nvidia, reforçando o compromisso da Cloudera em impulsionar a inovação empresarial em IA em um momento crítico, à medida que as indústrias navegam pelas complexidades da transformação digital e da integração de IA.

Os desenvolvedores podem criar, personalizar e implantar LLMs de nível empresarial com desempenho até 36 vezes mais rápido usando GPUs Nvidia Tensor Core e taxa de transferência quase quatro vezes maior em comparação com CPUs. A experiência de usuário perfeita integra UI e APIs diretamente com contêineres de microsserviços Nvidia NIM, eliminando a necessidade de interfaces de linha de comando (CLI) e sistemas de monitoramento separados. A integração de serviços com o AI Model Registry da Cloudera também melhora a segurança e a governança, gerenciando controles de acesso para terminais e operações do modelo. Os usuários se beneficiam de uma plataforma unificada onde todos os modelos – sejam implantações LLM ou modelos tradicionais – são gerenciados perfeitamente em um único serviço.

Os principais recursos adicionais do Cloudera AI Inference incluem:

Recursos avançados de IA: utilize Nvidia NIM Microservices para otimizar LLMs de código aberto, incluindo LLMs e Mistral, para obter avanços de ponta em processamento de linguagem natural (PNL), visão computacional e outros domínios de IA;

Nuvem híbrida e privacidade: execute cargas de trabalho no local ou na nuvem, com implantações de VPC para maior segurança e conformidade regulatória;

Escalabilidade e monitoramento: conte com escalonamento automático, alta disponibilidade e acompanhamento de desempenho em tempo real para detectar e corrigir problemas e fornecer gerenciamento eficiente de recursos;

APIs abertas e integração de CI/CD: acesse APIs compatíveis com padrões para implantação, gerenciamento e monitoramento de modelos para integração perfeita com pipelines de CI/CD e fluxos de trabalho de MLOps;

Segurança empresarial: imponha acesso de modelo com recursos de Contas de Serviço, Controle de Acesso, Linhagem e Auditoria;

Implementação gerenciada por riscos: realize testes A/B e Canary Release para atualizações controladas de modelos.

“As empresas estão ansiosas para investir em GenAI, mas isso requer não apenas dados escaláveis, mas também seguros, compatíveis e bem governados”, afirma Sanjeev Mohan, analista do setor da Cloudera. “A produção de IA em escala de forma privada introduz uma complexidade que as abordagens DIY lutam para resolver. O Cloudera AI Inference preenche essa lacuna integrando o gerenciamento avançado de dados com a experiência em IA da Nvidia, liberando todo o potencial dos dados ao mesmo tempo que os protege. Com recursos de segurança de nível empresarial, como contas de serviço, controle de acesso e auditoria, as organizações podem proteger seus dados com confiança e executar cargas de trabalho no local ou na Nuvem, implantando modelos de IA de forma eficiente com a flexibilidade e a governança necessárias”, completou.

“Estamos entusiasmados em colaborar com a Nvidia para trazer o Cloudera AI Inference ao mercado, fornecendo uma plataforma única de IA/ML que suporta quase todos os modelos e casos de uso para que as empresas possam criar aplicativos de IA poderosos com nosso software e, em seguida, executar esses aplicativos de IA de alto desempenho em Cloudera também”, afirma Dipto Chakravarty, diretor de Produtos da Cloudera. “Com a integração da IA da NVIDIA, que facilita a tomada de decisões mais inteligentes por meio de desempenho avançado, a Cloudera está inovando em nome de seus clientes ao criar aplicativos de IA confiáveis com dados confiáveis em escala”, comentou.

“As empresas, hoje, precisam integrar perfeitamente a IA generativa com sua infraestrutura de dados existente para gerar resultados de negócios”, conta Kari Briski, vice-presidente de software da Cloudera. “Ao incorporar Nvidia NIM Microservices na plataforma de inferência de IA da Cloudera, estamos capacitando os desenvolvedores a criar facilmente aplicativos de IA generativos confiáveis, ao mesmo tempo em que promovemos um volante de dados de IA autossustentável”, finalizou.