Cloudera e Vast Data oferecem plataforma de dados para IA em qualquer lugar

A Cloudera, empresa que leva Inteligência Artificial aos dados, anunciou uma parceria estratégica com a Vast Data, empresa responsável pelo Sistema Operacional de IA (AI Operating System), para oferecer uma fábrica de IA unificada — um ambiente de produção escalável no qual os dados são continuamente ingeridos, refinados, governados e disponibilizados para modelos de IA destinados a treinamento e inferência.

A infraestrutura está disponível para empresas que operam tanto em ambientes on-premises quanto em nuvens públicas, permitindo um modelo operacional de IA consistente e possibilitando que as organizações implementem serviços de IA onde melhor atendam aos requisitos de desempenho, conformidade e custo. A colaboração integra os serviços de dados baseados em contêineres de próxima geração da Cloudera ao Sistema Operacional de IA da Vast, que unifica armazenamento de alto desempenho, banco de dados e recursos de namespace global para suportar IA em larga escala, Analytics e cargas de trabalho críticas de dados. Essa camada da plataforma de dados, baseada no design de referência da Nvidia AI Data Platform, transforma dados corporativos antes subutilizados em dados prontos para IA, alimentando a fábrica de IA.

À medida que as organizações aceleram a adoção de IA generativa e IA Agêntica, muitas descobrem que as arquiteturas tradicionais não foram projetadas para suportar pipelines contínuos de IA que abrangem preparação de dados, treinamento, inferência e Analytics. Uma das consequências é a chamada “GPU starvation” (escassez de dados para GPUs), situação em que clusters de aceleradores de alto custo permanecem ociosos aguardando dados. A solução conjunta enfrenta esse desafio ao garantir que os dados fluam de forma eficiente durante todo o ciclo de vida da IA, mantendo as GPUs continuamente abastecidas com dados de alta taxa de transferência e baixa latência, aumentando significativamente a utilização dos recursos, o desempenho e o retorno sobre o investimento.

Construindo a fábrica de IA corporativa

A arquitetura lakehouse da Cloudera oferece serviços de dados portáteis e conteinerizados, incluindo engenharia de dados, streaming, Analytics, Machine Learning e IA, todos implementáveis de forma consistente em ambientes híbridos e Multicloud. A arquitetura Disaggregated Shared Everything da Vast serve como base para o Sistema Operacional de IA da empresa, fornecendo infraestrutura de dados em escala de exabytes, integrando serviços de banco de dados vetorial com o Nvidia cuVS para indexação e busca vetorial aceleradas por GPU, além de armazenamento de alto desempenho otimizado para clusters modernos de GPUs e cargas de trabalho de IA. Juntas, a Vast, por meio de seu Sistema Operacional de IA baseado no design de referência da Nvidia AI Data Platform e em computação acelerada, também pela NVIDIA, transforma dados corporativos antes inativos em dados prontos para IA, enquanto a Cloudera fornece serviços de engenharia de dados, Analytics, governança e IA sobre essa base.

Em conjunto, as empresas oferecem:

– Arquitetura unificada de fábrica de IA, desde a ingestão de dados brutos até a implantação de modelos;

– Operações consistentes em data centers, nuvens privadas e nuvens públicas;
Eliminação da escassez de dados para GPUs por meio de pipelines de dados de ultra alta largura de e baixa latência;

– Ganhos expressivos de eficiência computacional ao manter as GPUs operando com elevados níveis de utilização;

– Desempenho superior de armazenamento em larga escala para dados estruturados, não estruturados e multimodais;

– Ambientes privados de IA com governança corporativa e conformidade.

Essa arquitetura permite que as organizações evoluam de experimentos isolados de IA para sistemas de IA em produção, capazes de transformar continuamente dados corporativos em inteligência acionável para treinamento, inferência, Analytics e aplicações agênticas.

A parceria também fortalece soluções voltadas à criação de fábricas privadas de IA, combinando infraestrutura Nvidia AI, o software Nvidia AI Enterprise, o Sistema Operacional de IA da Vast como plataforma de dados fundamental e os serviços corporativos de dados e IA da Cloudera em uma solução otimizada para IA privada e soberana. Como parte dessa oferta, o Cloudera AI Inference Service, acelerado pelos microsserviços Nvidia NIM, permite que as organizações levem a IA até seus dados, implementando e escalando qualquer modelo, incluindo os mais recentes modelos abertos Nvidia Nemotron.

Os clientes também poderão acelerar cargas de trabalho do Apache Spark com o Nvidia cuDF, impulsionando de forma transparente os workloads do Cloudera Data Engineering ao permitir que tarefas do Spark aproveitem os serviços de dados de alta taxa de transferência da VAST por meio de processamento acelerado por GPU, ampliando ainda mais a otimização de cargas de trabalho de IA.

Para grandes empresas, especialmente aquelas que atuam em setores altamente regulados, essa solução representa uma plataforma completa, “do silício à aplicação” , para construir sistemas de IA prontos para produção em qualquer ambiente.

Impulsionando crescimento mútuo

A parceria reúne cerca de 60 exabytes de dados gerenciados pelos clientes, criando oportunidades significativas para ambas as empresas e seus clientes. Esse potencial é reforçado pela crescente demanda corporativa por infraestrutura privada de IA, abrindo um amplo pipeline de negócios e oportunidades futuras de crescimento de receita.

“As empresas estão investindo bilhões de dólares em GPUs, mas muitas ainda enfrentam dificuldades para atingir sua utilização máxima devido a gargalos de dados”, afirmou Abhas Ricky, Chief Business Officer & GM de Applied AI da Cloudera. “Nossa parceria com a Vast elimina a escassez de dados para GPUs e permite que os clientes construam verdadeiras fábricas de IA, nas quais os dados fluem perfeitamente da ingestão até a geração de insights”, completou.

“A maioria das empresas já possui os dados necessários para IA. O desafio é liberar o valor desses dados para criar um pipeline contínuo de inferência, fine-tuning e análise de dados, possibilitando a próxima geração de aplicações inteligentes”, afirmou Jeff Denworth, cofundador da VAST Data. “Juntas, Cloudera e Vast ajudam os clientes a construir fábricas de IA que conectam dados, inteligência e infraestrutura em uma única plataforma operacional para IA em ambientes híbridos”, finalizou.

Serviço
www.cloudera.com
www.vastdata.com