MosaicML escolhe a OCI para treinar seus modelos de IA generativa

A MosaicML, empresa de desenvolvimento de software que oferece infraestrutura e ferramentas para a construção de modelos de Machine Learning (ML) em larga escala, selecionou a Oracle Cloud Infrastructure (OCI) como sua infraestrutura de Nuvem prioritária para ajudar as empresas a extrair mais valor de seus dados. Com a infraestrutura de IA de alto desempenho da OCI, a MosaicML afirma ter observado um desempenho até 50% mais rápido e economias de custos de até 80% em comparação com outros provedores de Nuvem.

“Centenas de organizações confiam na plataforma MosaicML para desenvolver e treinar modelos de IA generativos grandes e complexos. Fornecemos sistemas e hardware complexos para que nossos clientes possam se concentrar na construção e implementação de seus próprios modelos personalizados de alto desempenho”, disse Naveen Rao, CEO e cofundador da MosaicML. “Escolhemos a OCI porque acreditamos que é a melhor base para o MosaicML. Ao treinar modelos com enormes quantidades de dados na Nuvem, cada minuto conta – e com a OCI, pagamos menos do que com outros provedores de Nuvem e podemos escalar quase linearmente devido à forma como a Oracle configurou suas interconexões”, afirmou.

O MosaicML ajuda as organizações a tornar o treinamento e a inferência de modelos de IA mais eficientes e acessíveis com seus recursos de treinamento de modelos. Para expandir seus negócios e dar suporte à crescente demanda por serviços de IA, a MosaicML selecionou a OCI. Com a OCI, a MosaicML conseguiu obter acesso às mais recentes GPUs Nvidia, uma interconexão de largura de banda muito alta entre nós e grandes tamanhos de blocos de computação para escalar para milhares de GPUs. Isso permitiu que a MosaicML ajudasse empresas e startups a operacionalizar modelos de IA, incluindo o Twelve Labs.

Twelve Labs é uma startup de IA que constroi modelos básicos para compreensão de vídeo multimodal. Aproveitando a plataforma da MosaicML executada na infraestrutura de IA da OCI e da OCI, a Twelve Labs conseguiu dimensionar e implementar com eficiência seus modelos de IA para ajudar os usuários a pesquisar, classificar e utilizar com mais eficiência seus dados de vídeo para diversas aplicações.

“A combinação da MosaicML e da Oracle nos proporcionou a colaboração perfeita para nos ajudar a lidar com grandes capacidades em altas velocidades e acompanhar nosso crescimento no longo prazo”, disse Jae Lee, fundador e CEO da Twelve Labs. “O MosaicML nos permite gerenciar com eficiência nossos grandes clusters de IA, enquanto a infraestrutura de IA da OCI garante que não precisamos comprometer a velocidade, o que nos economizou milhares de horas e dezenas de milhares de dólares em eficiência”, afirmou.

A OCI oferece vários recursos para IA, incluindo infraestrutura de IA . As máquinas virtuais OCI Compute e as instâncias de GPU bare metal podem potencializar aplicativos para visão computacional, processamento de linguagem natural, sistemas de recomendação e muito mais. Para treinar modelos grandes e complexos, como modelos de linguagem grande (LLMs) em escala, o OCI Supercluster fornece rede de cluster de latência ultrabaixa, armazenamento HPC e instâncias bare metal do OCI Compute alimentadas por GPUs Nvidia. As instâncias do OCI Compute são conectadas por uma rede Ethernet de alto desempenho usando RoCE v2 (RDMA over Converged Ethernet v2). A largura de banda nas GPUs Nvidia A100 Tensor Core fornecidas pela OCI excede a das alternativasem 4X-16X, o que, por sua vez, reduz o tempo e o custo do treinamento em aprendizado de máquina.

“Estamos vendo um influxo de empresas de IA vindo para a OCI para executar modelos generativos de IA, porque podemos executá-los de forma mais rápida e econômica do que outros provedores de Nuvem. Não é incomum treinar um modelo de 10 bilhões de parâmetros em poucas horas no OCI, em comparação com alguns dias em outras plataformas”, disse Greg Pavlik, vice-presidente sênior da Oracle. “A arquitetura e o design de rede sem bloqueio e de baixa latência da OCI são fundamentalmente diferentes de qualquer coisa no mercado”, finalizou.

Serviço
www.oracle.com