Novo Red Hat AI 3 ajuda a simplificar as complexidades da inferência de IA

A Red Hat, fornecedora global de soluções open source, anunciou nesta terça-feira (14/10) o Red Hat AI 3, uma evolução significativa de sua plataforma de IA corporativa. Reunindo as mais recentes inovações do Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) e Red Hat OpenShift AI, a plataforma ajuda a simplificar as complexidades da inferência de IA de alto desempenho em escala, permitindo que as organizações movam mais facilmente as cargas de trabalho das provas de conceito para a produção e melhorem a colaboração em torno de aplicações habilitadas para IA.

“Com o Red Hat AI 3, estamos fornecendo uma plataforma open source de nível empresarial que minimiza esses obstáculos. Ao trazer novos recursos, como inferência distribuída com llm-d e uma base para IA agêntica, estamos permitindo que as equipes de TI operacionalizem com mais confiança a IA de próxima geração, em seus próprios termos, em qualquer infraestrutura”, afirmou Joe Fernandes, vice-presidente e gerente-geral da Unidade de Negócios de IA da Red Hat.

À medida que as empresas vão além da experimentação de IA, elas enfrentam obstáculos significativos, incluindo privacidade de dados, controle de custos e gerenciamento de diversos modelos. O estudo “The GenAI Divide: State of AI in Business” do projeto Nanda do Massachusetts Institute of Technology (MIT), destaca a realidade da IA de produção, com aproximadamente 95% das organizações falhando em obter retornos financeiros mensuráveis de de cerca de US$ 40 bilhões em gastos corporativos.

O Red Hat AI 3 se concentra em enfrentar diretamente esses desafios, fornecendo uma experiência mais consistente e unificada para CIOs e líderes de TI maximizarem seus investimentos em tecnologias de computação acelerada. Ele possibilita dimensionar e distribuir rapidamente cargas de trabalho de IA em ambientes híbridos e de vários fornecedores, ao mesmo tempo em que melhora a colaboração entre equipes em cargas de trabalho de IA de última geração, como agentes, tudo na mesma plataforma comum. Com uma base baseada em padrões abertos, o Red Hat AI 3 atende às organizações onde elas estão em sua jornada de IA, oferecendo suporte a qualquer modelo em qualquer acelerador de hardware, de datacenters a ambientes de nuvem pública e IA soberana até a borda mais distante.

Do treinamento ao “fazer”: a mudança para a inferência de IA corporativa

À medida que as organizações movem as iniciativas de IA para a produção, a ênfase muda dos modelos de treinamento e ajuste para a inferência, a fase de “fazer” da IA corporativa. O Red Hat AI 3 enfatiza a inferência escalável e econômica, com base nos projetos de comunidade vLLM e llm-d de grande sucesso e nos recursos de otimização de modelos da Red Hat para fornecer serviços de nível de produção de modelos de linguagem grande (LLMs).

Para ajudar os CIOs a aproveitar ao máximo sua aceleração de hardware de alto valor, o Red Hat OpenShift AI 3.0 apresenta a disponibilidade geral do llm-d, que reimagina como os LLMs são executados nativamente no Kubernetes. O llm-d permite a inferência distribuída inteligente, aproveitando o valor comprovado da orquestração do Kubernetes e o desempenho do vLLM, combinado com as principais tecnologias de código aberto, como a extensão de inferência de API do Kubernetes Gateway, a biblioteca de transferência KV do NVIDIA Dynamo (NIXL) e a biblioteca de comunicação DeepEP Mixture of Experts (MoE), permitindo que as organizações:

– Reduza os custos e melhore os tempos de resposta com agendamento de modelo inteligente com reconhecimento de inferência e atendimento desagregado.

– Ofereça simplicidade operacional e confiabilidade máxima com “caminhos bem iluminados” prescritivos que simplificam a implementação de modelos em escala no Kubernetes.

– Maximize a flexibilidade com suporte multiplataforma para implantar inferência LLM em diferentes aceleradores de hardware, incluindo Nvidia e AMD.

– O llm-d se baseia no vLLM, evoluindo-o de um mecanismo de inferência de nó único e alto desempenho para um sistema de serviço distribuído, consistente e escalável, totalmente integrado ao Kubernetes e projetado para permitir desempenho previsível, ROI mensurável e planejamento de infraestrutura eficaz. Todos os aprimoramentos abordam diretamente os desafios de lidar com cargas de trabalho LLM altamente variáveis e atender a modelos massivos, como modelos de mistura de especialistas (MoE).

Uma plataforma unificada para IA colaborativa

O Red Hat AI 3 oferece uma experiência unificada e flexível adaptada às demandas colaborativas da criação de soluções de IA generativa prontas para produção. Ele foi projetado para agregar valor tangível, promovendo a colaboração e unificando fluxos de trabalho entre as equipes por meio de uma única plataforma para engenheiros de plataforma e engenheiros de IA executarem sua estratégia de IA. Os novos recursos focados em fornecer a produtividade e a eficiência necessárias para escalar da prova de conceito à produção incluem:

– Os recursos de modelo como serviço (MaaS) se baseiam na inferência distribuída e permitem que as equipes de TI atuem como seus próprios provedores de MaaS, atendendo a modelos comuns de forma centralizada e fornecendo acesso sob demanda para desenvolvedores de IA e aplicativos de IA. Isso permite um melhor gerenciamento de custos e oferece suporte a casos de uso que não podem ser executados em serviços públicos de IA devido a questões de privacidade ou dados.

– O AI Hub capacita os engenheiros de plataforma a explorar, implementar e gerenciar ativos básicos de IA. Ele fornece um hub central com um catálogo selecionado de modelos, incluindo modelos de IA de geração validados e otimizados, um registro para gerenciar o ciclo de vida dos modelos e um ambiente de implantação para configurar e monitorar todos os ativos de IA em execução no OpenShift AI.

– O Gen AI Studio fornece um ambiente prático para os engenheiros de IA interagirem com modelos e prototiparem rapidamente aplicativos de IA de nova geração. Com o recurso de endpoint de ativos de IA, os engenheiros podem descobrir e consumir facilmente modelos e servidores MCP disponíveis, que são projetados para simplificar a forma como os modelos interagem com ferramentas externas. O playground integrado fornece um ambiente interativo e sem estado para experimentar modelos, prompts de teste e ajustar parâmetros para casos de uso como bate-papo e geração aumentada por recuperação (RAG).

– Novos modelos validados e otimizados da Red Hat estão incluídos para simplificar o desenvolvimento. A seleção com curadoria inclui modelos populares de código aberto, como gpt-oss da OpenAI, DeepSeek-R1, e modelos especializados, como Whisper para conversão de fala em texto e Voxtral Mini para agentes habilitados para voz.

Construindo a base para agentes de IA de última geração

Os agentes de IA estão prontos para transformar a forma como os aplicativos são criados, e seus fluxos de trabalho complexos e autônomos exigirão muito dos recursos de inferência. A versão Red Hat OpenShift AI 3.0 continua a estabelecer as bases para sistemas de IA agenciais escaláveis, não apenas por meio de seus recursos de inferência, mas também com novos recursos e aprimoramentos focados no gerenciamento de agentes.

Para acelerar a criação e a implementação de agentes, a Red Hat introduziu uma camada de API unificada baseada no Llama Stack, que ajuda a alinhar o desenvolvimento com os padrões do setor, como protocolos de interface LLM compatíveis com OpenAI. Além disso, para defender um ecossistema mais aberto e interoperável, a Red Hat é uma das primeiras a adotar o Model Context Protocol (MCP), um padrão emergente e poderoso que simplifica a forma como os modelos de IA interagem com ferramentas externas, um recurso fundamental para os agentes de IA modernos.

O Red Hat AI 3 apresenta um novo kit de ferramentas modular e extensível para personalização de modelos, baseado na funcionalidade existente do InstructLab. Ele fornece bibliotecas Python especializadas que oferecem aos desenvolvedores maior flexibilidade e controle. O kit de ferramentas é alimentado por projetos de código aberto, como Docling para processamento de dados, que simplifica a ingestão de documentos não estruturados em um formato legível por IA. Ele também inclui uma estrutura flexível para geração de dados sintéticos e um hub de treinamento para ajuste fino de LLM. O hub de avaliação integrado ajuda os engenheiros de IA a monitorar e validar resultados, capacitando-os a aproveitar com confiança seus dados proprietários para obter resultados de IA mais precisos e relevantes.