F5 e a Nvidia aceleram infraestrutura de inferência das fábricas de IA

A F5, fornecedora global de proteção de aplicativos e APIs, anunciou a expansão das capacidades de sua colaboração contínua com a Nvidia para acelerar e otimizar as infraestruturas de inferência de IA. A integração expandida combina o F5 BIG-IP Next para Kubernetes com as DPUs Nvidia BlueField-3, criando uma camada de infraestrutura inteligente e com reconhecimento de telemetria que aumenta a taxa de transferência de tokens com melhor utilização da GPU, reduz a latência e possibilita plataformas de IA multilocatárias seguras em escala.

Em sistemas de IA, os tokens representam a unidade mensurável de saída da IA ​​— as palavras, símbolos ou fragmentos de dados gerados e processados ​​durante a inferência. O volume e a velocidade de produção de tokens determinam, em última análise, a experiência do usuário, a eficiência da infraestrutura e a receita por aceleradora.

À medida que empresas e provedores de GPUaaS competem para monetizar a IA e migrar da experimentação em IA para serviços geradores de receita, a eficiência da infraestrutura tornou-se uma métrica fundamental. O sucesso é cada vez mais medido não apenas pela capacidade de GPU implantada, mas também pela economia de tokens, taxa de transferência sustentada de tokens, tempo até o primeiro token (TTFT), custo por token e receita por acelerador de GPU. A solução conjunta da F5 e da Nvidia foi projetada para abordar diretamente essas métricas.

A transição da inferência centrada em aplicações para fluxos de trabalho de IA orientados por agentes exige novas abordagens arquitetônicas para otimizar a taxa de transferência de tokens e reduzir custos. O BIG-IP Next para Kubernetes agora utiliza estatísticas do Nvidia NIM, sinais de tempo de execução do Dynamo e telemetria da GPU para tomar decisões de roteamento com base na inferência antes da execução. Ao combinar cargas de trabalho com os aceleradores mais adequados em tempo real, a solução aumenta a utilização sustentada, reduzindo a latência e o recálculo.

“A infraestrutura de IA não se resume mais ao acesso a GPUs ou à escalabilidade de suas implantações. Ela evoluiu para a maximização do retorno econômico por acelerador”, disse Kunal Anand, diretor de Produtos da F5. “Juntamente com a Nvidia, estamos permitindo que as fábricas de IA tratem a produção de tokens como uma métrica de negócios mensurável. O BIG-IP Next para Kubernetes fornece a inteligência e a governança necessárias para aumentar o rendimento da GPU, reduzir o custo por token e escalar plataformas de IA compartilhadas com confiança”, explicou.

Eficiência comprovada da infraestrutura: uma melhoria estrutural

Os números de desempenho falam por si. Em testes validados pelo The Tolly Group, o BIG-IP Next para Kubernetes, acelerado por DPUs Nvidia BlueField-3, apresentou um aumento de até 40% na taxa de transferência de tokens , uma redução de 61% no tempo até o primeiro token (TTFT) e uma redução de 34% na latência geral das solicitações .

Esses não são ganhos incrementais. Ao transferir as tarefas de rede, TLS/criptografia, balanceamento de carga com reconhecimento de IA e gerenciamento de tráfego para as DPUs Nvidia BlueField-3, o BIG-IP Next para Kubernetes preserva a capacidade da CPU do host e libera as GPUs para fazerem o que foram projetadas para fazer: inferência sustentada e de alto desempenho em escala. O resultado é uma melhor utilização da GPU, redução dos atrasos de enfileiramento e aumento do rendimento de tokens — possibilitando um custo por token menor dentro de uma infraestrutura fixa. Fundamentalmente, nenhuma modificação de modelo foi necessária, tornando esses ganhos imediatamente implementáveis ​​em toda a infraestrutura de fábrica de IA existente. Para empresas e provedores de NeoCloud que competem na economia de tokens, essa é a diferença entre uma infraestrutura que limita a produção de IA e uma infraestrutura que a acelera.

“A infraestrutura de computação acelerada da Nvidia, aliada à Plataforma de Segurança e Entrega de Aplicativos com reconhecimento de IA da F5, desbloqueia uma tokenomics superior para fábricas de IA, oferecendo inferência escalável e econômica sem a necessidade de alterações nos modelos”, disse Kevin Deierling, vice-presidente sênior de Redes da Nvidia. “Juntas, a F5 e a NVIDIA estão capacitando as empresas a escalar a inferência em fábricas de IA de forma eficiente e econômica”, completou.

Criado para plataformas de IA orientadas a agentes e IA multi-inquilino

As cargas de trabalho de IA modernas são cada vez mais orientadas a agentes, persistentes e sensíveis ao contexto. Elas exigem um controle de tráfego inteligente que o balanceamento de carga tradicional não consegue fornecer. A solução aprimorada BIG-IP Next para Kubernetes agora oferece suporte a:

– Roteamento com reconhecimento de inferência para fluxos de trabalho de IA com agentes
Integração com a Plataforma Nvidia Doca (DPF) para simplificar a implementação e o gerenciamento do ciclo de vida das DPUs Nvidia BlueField.

– EVPN-VXLAN com VRFs dinâmicos para multilocação segura em nível de rede.
Segurança integrada, governança de tokens e observabilidade em ambientes de IA do Kubernetes

Essas funcionalidades permitem que empresas e provedores NeoCloud compartilhem com segurança a infraestrutura de GPUs entre unidades de negócios ou clientes externos, preservando o isolamento de desempenho e os níveis de serviço previsíveis.

Um plano de controle para a economia de fábricas de IA

A F5 e a Nvidia fornecem às empresas ferramentas validadas e melhores práticas para otimizar a arquitetura de inferência. Com esses avanços, o BIG-IP Next para Kubernetes está posicionado para se tornar um plano de controle estratégico para a economia das fábricas de IA, governando o consumo de tokens, otimizando os fluxos de tráfego e maximizando o retorno sobre o investimento em infraestrutura.

Em vez de provisionar recursos em excesso para compensar ineficiências, as organizações agora podem extrair maior valor econômico de cada GPU já em produção. O resultado é uma receita aprimorada por GPU, custos operacionais reduzidos e serviços de IA escaláveis, projetados para crescimento sustentável. Ao combinar a telemetria de infraestrutura e a aceleração de DPUs da Nvidia com os recursos de inteligência de tráfego e segurança da F5, as empresas estão ajudando as organizações a transformar fábricas de IA em plataformas eficientes e rentáveis, prontas para a era da Inteligência Artificial.

Serviço
www.f5.com
www.nvidia.com