Red Hat e NTT desenvolvem solução para impulsionar a IA na Borda

Como parte da iniciativa Innovative Optical and Wireless Network (IOWN), a NTT Corporation e a Red Hat, em colaboração com a Nvidia e a Fujitsu, desenvolveram conjuntamente uma solução para aprimorar e estender o potencial de análise de dados de Inteligência Artificial (IA) em tempo real na Borda. Usando tecnologias desenvolvidas pelo IOWN Global Forum e construídas sobre a base do Red Hat OpenShift, a plataforma de aplicativos de Nuvem híbrida alimentada por Kubernetes, esta solução recebeu uma Prova de Conceito (PoC) do IOWN Global Forum e o reconhecimento por sua viabilidade no mundo real e casos de uso.

À medida que a IA, a tecnologia de sensoriamento e a inovação em rede continuam a acelerar, usar a análise de IA para avaliar e triar a entrada na Borda da rede será crítico, especialmente à medida que as fontes de dados se expandem quase diariamente. O uso da análise de IA em larga escala, no entanto, pode ser lento e complexo, e pode estar associado a custos de manutenção mais altos e manutenção de software para integrar novos modelos de IA e hardware adicional. Com os recursos de Computação de Borda surgindo em locais mais remotos, a análise de IA pode ser colocada mais perto dos sensores, reduzindo a latência e aumentando a largura de banda.

Esta solução consiste no IOWN All-Photonics Network (APN) e tecnologias de aceleração de pipeline de dados em IOWN Data-Centric Infrastructure (DCI). O pipeline de dados acelerado da NTT para IA adota o Acesso Remoto Direto à Memória (RDMA) sobre APN para coletar e processar com eficiência grandes quantidades de dados de sensores na Borda. A tecnologia de orquestração de contêineres do Red Hat OpenShift fornece maior flexibilidade para operar cargas de trabalho dentro do pipeline de dados acelerado em Data Centers remotos e distribuídos geograficamente. A NTT e a Red Hat demonstraram com sucesso que essa solução pode efetivamente reduzir o consumo de energia, mantendo menor latência para análise de IA em tempo real na Borda.

A Prova de Conceito avaliou uma plataforma de análise de IA em tempo real com Yokosuka City como base de instalação de sensores e Musashino City como Data Center remoto, ambos conectados via APN. Como resultado, mesmo quando um grande número de câmeras foi acomodado, a latência necessária para agregar dados de sensores para análise de IA foi reduzida em 60% em comparação com as cargas de trabalho de inferência de IA convencionais.

Além disso, o teste IOWN PoC demonstrou que o consumo de energia necessário para a análise de IA para cada câmera na Borda poderia ser reduzido em 40% em relação à tecnologia convencional. Essa plataforma de análise de IA em tempo real permite que a GPU seja ampliada para acomodar um número maior de câmeras sem que a CPU se torne um gargalo. De acordo com um cálculo experimental, supondo que 1 mil câmeras possam ser acomodadas, espera-se que o consumo de energia possa ser reduzido em 60%. Os destaques da prova de conceito para esta solução são os seguintes:

– Pipeline de dados acelerado para inferência de IA, fornecido pela NTT, utilizando RDMA sobre APN para buscar diretamente dados de sensores em grande escala de locais locais para a memória em um acelerador em um Data Center remoto, reduzindo as despesas gerais de manipulação de protocolo na rede convencional. Em seguida, ele conclui o processamento de dados da inferência de IA dentro do acelerador com menos despesas gerais de controle de CPU, melhorando a eficiência energética na inferência de IA.

– A análise de dados de IA em larga escala em tempo real, alimentada pelo Red Hat OpenShift, pode oferecer suporte a operadores do Kubernetes para minimizar a complexidade da implementação de aceleradores baseados em hardware (GPUs, DPUs, etc.), permitindo maior flexibilidade e implementação mais fácil em locais desagregados, incluindo Data Centers remotos.

– Este PoC usa GPUs NVIDIA A100 Tensor Core e NVIDIA ConnectX-6 NICs para inferência de IA.

Essa solução ajuda a preparar o terreno para tecnologias inteligentes habilitadas para IA que ajudarão as empresas a escalar de forma sustentável. Com essa solução, as organizações podem se beneficiar de:

– Redução das despesas gerais associadas à coleta de grandes quantidades de dados;

– Coleta de dados aprimorada que pode ser compartilhada entre áreas metropolitanas e Data Centers remotos para análise de IA mais rápida;

– A capacidade de utilizar energia disponível localmente e potencialmente renovável, como solar ou eólica;

– Maior segurança no gerenciamento de área com câmeras de vídeo atuando como dispositivos sensores.

Serviço
www.redhat.com