Datadog lança LLM Observability para monitorar e proteger aplicativos GenAI

A Datadog, plataforma de monitoramento e segurança para aplicativos em Nuvem, anunciou a disponibilidade geral do LLM Observability, que permite que desenvolvedores de aplicativos de IA e engenheiros de aprendizado de máquina (ML) monitorem, melhorem e protejam com eficiência aplicativos de grande modelo de linguagem (LLM). Com o LLM Observability, as empresas podem acelerar a implementação de aplicativos de IA generativa (GenAI) em ambientes de produção e dimensioná-los de forma confiável.

Organizações de todos os setores estão correndo para lançar recursos de IA generativa de maneira econômica, mas implementá-los e trazê-los para a produção pode apresentar vários desafios devido à complexidade das cadeias de LLM, sua natureza não determinística e os riscos de segurança que representam.

O Datadog LLM Observability ajuda os clientes a superar esses desafios para que possam implementar e monitorar com confiança seus aplicativos de IA generativa. Este novo produto fornece visibilidade em cada etapa da cadeia LLM para identificar facilmente a causa raiz de erros e respostas inesperadas, como alucinações. Os usuários também podem monitorar métricas operacionais, como latência e uso de token para otimizar o desempenho e o custo, e podem avaliar a qualidade de seus aplicativos de IA – como relevância do tópico ou toxicidade – e obter insights para mitigar os riscos de segurança e privacidade com avaliações de qualidade e segurança prontas para uso.

Ao contrário das ferramentas tradicionais e soluções pontuais, o LLM Observability da Datadog oferece clustering de pronta e resposta, integração perfeita com o Datadog Application Performance Monitoring (APM) e recursos prontos para uso e varredura de dados confidenciais para melhorar o desempenho, a precisão e a segurança de aplicativos de IA generativos, ajudando a manter os dados privados e seguros.

“Há uma corrida para adotar novas tecnologias baseadas em LLM, mas organizações de todos os tamanhos e setores estão encontrando dificuldades para fazê-lo de uma forma que seja econômica e não impacte negativamente a experiência do usuário final”, disse Yrieix Garnier, vice-presidente de Produto da Datadog. “O Datadog LLM Observability fornece a visibilidade profunda necessária para ajudar as equipes a gerenciar e entender o desempenho, detectar desvios ou vieses e resolver problemas antes que eles tenham um impacto significativo nos negócios ou na experiência do usuário final”, afirmou.

O LLM Observability ajuda as organizações a:

Avalie a qualidade da inferência: visualize a qualidade e a eficácia das conversas dos aplicativos LLM, como a falha na resposta, para monitorar quaisquer alucinações, derivas e a experiência geral dos usuários finais dos aplicativos.

Identifique as causas raiz: identifique rapidamente a causa raiz de erros e falhas na cadeia LLM com visibilidade total dos rastreamentos de ponta a ponta para cada solicitação do usuário.

Melhore os custos e o desempenho: monitore com eficiência as principais métricas operacionais para aplicativos em todas as principais plataformas, incluindo OpenAI, Anthropic, Azure OpenAI, Amazon Bedrock, Vertex AI e muito mais, em um painel unificado para descobrir oportunidades de otimização de desempenho e custo.

Proteja-se contra ameaças de segurança: proteja os aplicativos contra hackers imediatos e ajude a evitar vazamentos de dados confidenciais, como PII, e-mails e endereços IP, usando scanners de segurança e privacidade integrados com o Datadog Sensitive Data Scanner.