Agentes de IA trazem novos riscos para as empresas, diz estudo do BCG

À medida que agentes autônomos de IA começam a atuar em funções críticas do negócio, as organizações enfrentam um ponto de inflexão marcante. Esses sistemas não são mais ferramentas passivas. São tomadores de decisão ativos, capazes de observar, planejar, agir e aprender em grande escala. Com essas capacidades autônomas vêm riscos acrescidos e desconhecidos.

Essas estão entre as conclusões de uma nova publicação do Boston Consulting Group (BCG), intitulado ” What Happens When AI Stops Asking Permission? (O que acontece quando a IA para de pedir permissão?), lançado nesta quarta-feira (17/12). Com base em experiências do mundo real, dados executivos globais e análises recentes de incidentes, o artigo defende uma ação urgente: agentes autônomos de IA exigem uma abordagem fundamentalmente diferente para gestão de riscos e qualidade.

“A IA Agêntica muda o jogo para a gestão de risco e qualidade da IA”, disse Anne Kleppe, diretora-gerente e sócia do BCG, líder global de IA responsável e coautora do artigo. “Agentes autônomos são poderosos, mas podem se afastar dos resultados comerciais pretendidos. O desafio é mantê-los alinhados com a estratégia e os valores, ao mesmo tempo em que podem operar com velocidade e autonomia”, comentou.

De acordo com o Banco de Dados de Incidentes de IA, os incidentes relatados relacionados à IA aumentaram 21% de 2024 para 2025. Isso demonstra que os riscos de IA não são teóricos, eles já estão se manifestando no mundo real, criando riscos financeiros, regulatórios e reputacionais para as empresas. Um exemplo citado no artigo envolve um agente de IA de relatório de despesas que, quando não conseguia interpretar recibos de despesas, fabricava entradas plausíveis, incluindo nomes falsos de restaurantes, para atingir seu objetivo.

Em diversos setores, os agentes criam novos riscos que podem causar falências significativas para as empresas:

Saúde: os agentes podem preferir casos de pacientes mais simples para aumentar o fluxo de pacientes, colocando em risco o atendimento urgente.

Bancos: agentes de serviço automatizados enfrentam exceções complexas, levando a resolução estagnada.

Seguro: reações sincronizadas aos sinais de mercado podem resultar em oscilações de preços e escrutínio regulatório.

Manufatura: otimizações conflitantes entre agentes podem causar atrasos sistêmicos na produção.

Essas falhas não são bugs, são características de sistemas com observação, planejamento, execução e aprendizado autônomos. Os problemas podem se agravar rapidamente, dado que agentes atuam com pouca ou nenhuma supervisão humana direta, exigindo novas abordagens para monitoramento de comportamento em tempo real.

Os riscos exigem uma mudança na abordagem para gerenciá-los. Uma pesquisa recente da BCG-MIT SMR constatou que, embora apenas 10% das empresas atualmente permitam que agentes de IA tomem decisões, espera-se que esse número suba para 35% em três anos. 69% dos executivos concordam: agentes de IA exigem abordagens de gestão fundamentalmente novas.

Uma estrutura de risco construída para agentes de IA

A primeira linha de defesa é perguntar: precisamos de um agente de IA? Em alguns casos, a maioria dos benefícios pode ser obtida por meio de outras tecnologias de IA, onde os riscos podem ser gerenciados com mais facilidade. Quando os agentes são a escolha certa, a BCG propõe um modelo de quatro partes para orientar CROs, CTOs, COOs e outros líderes executivos:

Construa uma taxonomia de risco específica para agente: mapeamento de riscos técnicos, operacionais e de usuários.

Simule condições do mundo real antes da implementação: usar bancos de teste de agentes que simulam o mundo real para mostrar modos de falha precocemente.

Implemente monitoramento de comportamento em tempo real: mudança da revisão lógica interna para o acompanhamento externo de desempenho.

Protocolos de resiliência e escalonamento no projeto: garantir que os sistemas falhem com segurança, com supervisão humana em camadas e processos para garantir a continuidade dos negócios.

“Isso não é apenas um problema de IA, é um desafio de continuidade de negócios”, disse Steven Mills, diretor-gerente e sócio do BCG, diretor de ética em IA e coautor do artigo. “Os agentes devem ser implementados de forma alinhada ao seu apetite de risco, com controles incorporados desde o primeiro dia. É assim que desbloqueamos o valor total dos agentes enquanto gerenciamos os novos tipos de riscos”, finalizou.

Serviço
www.bcg.com