Como IBM watsonx.governance ajuda a construir confiança na IA generativa

Embora a IA generativa tenha o potencial de desbloquear uma enorme produtividade e valor econômico, ela traz consigo novas complexidades e riscos acrescidos nunca antes vistos com a aprendizagem automática preditiva. Isto vai desde a origem dos dados de formação subjacentes ao potencial da IA ​​para perpetuar preconceitos até à falta de resultados explicáveis. As empresas devem estabelecer barreiras para gerir estes riscos, abraçar a transparência e antecipar a conformidade com a futura regulamentação centrada na IA.

“A IBM já tem trabalhado com clientes na governança da IA ​​e aprendizado de máquina, sendo recentemente nomeada líder no IDC MarketScape: Worldwide AI Governance Platforms 2023 Vendor Assessment. Como parte do nosso compromisso com a confiança e a inovação aberta, a IBM também anunciou que fez parceria com a Meta e mais de 50 membros fundadores para formar a AI Alliance com empresas de tecnologia em todo o mundo para promover o uso seguro e responsável da IA”, disse Heather Gentile, diretora de Gerenciamento de Produtos watsonx.governance da IBM Data e AI Software em um artigo no blog da companhia.

Segundo a executiva, o watsonx.governance foi projetado para ser um balcão único para empresas que estão navegando em como implementar e gerenciar modelos LLM e ML. Ele fornece ferramentas para ajudá-los a mitigar riscos e acelerar fluxos de trabalho generativos de IA e aprendizado de máquina (ML) responsáveis, transparentes e explicáveis. “Watsonx.governance faz parte da plataforma de dados e IA watsonx, que também inclui watsonx.ai, um estúdio corporativo para construtores de IA ,e watsonx.data, um armazenamento de dados adequado à finalidade baseado em uma arquitetura aberta de Lakehouse”, explicou Heather. Construído sobre uma base sólida de tecnologias de governança de IA da IBM, o watsonx.governance pode ajudar a operacionalizar a IA com confiança de três maneiras principais:

Conformidade: gerencie a IA para abordar políticas internas, padrões do setor e ajudar a se preparar para futuras regulamentações e políticas em todo o mundo – um “rótulo nutricional” para IA.

Gerenciamento de riscos: detecte e mitigue proativamente o monitoramento de riscos quanto à justiça, preconceito, desvio e novas métricas de LLM.

Governança do ciclo de vida: gerencie, monitore e governe modelos de IA da IBM, comunidades de código aberto e outros provedores de modelos.

Explorando os recursos do watsonx.governance para LLMs

De acordo com Heather, existem três recursos principais disponíveis no watsonx.governance para LLMs que trabalham juntos para ajudar as empresas a abordar conformidade, gestão de riscos e governança do ciclo de vida.

Aborde a conformidade com rastreamento e transparência

A preparação para o crescimento e a mudança dos padrões da indústria de IA deve incluir documentação. Automatizar a captura e a documentação dos fatos do modelo é fundamental para estabelecer processos de modelo transparentes com resultados explicáveis ​​ao longo de todo o ciclo de vida do modelo. Há uma necessidade crescente de documentação para apoiar auditorias e consultas regulatórias e para fornecer métricas de desempenho importantes às principais partes interessadas.

“Watsonx.governance usa fichas informativas para registrar e monitorar automaticamente os fatos do modelo. Na IBM, nos referimos a eles como um ‘rótulo nutricional’ para modelos, pois fornece um repositório de todas as informações relevantes sobre o modelo, hiperparâmetros, métricas e avaliações do modelo e os armazena como metadados do modelo. Esses documentos facilitam uma visão abrangente do desempenho e do gerenciamento de riscos em todo o ciclo de vida do modelo e servem como um registro da atividade de desenvolvimento e das métricas de desempenho”, comentou Heather.

As fichas informativas contêm o modelo identificado, o modelo de prompt, os parâmetros do modelo e outras informações pertinentes que o cientista de dados ou validador de modelo escolhe incluir. Eles são customizáveis, de fácil acesso aos interessados ​​e podem ser impressos ou baixados para serem enviados em anexo para quem não tem acesso ao aplicativo. As fichas informativas automatizadas ajudam a minimizar o tempo e o custo do suporte manual às auditorias, fornecendo métricas importantes de desempenho e respondendo a solicitações regulatórias.

Gerencie riscos com avaliação e documentação de modelo

A detecção proativa e a mitigação de riscos são fundamentais para evitar resultados de modelos imprecisos e tendenciosos, disse Heather no artigo. A avaliação e o monitoramento manuais podem levar a erros humanos, e atrasos na implantação do modelo e resultados imprecisos do modelo podem levar a auditorias, multas, perda de receita e danos à reputação de uma organização. Automatizar o gerenciamento de riscos com alertas quando as métricas estão fora do alcance é fundamental para impulsionar uma IA responsável e ética.

“As métricas de avaliação em watsonx.governance estão disponíveis para vários casos de uso, incluindo resumo de texto, classificação de texto, tradução de idiomas, geração de conteúdo, geração aumentada de recuperação (RAG) e perguntas e respostas. O desempenho dos prompts pode ser verificado periodicamente para ajudar a garantir que eles estejam funcionando corretamente e não produzam conteúdo potencialmente prejudicial ou inapropriado”, observou a executiva.

Monitore modelos com gerenciamento de ciclo de vida

O gerenciamento do ciclo de vida envolve monitorar de perto o comportamento dos modelos em produção. Watsonx.governance permite que os cientistas de dados identifiquem e corrijam proativamente problemas relacionados a desvios e precisão. A falta de monitoramento contínuo e automatizado pode resultar em alterações não detectadas no desempenho do modelo ao longo do tempo.

Watsonx.governance monitora continuamente as métricas de desempenho de IA para detectar problemas relacionados a desvios, qualidade e preconceitos. Os limites predefinidos monitoram as entradas e as saídas da IA ​​generativa e alertam quando os limites foram violados para linguagem tóxica, discurso de ódio, linguagem abusiva e palavrões. O watsonx.governance monitora o tamanho dos dados, a latência e as alterações no rendimento.

“Com watsonx.governance você pode administrar LLMs e aprendizado de máquina (ML) em uma plataforma watsonx. Embora o foco da IA ​​na imprensa e na mídia tenha sido nos LLMs, os modelos de aprendizado de máquina estão sendo usados ​​ativamente em áreas como atendimento ao cliente, detecção de fraudes, diagnóstico e tratamento na área da saúde. Watsonx.governance rege modelos de aprendizado de máquina de qualquer fornecedor e é implementado na Nuvem e no local. Os recursos dos modelos de ML incluem monitoramento de imparcialidade, desvio e qualidade, ferramentas automatizadas de viés e análises hipotéticas”, finalizou Heather.

Serviço
www.ibm.com