Confiança e segurança são essenciais para o futuro da IA ​​generativa

À medida que a inovação em Inteligência Artificial generativa continua em um ritmo vertiginoso, as preocupações com a segurança e os riscos se tornam cada vez mais proeminentes. Alguns legisladores solicitaram novas regras e regulamentos para ferramentas de IA, enquanto alguns líderes técnicos e empresariais sugeriram uma pausa no treinamento de sistemas de IA para avaliar sua segurança.

Uma entrevista com Avivah Litan (foto), VP Analyst do Gartner, publicado no site da empresa, discute quais dados e análises os líderes responsáveis ​​pelo desenvolvimento de IA precisam saber sobre confiança, risco e gerenciamento de segurança da IA.

Dadas as preocupações com a segurança e o risco da IA, as organizações devem continuar explorando o uso da IA ​​generativa ou é necessária uma pausa?

A realidade é que o desenvolvimento de IA generativa não está parando. As organizações precisam agir agora para formular uma estratégia em toda a empresa para gerenciamento de confiança, risco e segurança de IA (AI TRiSM). Há uma necessidade premente de uma nova classe de ferramentas AI TRiSM para gerenciar fluxos de dados e processos entre usuários e empresas que hospedam modelos generativos de base de IA.

Atualmente, não há ferramentas disponíveis no mercado que ofereçam aos usuários garantias sistemáticas de privacidade ou filtragem de conteúdo eficaz de seus envolvimentos com esses modelos, por exemplo, filtrando erros factuais, alucinações, materiais protegidos por direitos autorais ou informações confidenciais.

Os desenvolvedores de IA devem trabalhar urgentemente com os formuladores de políticas, incluindo novas autoridades reguladoras que possam surgir, para estabelecer políticas e práticas para supervisão de IA generativa e gerenciamento de riscos.

Quais são alguns dos riscos mais significativos que a IA generativa representa para as empresas atualmente?

A IA generativa levanta uma série de novos riscos:

– “Alucinações” e fabricações, incluindo erros factuais, são alguns dos problemas mais difundidos que já surgem com as soluções generativas de chatbot de IA. Os dados de treinamento podem levar a respostas tendenciosas, incorretas ou enganosas, mas podem ser difíceis de detectar, especialmente porque as soluções são cada vez mais críveis e confiáveis.

– Deepfakes, quando IA generativa é usada para criação de conteúdo com intenção maliciosa, são um risco significativo de IA generativa. Essas imagens, vídeos e gravações de voz falsas foram usadas para atacar celebridades e políticos, para criar e espalhar informações enganosas e até mesmo para criar contas falsas ou assumir e invadir contas legítimas existentes. Em um exemplo recente, uma imagem gerada por IA do Papa Francisco vestindo uma jaqueta branca da moda se tornou viral nas mídias sociais. Embora este exemplo fosse aparentemente inócuo, ele forneceu um vislumbre de um futuro em que os deepfakes criam riscos significativos de reputação, falsificação, fraude e políticos para indivíduos, organizações e governos.

– Dados privados: os funcionários podem expor facilmente dados corporativos confidenciais e proprietários ao interagir com soluções generativas de chatbot de IA. Esses aplicativos podem armazenar indefinidamente as informações capturadas por meio de entradas do usuário e até mesmo usar as informações para treinar outros modelos, comprometendo ainda mais a confidencialidade. Essas informações também podem cair em mãos erradas no caso de uma violação de segurança.

– Questões de direitos autorais: os chatbots de IA generativa são treinados em uma grande quantidade de dados da Internet que podem incluir material protegido por direitos autorais. Como resultado, algumas saídas podem violar proteções de direitos autorais ou propriedade intelectual (IP). Sem referências de origem ou transparência sobre como as saídas são geradas, a única maneira de mitigar esse risco é os usuários examinarem as saídas para garantir que não infrinjam direitos autorais ou direitos de propriedade intelectual.

– Preocupações com segurança cibernética: além de engenharia social mais avançada e ameaças de phishing, os invasores podem usar essas ferramentas para facilitar a geração de códigos maliciosos. Os fornecedores que oferecem modelos básicos de IA generativos garantem aos clientes que treinam seus modelos para rejeitar solicitações maliciosas de segurança cibernética; no entanto, eles não fornecem aos usuários as ferramentas para auditar efetivamente todos os controles de segurança em vigor.

Os fornecedores também colocam muita ênfase nas abordagens de “equipe vermelha”. Essas declarações exigem que os usuários confiem totalmente nas habilidades dos fornecedores para executar os objetivos de segurança.

Quais ações os líderes empresariais podem realizar agora para gerenciar os riscos gerados pela IA?

É importante observar que existem duas abordagens gerais para aproveitar o ChatGPT e aplicativos semelhantes. O uso do modelo pronto para uso aproveita esses serviços como estão, sem personalização direta. Uma abordagem de engenharia imediata usa ferramentas para criar, ajustar e avaliar entradas e saídas imediatas.

Para uso pronto para uso, as organizações devem implementar revisões manuais de todos os resultados do modelo para detectar resultados incorretos, mal informados ou tendenciosos. Estabeleça uma estrutura de governança e conformidade para o uso corporativo dessas soluções, incluindo políticas claras que proíbem os funcionários de fazer perguntas que exponham dados organizacionais ou pessoais confidenciais.

As organizações devem monitorar usos não sancionados do ChatGPT e soluções semelhantes com controles de segurança e painéis existentes para detectar violações de políticas. Por exemplo, firewalls podem bloquear o acesso de usuários corporativos, informações de segurança e sistemas de gerenciamento de eventos podem monitorar logs de eventos em busca de violações e gateways da Web seguros podem monitorar chamadas de API não permitidas.

Para uso imediato de engenharia, todas essas medidas de mitigação de risco se aplicam. Além disso, devem ser tomadas medidas para proteger os dados internos e outros dados confidenciais usados ​​para projetar prompts na infraestrutura de terceiros. Crie e armazene prompts projetados como ativos imutáveis.

Esses ativos podem representar prompts de engenharia aprovados que podem ser usados ​​com segurança. Eles também podem representar um corpus de prompts bem ajustados e altamente desenvolvidos que podem ser mais facilmente reutilizados, compartilhados ou vendidos.

Serviço
www.gartner.com