Gartner identifica seis riscos corporativos com o uso do ChatGPT

Os líderes jurídicos e de conformidade devem abordar a exposição de suas organizações a seis riscos específicos do ChatGPT, a Inteligência Artificial (IA) da OpenAI, e quais proteções devem ser estabelecidas para garantir o uso corporativo responsável de ferramentas de IA generativas, de acordo com o Gartner.

“A saída gerada pelo ChatGPT e outras ferramentas de modelo de linguagem grande (LLM) são propensas a vários riscos”, disse Ron Friedmann, analista e diretor sênior do Gartner Legal & Compliance Practice. “Os líderes jurídicos e de conformidade devem avaliar se esses problemas representam um risco material para a companhia e quais controles são necessários, tanto dentro da empresa quanto a responsabilidade estendida de terceiros. Não fazer isso pode expor as empresas a consequências legais, reputacionais e financeiras”, alertou.

Os seis riscos do ChatGPT que os líderes jurídicos e de conformidade devem avaliar incluem:

Risco 1 – Respostas fabricadas e imprecisas

Talvez o problema mais comum com o ChatGPT e outras ferramentas LLM seja a tendência de fornecer informações incorretas – embora superficialmente plausíveis. “O ChatGPT também é propenso a ‘alucinações’, incluindo respostas falsas que estão erradas e citações legais ou científicas inexistentes”, disse Friedmann. “Os líderes jurídicos e de conformidade devem emitir orientações que exijam que os funcionários analisem qualquer resultado gerado pelo ChatGPT quanto à precisão, adequação e utilidade real antes de serem aceitos”, recomendou.

Risco 2 – Privacidade e confidencialidade dos dados

Os líderes jurídicos e de conformidade devem estar cientes de que qualquer informação inserida no ChatGPT, se o histórico de bate-papo não estiver desabilitado, pode se tornar parte de seu conjunto de dados de treinamento.

“Informações sensíveis, proprietárias ou confidenciais usadas em prompts podem ser incorporadas em respostas para usuários fora da empresa”, disse Friedmann. “Legal e conformidade precisam estabelecer uma estrutura de conformidade para o uso do ChatGPT e proibir claramente a inserção de dados organizacionais ou pessoais confidenciais em ferramentas LLM públicas”, afirmou.

Risco 3 – Viés de modelo e saída

Apesar dos esforços da OpenAI para minimizar o viés e a discriminação no ChatGPT, casos conhecidos desses problemas já ocorreram e provavelmente persistirão apesar dos esforços ativos e contínuos da OpenAI e de outros para minimizar esses riscos .

“A eliminação completa do viés provavelmente é impossível, mas o jurídico e a conformidade precisam estar no topo das leis que regem o viés da IA ​​e garantir que suas orientações estejam em conformidade”, disse Friedmann. “Isso pode envolver o trabalho com especialistas no assunto para garantir que a produção seja confiável e com funções de auditoria e tecnologia para definir controles de qualidade de dados”, comentou.

Risco 4 – Propriedade Intelectual (PI) e riscos de direitos autorais

O ChatGPT, em particular, é treinado em uma grande quantidade de dados da Internet que provavelmente inclui material protegido por direitos autorais. Portanto, suas saídas têm o potencial de violar proteções de direitos autorais ou PI.

“ChatGPT não oferece referências de fontes ou explicações sobre como sua saída é gerada”, disse Friedmann. “Os líderes jurídicos e de conformidade devem ficar atentos a quaisquer alterações na lei de direitos autorais que se aplicam à saída do ChatGPT e exigir que os usuários examinem qualquer saída que gerem para garantir que não infrinja os direitos autorais ou direitos de propriedade intelectual”,orientou.

Risco 5 – Riscos de fraude cibernética

Os malfeitores já estão usando o ChatGPT para gerar informações falsas em grande escala (por exemplo, avaliações falsas). Além disso, aplicativos que usam modelos LLM, incluindo ChatGPT, também são suscetíveis à injeção de prompt, uma técnica de hacking na qual prompts adversários maliciosos são usados ​​para induzir o modelo a executar tarefas que não foram planejadas, como escrever códigos de malware ou desenvolver phishing sites que se assemelham a sites conhecidos.

“Os líderes jurídicos e de conformidade devem coordenar com os proprietários de riscos cibernéticos para explorar se ou quando emitir memorandos para o pessoal de segurança cibernética da empresa sobre esse assunto. Eles também devem realizar uma auditoria das fontes de due diligence para verificar a qualidade de suas informações”, disse Friedmann

Risco 6 – Riscos de proteção ao consumidor

As empresas que não divulgam o uso do ChatGPT aos consumidores (por exemplo, na forma de um chatbot de suporte ao cliente) correm o risco de perder a confiança de seus clientes e serem acusadas de práticas desleais sob várias leis. Por exemplo, a lei de chatbot da Califórnia determina que, em certas interações com o consumidor, as organizações devem divulgar de forma clara e visível que um consumidor está se comunicando com um bot.

“Os líderes jurídicos e de conformidade precisam garantir que o uso do ChatGPT de sua organização esteja em conformidade com todos os regulamentos e leis relevantes, e que as divulgações apropriadas sejam feitas aos clientes”, finalizou Friedmann.

Serviço
www.gartner.com