Novo benchmark de código aberto avalia a segurança de agentes de IA

A Check Point Software e a Lakera, em parceria com pesquisadores do Instituto de Segurança em IA do Reino Unido (AISI), anunciaram o lançamento do Backbone Breaker Benchmark (b3), uma avaliação de segurança de código aberto (open source) desenvolvida especificamente para testar a proteção de grandes modelos de linguagem (LLMs) usados em agentes de IA.

O b3 é baseado em um novo conceito chamado threat snapshots (instantâneos de ameaça). Em vez de simular todo o funcionamento de um agente de IA do início ao fim, esses instantâneos se concentram nos pontos críticos em que as vulnerabilidades dos grandes modelos de linguagem tendem a surgir. Ao testar os modelos nesses momentos específicos, desenvolvedores e provedores podem verificar o quanto seus sistemas resistem a desafios de testes de ataques, sem a complexidade de modelar todo o fluxo de um agente.

“Criamos o benchmark b3 porque os agentes de IA de hoje são tão protegidos quanto os modelos de linguagem que lhes dão suporte”, afirma Mateo Rojas-Carulla, cofundador e diretor científico da Lakera, empresa da Check Point Software (adquirida em setembro deste ano). “Os threat snapshots nos permitem identificar de forma sistemática vulnerabilidades que até agora permaneciam ocultas nos fluxos complexos dos agentes. Ao tornar esse benchmark aberto ao público, esperamos oferecer a desenvolvedores e provedores de modelos uma forma realista de medir e aprimorar sua postura de segurança.”

O benchmark reúne dez (10) threat snapshots representativos com um conjunto de dados de alta qualidade, composto por 19.433 testes ou simulações de ataques coletados de forma colaborativa por meio do jogo interativo que simula ataques cibernéticos (red teaming) Gandalf: Agent Breaker. Ele avalia a suscetibilidade a ataques como extração de prompts de sistema, inserção de links de phishing, injeção de código malicioso, negação de serviço (DoS) e uso não autorizado de ferramentas.

Os resultados iniciais dos testes com 31 LLMs populares revelam alguns insights importantes:

• Capacidades aprimoradas de raciocínio aumentam significativamente a segurança.

• O tamanho do modelo não está correlacionado ao desempenho em segurança.

• Modelos de código fechado, em geral, apresentam desempenho superior aos de código aberto — embora os principais modelos open source estejam reduzindo essa diferença.

O Gandalf: Agent Breaker é um jogo simulador de invasões que desafia os participantes a explorar e comprometer agentes de IA em cenários realistas. As dez aplicações de IA generativa dentro do jogo simulam o comportamento de um agente de IA real. Cada aplicação apresenta múltiplos níveis de dificuldade, camadas de defesa e novas superfícies de ataque, projetadas para testar diferentes perfis de habilidade — de prompt engineering a red teaming. Algumas aplicações são baseadas em chat; outras exigem raciocínio em nível de código, processamento de arquivos, uso de memória ou de ferramentas externas.

A versão inicial do Gandalf nasceu em um hackathon interno da Lakera, em que equipes blue (defesa) e red (ataque) competiam para construir as proteções e ataques mais eficazes contra um LLM que guardava uma senha secreta. Desde seu lançamento, em 2023, o jogo se tornou a maior comunidade de red teaming do mundo, gerando mais de 80 milhões de pontos de dados. Criado inicialmente como uma experiência divertida, o Gandalf acabou revelando vulnerabilidades reais em aplicações de IA generativa, contribuindo para conscientizar sobre a importância de uma segurança com foco em IA.

Aquisição da Lakera

Neste mês, a Check Point Software concluiu oficialmente a aquisição da Lakera, uma operação que representa um avanço significativo na redefinição de como as empresas protegem os sistemas de inteligência artificial que estão remodelando os negócios em todo o mundo, por meio da primeira plataforma de segurança de IA de ponta a ponta do mundo, protegendo todo o ciclo de vida da IA, desde a infraestrutura de dados à execução dos modelos e ao comportamento de agentes inteligentes.

O movimento também marca a expansão da Check Point Software para um mercado em rápido crescimento, que conecta cibersegurança, governança de IA e compliance, e que deve ultrapassar US$ 60 bilhões até 2028, segundo a Markets & Markets.