Microsoft e MITRE criam ferramenta contra ataques a sistemas de ML

A Microsoft e o MITRE desenvolveram um plug-in que combina várias ferramentas de software de código aberto para ajudar os profissionais de segurança cibernética a se prepararem melhor para ataques a sistemas de aprendizado de máquina (ML).

A ferramenta Arsenal implementa táticas e técnicas definidas na estrutura MITRE Atlas e foi construída de forma colaborativa a partir do Counterfit da Microsoft como uma biblioteca de ataque adversário automatizada para que os profissionais de segurança possam emular com precisão ataques em sistemas que contêm Machine Leaning (ML) sem ter um histórico profundo em ML ou Inteligência Artificial (IA).

“Reunir essas ferramentas é uma grande vitória para a comunidade de segurança cibernética, pois fornece informações sobre como os ataques adversários de aprendizado de máquina funcionam”, disse Charles Clancy, vice-presidente sênior e gerente-geral do MITRE Labs. “Trabalhar em conjunto para resolver possíveis falhas de segurança com sistemas de aprendizado de máquina ajudará a melhorar a confiança do usuário e permitir que esses sistemas tenham um impacto positivo na sociedade”, afirmou.

A colaboração com a Microsoft no Arsenal é apenas um exemplo dos esforços do MITRE para desenvolver uma família de ferramentas que abordam questões como confiança, transparência e justiça para permitir melhor o uso de sistemas de ML e IA para aplicativos de missão crítica em áreas que vão desde a saúde até a segurança nacional. .

O Counterfit da Microsoft é uma ferramenta que permite aos pesquisadores de ML implementar uma variedade de ataques adversários em algoritmos de IA. MITRE Calcera é uma plataforma que permite a criação e automação de perfis específicos de adversários. MITRE Atlas, que significa Adversarial Threat Landscape for Artificial-Intelligence Systems, é uma base de conhecimento de táticas adversárias, técnicas e estudos de caso para sistemas de ML com base em observações do mundo real, demonstrações de equipes vermelhas de ML e grupos de segurança e o estado do possível da pesquisa acadêmica.

O plug-in do Arsenal permite que o Caldera emule ataques e comportamentos adversários usando a biblioteca Counterfit da Microsoft.

“Embora existam outras ferramentas automatizadas hoje, elas normalmente são mais adequadas para pesquisas que examinam vulnerabilidades específicas em um sistema de ML, em vez das ameaças de segurança que o sistema encontrará como parte de uma rede corporativa”, disse Clancy. A criação de um fluxo de trabalho de ML completo e robusto é necessária ao integrar sistemas de ML em uma rede corporativa e implantar esses sistemas para casos de uso do mundo real. Esse fluxo de trabalho pode se tornar complexo, dificultando a identificação de vulnerabilidades potenciais e legítimas do sistema. A integração do plug-in do Arsenal no Caldera permite que os profissionais de segurança descubram novas vulnerabilidades nos blocos de construção de um fluxo de trabalho de ML de ponta a ponta e desenvolvam contramedidas e controles para impedir a exploração de sistemas de ML implantados no mundo real.

“À medida que o mundo olha para a IA para mudar positivamente a forma como as organizações operam, é fundamental que sejam tomadas medidas para ajudar a garantir a segurança dos modelos de IA e aprendizado de máquina que capacitarão a força de trabalho a fazer mais com menos pressão sobre tempo, orçamento e recursos”, disse Ram Shankar Siva Kumar, principal gerente de Programa de Segurança de IA da Microsoft. “Estamos orgulhosos de ter trabalhado com o MITRE e o HuggingFace para fornecer à comunidade de segurança as ferramentas necessárias para ajudar a alavancar a IA de maneira mais segura”, comentou.

A ferramenta atualmente inclui um número limitado de perfis de adversários com base nas informações disponíveis publicamente hoje. À medida que os pesquisadores de segurança documentam novos ataques a sistemas de ML, a Microsoft e o MITRE planejam desenvolver continuamente as ferramentas para adicionar novas técnicas e perfis de adversários.

Serviço
www.microsoft.com
www.mitre.org