“Construímos essas ferramentas porque acreditamos que a segurança da IA deve se tornar uma disciplina contínua de engenharia, em vez de um ponto de verificação periódico, e achamos que a melhor maneira de fazer isso acontecer é colocar ferramentas práticas e abertas nas mãos das pessoas que fazem a construção”, disse o fundador da equipe vermelha de IA da Microsoft, Ram Shankar Siva Kumar, em uma postagem no blog de segurança.
O anúncio ocorre no momento em que os agentes de IA evoluem de assistentes do tipo chatbot para sistemas com privilégios operacionais reais. De acordo com a Microsoft, esses agentes mais novos introduzem riscos que os fluxos de trabalho de segurança de aplicativos tradicionais não foram projetados para lidar, incluindo injeção imediata, uso inseguro de ferramentas, escalonamento de privilégios e ações autônomas não intencionais.
Tanto Rampart quanto Clarity estão agora disponíveis como projetos de código aberto da Microsoft.
Muralha para repetidas equipes vermelhas de IA
A Microsoft posicionou o Rampart como a mais operacional das duas ferramentas. A estrutura foi projetada para ajudar os desenvolvedores a transformar as descobertas da equipe vermelha em testes repetíveis que podem ser executados continuamente durante os pipelines de desenvolvimento e implantação.
