Basicamente, eles disseram: “A equipe vermelha de IA se esforça para ir além dos benchmarks de segurança em nível de modelo, emulando ataques do mundo real contra sistemas ponta a ponta. No entanto, há muitas questões em aberto sobre como as operações de red teaming devem ser conduzidas e uma boa dose de ceticismo sobre a eficácia dos atuais esforços de red teaming de IA.”
O artigo observou que, quando foi formada em 2018, o Microsoft AI Red Team (AIRT) se concentrou principalmente na identificação de vulnerabilidades de segurança tradicionais e ataques de evasão contra modelos clássicos de ML. “Desde então”, disse, “tanto o escopo quanto a escala da equipe vermelha de IA na Microsoft se expandiram significativamente em resposta a duas tendências principais”.
A primeira, disse, é que a IA se tornou mais sofisticada, e a segunda é que os recentes investimentos da Microsoft em IA resultaram no desenvolvimento de muitos mais produtos que exigem red teaming. “Esse aumento no volume e o escopo expandido da equipe vermelha de IA tornaram impraticáveis os testes totalmente manuais, forçando-nos a ampliar nossas operações com a ajuda da automação”, escreveram os autores.
