Os modelos de IA de fronteira estão democratizando a descoberta, o encadeamento e a transformação de falhas em armas de forma mais rápida e barata do que qualquer equipe de especialistas humanos. Na verdade, é o encadeamento – e o domínio que a IA tem sobre ele – que pode ser o mais debilitante. Nos ataques encadeados, dois ou três bugs de gravidade baixa e moderada são unidos por um sistema de IA. Por si só, esses bugs não são dignos de nota. No entanto, ao juntar os “certos” (algo em que a IA é muito, muito boa), um modelo pode alcançar um compromisso total.
Vários grandes laboratórios de IA já divulgaram que os seus próprios modelos foram utilizados para violar sistemas não relacionados, prova de que a velha suposição sobre quem pode dar-se ao luxo de caçar explorações já não se aplica. Qualquer pessoa com acesso API a modelos de fronteira agora pode administrar o que equivale a uma pequena (e muito eficiente e inteligente) equipe de hackers. Pior ainda, estes modelos podem ser revendidos ilicitamente a países embargados, e existe todo um ecossistema de modelos de jailbreak para os levar a fazer coisas ainda mais nefastas.
Por que câmaras de compensação?
Em sua essência, a ameaça de hacking de IA é um problema de escala que o desenvolvimento de software, seja ele proprietário ou de código aberto, nunca foi configurado para resolver. Não são apenas grandes projetos como Linux e Kubernetes que são alvos; são todas as bibliotecas abaixo de cada aplicativo. Existem literalmente milhões e milhões de pacotes disponíveis em PyPi (Python), npm (Node.js), RubyGems (Ruby), Crates (Rust), NuGet (C#/.NET) e Packagist (PHP), junto com toneladas de ecossistemas de linguagens menores. São ecossistemas que alimentam quase tudo o que é construído hoje.
