Um modelo de IA de trilhões de parâmetros que seu desenvolvedor diz que poderia ajudar os invasores a realizar ataques cibernéticos reais agora pode ser baixado, modificado e executado gratuitamente, fora do controle do desenvolvedor.
A Mistral AI divulgou os pesos abertos do Mistral Large 4, que chama de “Le Chonk”, na quinta-feira, semanas depois de colocar o modelo multimodal em pré-visualização pública. A empresa com sede em Paris disse que monitorou o uso da visualização relacionado à segurança cibernética no tráfego ao vivo.
“Embora tenhamos observado o modelo se recusando a cumprir ataques de caixa preta contra alvos reais, vemos um potencial de incentivo para conduzir ataques reais”, escreveu a empresa em um post de blog anunciando o lançamento.
A Mistral está modificando as grades de proteção do modelo e continuará atualizando-as nos próximos meses, acrescenta o post.
Guardrails param na API
Essas atualizações não chegarão às cópias já baixadas. Pierre Stock, vice-presidente de ciência da Mistral, disse ao CSO que o modelo é enviado com salvaguardas incorporadas nos seus pesos, mas as alterações posteriores irão para outro lugar.
“As atualizações de proteção subsequentes são aplicadas à nossa API gerenciada e aos lançamentos de modelos futuros, em vez de atualizar automaticamente os pontos de verificação baixados”, disse Stock.
Questionado sobre quais estágios de ataque o modelo ajudou significativamente no tráfego de visualização, Stock não citou nenhum. Ele disse que os ganhos mais significativos foram no trabalho defensivo, como identificação, reprodução e correção de vulnerabilidades de software.
“Embora a nossa monitorização pública tenha mostrado que o modelo recusa ataques contra alvos reais, reconhecemos o potencial de utilização indevida à medida que as capacidades avançam e estamos continuamente a reforçar as nossas salvaguardas”, disse ele.
A Hugging Face, que hospeda os pesos, observou em sua própria postagem de lançamento que os pesos abertos colocam tanto a política de uso quanto a implantação sob o controle do usuário.
Em julho, o AI Security Institute do Reino Unido informou que os principais modelos de peso aberto estavam atrás da fronteira fechada em tarefas cibernéticas por quatro a sete meses. Para modelos altamente cibernéticos, a divulgação aberta cria “um risco persistente e irreversível de uso indevido”, disse o instituto.
Os invasores já estão colocando ferramentas de IA de código aberto para funcionar. No início deste mês, a Microsoft disse que um grupo alinhado à China usou a estrutura de IA de agência ARTEX para atingir mais de 2.250 locatários do Microsoft 365.
Mistral diz que o modelo lançado pode diferenciar o trabalho defensivo de solicitações maliciosas. De acordo com a empresa, o Large 4 recusou 96,6% dos prompts maliciosos nas partes cibernéticas dos benchmarks JailbreakBench, StrongREJECT e AgentHarm, a taxa mais alta medida entre os modelos abertos.
Niyati Daftary, analista principal do Gartner, disse que os líderes de segurança deveriam ler esse número de forma restrita.
“O número de 96,6% da Mistral informa o que o modelo deles faz no cenário de teste, não como ele se comportará com seus dados, seus casos de uso adversários ou na produção em seu ambiente contra invasores motivados”, disse ela.
Mistral está lidando com uma variante especializada em segurança cibernética de maneira diferente. Parceiros de design como a Orange Cyberdefense estão obtendo acesso prévio a uma versão otimizada para testes de penetração, avaliação de vulnerabilidades e red-teaming, disse a empresa. O acesso está “sujeito a rigorosa verificação e salvaguardas contratuais”, dizia o post, e é limitado aos próprios parceiros de sistemas ou autorizados a testar.
Índices de referência e obrigações da UE
A empresa disse que o modelo obteve pontuação de 51% no Índice Cibernético de Análise Artificial, que mede quão bem um modelo encontra, reproduz e corrige vulnerabilidades. O gráfico na postagem de Mistral mostra dois modelos abertos, DeepSeek V4.1 Flash e MiMo-V2.6-Pro, com pontuação mais alta.
Mistral também chama o Large 4 de o melhor modelo de peso aberto para codificação, citando as principais pontuações no FrontierCode 2.0 e no Terminal-Bench 4.0 da Cognition. Ainda não publicou o relatório técnico por trás desses resultados e disse apenas que um será publicado em breve.
“Sem um relatório técnico detalhado, a afirmação do melhor modelo de peso aberto continua difícil de validar em todas as cargas de trabalho”, disse Charlie Dai, vice-presidente e analista principal da Forrester.
Dai acrescentou que os modelos de fronteira estão a evoluir tão rapidamente que a liderança “pode mudar dentro de meses ou mesmo semanas”.
Stock disse que o relatório documentará os métodos e resultados da avaliação cibernética da Mistral, testes de recusa e pré-visualização dos resultados do monitoramento. Mistral também pretende compartilhar resultados relevantes de testes adversários “ao mesmo tempo em que protege informações de segurança confidenciais”, disse ele. Ele não deu uma data de publicação.
A ENISA, a agência de segurança cibernética da UE, disse em comunicado publicado com o anúncio da Mistral que está testando o modelo para identificar vulnerabilidades, auditar códigos e analisar registros defensivos.
De acordo com a Lei de IA da UE, presume-se que os modelos treinados com mais de 10 ^ 25 operações de ponto flutuante (FLOPs) apresentam risco sistêmico, de acordo com a Comissão Europeia. Os seus fornecedores devem avaliar e mitigar esses riscos, reportar incidentes graves e manter proteções de segurança cibernética. A postagem de Mistral não diz se o Large 4 se enquadra nessa categoria ou qual avaliação de risco precedeu o lançamento.
Stock disse que Mistral é signatário pleno do Código de Práticas de IA de Uso Geral da UE, incluindo seu capítulo de segurança e proteção, que a Comissão aceita como uma forma de demonstrar conformidade. Ele não disse se o Large 4 foi classificado como modelo de risco sistêmico.
O que isso significa para as empresas
A Mistral lançou o modelo sob uma licença modificada do MIT que permite uso, modificação, ajuste fino e comercialização, disse a empresa. As empresas que executam uma oferta de modelo como serviço precisam de uma licença separada. Para aqueles que preferem não hospedá-la, a API da Mistral custa US$ 0,70 por milhão de tokens de entrada e US$ 2,10 por milhão de tokens de saída.
Para os compradores europeus, a soberania é “um diferencial significativo, mas não deve superar as preocupações de segurança”, disse Dai. Pesos abertos e auto-hospedagem transferem a responsabilidade pelos guarda-corpos, controles de acesso, monitoramento e prevenção de uso indevido para o operador, acrescentou.
“Portanto, a soberania e a segurança precisam ser avaliadas em conjunto e não negociadas entre si”, disse Dai.
Daftary disse que as empresas que hospedam o Large 4 para auditoria de código ou triagem de vulnerabilidades devem executá-lo como um componente controlado, não como um agente autônomo. Isso significa ambientes isolados, acesso com privilégios mínimos a códigos e credenciais, código gerado em sandbox e aprovação humana antes de qualquer correção, disse ela. “A auto-hospedagem pode melhorar o controle de dados e a continuidade operacional, mas também torna a empresa a única responsável pela correção, monitoramento, avaliação e prevenção de uso indevido”, disse ela.
O artigo apareceu originalmente no CSO.
