Um modelo de IA do Alibaba gerou um comando inesperado para fazer upload de dados para um serviço de armazenamento em nuvem na região de Pequim durante uma avaliação de segurança cibernética, disse o desenvolvedor rival Cohere, levantando preocupações sobre a segurança dos agentes de IA com acesso a sistemas corporativos.
O modelo, Qwen3.8-Flash-Next, estava sendo testado usando o benchmark de segurança cibernética CTI-REALM da Microsoft, que o encarregou de escrever uma regra para detectar downloads de arquivos maliciosos seguidos de execução. Em vez disso, inspecionou arquivos locais e configurações do sistema antes de gerar o comando inesperado, de acordo com o relatório de Cohere.
A empresa canadense de IA disse que seu ambiente de testes isolado bloqueou a solicitação enviada. O modelo havia indicado no raciocínio gerado que não utilizaria nenhuma ferramenta, contrariando o comando que gerou posteriormente.
