A Microsoft Threat Intelligence, em uma postagem separada no blog, disse que não observou agentes de ameaças usando a técnica. No entanto, os investigadores disseram que as descobertas destacam a necessidade de verificar a integridade dos pesos dos modelos, incluindo aqueles pertencentes a modelos desenvolvidos internamente.
Sete neurônios foram suficientes para implantar o backdoor
A equipe de pesquisa da Microsoft testou o método em três modelos abertos. No Nemotron-Terminal-8B da Nvidia, os pesquisadores demonstraram a técnica de modificação de sete dos mais de 12 mil neurônios do modelo. As alterações foram feitas em neurônios inativos na camada de feed-forward final do modelo, permitindo-lhes reconhecer um gatilho e forçar tokens específicos na saída do modelo.
Os pesquisadores testaram a abordagem usando 23 trajetórias desencadeantes e não desencadeantes. O modelo modificado gerou a carga maliciosa em pelo menos 98,8% dos cenários de gatilho retido e não foi ativado em cenários de teste benignos.
