Injeção involuntária de dados de contexto do usuáriouma exploração que se baseia na fronteira entre dados confiáveis e instruções executáveis, induzindo o usuário a introduzir instruções maliciosas como parte dos dados de contexto do LLM. O prompt pode ser inofensivo: a instrução maliciosa está oculta nos dados de contexto circundantes. Funciona quando um usuário carrega um documento, encaminha um email ou adiciona conteúdo que é posteriormente processado pela IA.
As equipes de segurança podem se proteger contra esses ataques de várias maneiras, disse CrowdStrike, incluindo modelagem de ameaças em todos os lugares onde o contexto do modelo pode se originar, expandindo os testes e estendendo a engenharia de detecção para incluir ataques compostos.
Este artigo apareceu pela primeira vez no CSO.
