“Todo fornecedor de modelos admitirá em particular que a arquitetura fundamental do raciocínio baseado em transformador não pode separar claramente o conteúdo não confiável das instruções confiáveis quando ambos compartilham a janela de contexto”, disse Mahapatra. “A superfície de ataque é arquitetônica, não apenas comportamental. Isso significa que a defesa também deve ser arquitetônica, e é aqui que a conversa de IA corporativa ainda está muito atrasada.”
Os testes do Zscaler também reforçaram a diferença na forma como os agentes de IA e os humanos processam as informações.
“Os humanos são céticos em relação a instruções que não esperavam. Os agentes estão ansiosos para seguir metadados estruturados porque seu treinamento os recompensa por tratar campos de sinal alto como confiáveis. Os humanos percebem quando uma solicitação de pagamento aparece no meio de uma tarefa não relacionada. Os agentes inserirão essa solicitação de pagamento em seu plano de execução se o contexto circundante a enquadrar como processualmente necessária”, apontou Mahapatra, observando que, embora os humanos tenham relacionamentos com fornecedores, memórias de interações anteriores e contexto social para lhes fornecer sinais de verificação, os agentes só têm o que está na janela de contexto e, disse ele, “a janela de contexto é agora a principal superfície de ataque”.
