Embora sem a memória do agente, cada sessão do agente comece do zero, desperdiçando tokens e aumentando o risco de decisões inconsistentes em processos de longa duração, os CIOs precisam garantir que a memória seja governada por propriedade claramente definida, políticas de retenção e controles de acesso, pois pode conter informações pessoais e comercialmente sensíveis sujeitas a regulamentos de privacidade, disse Chaturvedi.
“A memória desatualizada também pode fazer com que os agentes atuem com base em informações incorretas, como termos de fornecedores ou preferências de clientes substituídos. As empresas precisariam, portanto, de mecanismos para expirar ou corrigir informações armazenadas, isolar a memória entre os usuários e protegê-la contra entradas falsas deliberadamente plantadas”, acrescentou.
Da mesma forma, o Semantic Cache poderia proporcionar economias substanciais de custos de computação e inferência de IA, especialmente para cargas de trabalho que envolvem informações relativamente estáveis, como consultas de suporte técnico, políticas de RH e perguntas frequentes sobre produtos.
