A versão de 2 chamadas LLM pré-decide tudo antes da execução. Mas se você conceder à segunda chamada acesso a uma ferramenta ou agente em vez de apenas gerar uma resposta, ela ainda poderá redirecionar no meio da tarefa se achar que o plano não está correto. Isso recupera alguma flexibilidade da agência. O roteamento controlado por confiança pode ser outra solução. Execute as 2 chamadas primeiro; se a confiança for alta, continue usando. Caso contrário, passe para 4 chamadas.
Desafio 5: A IA pode encontrar o problema certo, mas avaliar mal a solução
As auditorias de sistema (para precisão, latência, segurança, etc.) usando ferramentas de IA estão ganhando velocidade. Essas ferramentas são ótimas para identificar lacunas, sugerir alternativas ou soluções e determinar quanto ganho essa etapa garantiria. Mais importante ainda, essas revisões são rápidas e qualquer pessoa pode fazê-las. Em um de nossos projetos, nosso cliente usou Claude para o mesmo, e os problemas de sistema identificados foram todos pontuais.
O problema é que essas ferramentas não são totalmente confiáveis. Direcionalmente, essas ferramentas geralmente estão certas. Mas as soluções que sugerem e os ganhos projetados que mostram nem sempre estão alinhados e corretos. Eles conseguem identificar a alavanca certa apenas para avaliar mal o que os está atraindo ou para usar métricas erradas para calcular os benefícios. No nosso caso, a ferramenta sugeriu uma queda na latência de 5 a 6 segundos quando o ganho era de apenas 500 milissegundos.
