Assim, as empresas lutam para prever e controlar custos e, como a IA está a evoluir tão rapidamente, muitas organizações carecem de “maturidade e estruturas” para determinar o ROI, observou ele. Os fluxos de trabalho orientados por agentes são difíceis de controlar, as janelas de contexto ficam inchadas, os orçamentos são eliminados antes do previsto e os gastos com tokens tornam-se difíceis de justificar.
Além disso, usuários leves, como não desenvolvedores, aumentarão seu uso à medida que se familiarizarem e até mesmo dependerem de ferramentas de IA, aumentando o consumo de tokens e gastando ainda mais.
Tyagi disse que, embora a IA seja incrivelmente valiosa, ele não vê nenhuma “relação direta” entre o número de tokens que os desenvolvedores consomem e seus ganhos de produtividade. Em vez disso, a aplicação de princípios de engenharia de contexto para otimizar ou reduzir o consumo de tokens aumenta a qualidade.
