Algumas empresas estão indo além, adotando modelos mais antigos ou alternativas de código aberto para casos de uso apropriados. A Qualcomm, por exemplo, investiu na execução de modelos em seu próprio hardware, em vez de depender exclusivamente de fornecedores de modelos baseados em nuvem. Essa abordagem requer mais sofisticação técnica, mas pode reduzir drasticamente os custos por token para aplicações de alto volume.
O verdadeiro desafio
Aqui está o que mais me preocupa sobre a situação atual. Muitas empresas implantaram IA sem implementar antecipadamente uma infraestrutura adequada de gerenciamento de custos. Eles foram apanhados pelo entusiasmo da tecnologia, pela pressão competitiva para avançar rapidamente e pela crença de que os benefícios justificariam quaisquer que fossem os custos. Essa abordagem funcionou quando os projetos de IA eram experimentos em pequena escala. Agora que a IA está a tornar-se essencial para as operações empresariais, a falta de controlos financeiros está a tornar-se um problema sério. Precisamos trazer à aquisição e implantação de IA o mesmo rigor que aplicamos a todos os outros investimentos significativos em tecnologia.
As organizações bem-sucedidas tratarão os custos dos tokens de IA como uma despesa operacional gerenciada, em vez de uma variável imprevisível. Isso significa implantar as mesmas ferramentas e disciplinas que funcionaram para o gerenciamento de custos na nuvem: visibilidade, responsabilidade, otimização e melhoria contínua.
