Isso, disse Jain, facilita a construção de painéis que mostram o custo por modelo, provedor, tipo de token ou modo de inferência, ao mesmo tempo que identifica cargas de trabalho caras, crescimento incomum de tokens e oportunidades de migrar para modelos mais baratos ou processamento em lote.
É uma atualização oportuna, especialmente à luz do problema de faturamento da AWS da semana passada, que fez com que alguns clientes vissem estimativas incorretas de custos de serviços consumidos no Console de gerenciamento da AWS, disse Muskan Bandta, associado de nuvem da empresa fornecedora de serviços FinOps ZopDev.
“Qualquer coisa que forneça aos clientes dados de faturamento mais claros, granulares e confiáveis é bem-vindo quando a confiança nos números acaba de ser abalada. Isso não corrige o que deu errado, mas uma melhor visibilidade sobre para onde estão indo os gastos é exatamente o que as equipes mais desejam depois de um episódio como esse”, acrescentou Bandta.
