Ainda temos que pagar pela inferência
Zemlin diz que o pessoal da KubeCon estava focado na segurança e em obter mais desempenho com menos hardware e energia. “Isso não é fácil”, acrescenta.
Considere o Banco de Comerciantes da China. Em um estudo de caso de setembro publicado pela CNCF, o banco descreve o suporte ao treinamento e inferência de IA em quase 10.000 cartões aceleradores. Seu problema não era simplesmente encontrar mais hardware. Em vez disso, era uma questão de previsibilidade e capacidade de resposta: a formação necessita de capacidade previsível e a inferência orientada para o cliente necessita de responder às mudanças na procura. Manter a capacidade disponível para picos de tráfego desperdiça dinheiro durante períodos de silêncio, enquanto o dimensionamento muito lento deixa os usuários esperando.
O banco combinou o Kubernetes com ferramentas para agendamento, monitoramento, dimensionamento e movimentação de dados de modelos, com impacto significativo. Ele relatou que a utilização média da computação do acelerador aumentou de 35% para mais de 60%, com o custo de inferência por milhão de tokens caindo mais de 60% para modelos e serviços comparáveis. De repente, o não tão legal Kubernetes tornou-se realmente muito legal, porque ajudou a reduzir drasticamente o custo da IA.
