Executar modelos de fronteira para codificação e outros fins pode ser muito caro, mas também, às vezes, muito eficaz. É tentador usar modelos menores ou mais antigos em vez de modelos de ponta porque são mais baratos, embora possam não funcionar tão bem. O modelo ideal para qualquer tarefa tende a depender da complexidade da tarefa. A escolha automática do modelo mais apropriado com base na solicitação e no contexto é chamada de roteamento de modelo.
Como funciona o roteamento de modelo
Existem várias maneiras de implementar o roteamento de modelo. Em geral, o roteamento de modelo depende do conjunto de modelos disponíveis, dos critérios utilizados para selecionar um modelo e do objetivo que o roteador está tentando otimizar. Diferentes fornecedores oferecem diferentes implementações deste esquema.
O Unity Gateway da Databricks possui (em beta) Smart Routing para Codex ou Claude Code. O Smart Routing seleciona automaticamente o modelo de menor custo capaz de lidar com cada tarefa, para que os desenvolvedores não precisem escolher um modelo para cada solicitação.
O roteador modelo da Microsoft, um modelo de linguagem treinado, analisa seus prompts em tempo real com base na complexidade, raciocínio, tipo de tarefa e outros atributos. Ele não armazena seus prompts. Ele roteia apenas para modelos qualificados com base em seus tipos de acesso e implantação, respeitando os limites da zona de dados. Você pode escolher o modo balanceado, modo de custo ou modo de qualidade.
O Not Diamond Code usa um proxy local leve que calcula os metadados derivados necessários para o roteamento para avaliar a sessão mais ampla, incluindo o trabalho downstream esperado e o estado do cache, e seleciona o modelo e o esforço de raciocínio que otimizam a qualidade esperada e o custo total da sessão. Utiliza modelos mais capazes quando é provável que melhorem o resultado ou concluam em menos etapas, e modelos mais eficientes em termos de custos quando é improvável que a inteligência adicional acrescente valor.
O NeMo Switchyard da NVIDIA possui uma variedade de algoritmos de roteamento que pode usar. Isso inclui o classificador LLM, que usa um LLM como juiz para selecionar um LLM candidato e mantém a afinidade da sessão com esse modelo nos turnos posteriores; o roteador de estágio, que examina a atividade recente da ferramenta para decidir quanta capacidade de modelo o agente precisa; o roteador de escalonamento, que inicia cada conversa com um modelo de custo mais baixo e move a sessão para um modelo mais capaz quando detecta dificuldade sustentada; e o roteador pré-preenchido treinável, que aprende com os dados da carga de trabalho para prever a probabilidade de sucesso do modelo.
O Auto Router do OpenRouter analisa seu prompt e seleciona um modelo com base no que a comunidade OpenRouter, em conjunto, usa para esse tipo de trabalho. A seleção é limitada pelo nível de custo e pelas proteções. Se a seleção primária automática falhar, o roteador usará um substituto.
O roteamento de modelo inteligente do Replit combina as tarefas com o modelo para o qual são mais adequadas, visando equilibrar qualidade, velocidade e custo.
O Cortex AI Gateway da Snowflake usa roteamento de modelo dinâmico para selecionar o modelo mais acessível que pode concluir a tarefa com segurança em cada etapa da execução do agente. Tarefas repetitivas e de menor complexidade podem ser direcionadas para modelos mais eficientes, enquanto cargas de trabalho que exigem raciocínio mais profundo podem ser roteadas para modelos de fronteira.
Também digno de nota: o artigo RouteLLM (2024) propôs vários modelos de roteadores eficientes que selecionam dinamicamente entre um LLM mais forte e um mais fraco durante a inferência, visando otimizar o equilíbrio entre custo e qualidade de resposta. Também propôs uma estrutura de treinamento para esses roteadores que aproveita dados de preferência humana e técnicas de aumento de dados para melhorar o desempenho.
Os custos e benefícios do roteamento de modelo
O roteamento de modelo oferece potencialmente reduções massivas de custos, latência média mais baixa, qualidade otimizada, dependência reduzida do fornecedor, privacidade aprimorada e resiliência operacional aprimorada. Estritamente com base no custo, o roteamento do modelo provavelmente se pagará acima de 100.000 usuários ativos diários. Mesmo que você economize apenas 20% em sua conta de LLM, a economia pode ser significativa, mas uma redução de custos de 50% é comum, e uma redução de custos de 95% não é inédita.
Os custos de inferência, infelizmente, não contam toda a história. Alguns custos indiretos incluem despesas gerais de avaliação de qualidade, revisão humana e infraestrutura.
Há também um modo de falha desagradável que pode, por exemplo, transformar suas economias de custos de inferência em retenção de clientes e custos de suporte que os superam por um fator de quatro a cinco: a armadilha de Pareto. Para compreender isto, deveríamos começar com a observação de Vilfredo Pareto, de 1906, de que 80% das terras no Reino de Itália pertenciam a 20% da população. Isso foi adaptado em 1941 por Joseph M. Juran para ser aplicado ao controle de qualidade: 80% dos problemas decorrem de 20% das causas. A armadilha de Pareto refere-se à concentração e otimização excessiva para os 20% mais ricos, com exclusão dos 80% restantes.
Essencialmente, ajustar seu roteador modelo para lidar apenas com os 20% principais das consultas (em complexidade) com um modelo de fronteira corre o risco de enviar muitos casos extremos (as consultas moderadamente complexas) para o modelo mais barato que é incapaz de respondê-los corretamente. Isso pode levar a falhas ocultas pelos modelos baratos que, por sua vez, causam impactos dispendiosos nos negócios.
Existem várias etapas que você pode seguir para evitar essa armadilha. Uma delas é um monitoramento mais amplo, suficiente para trazer à tona as falhas, mesmo que elas apareçam em um departamento diferente. Outra é o ajuste mais conservador do modelo de roteador. E terceiro, você pode usar um modelo de roteamento mais sofisticado para prever a complexidade da consulta com mais precisão.
O roteamento de modelos otimiza a seleção de modelos apropriados para tarefas específicas, equilibrando custo, qualidade e latência. Vários fornecedores implementam o roteamento de modelos de maneira diferente, utilizando fatores como complexidade da tarefa, raciocínio e custo para determinar o melhor modelo. Embora o roteamento de modelo ofereça economias significativas de custos e melhor desempenho, ele também apresenta desafios como a armadilha de Pareto, onde a otimização excessiva de custos pode levar a falhas ocultas em consultas mais simples.
