O roteamento de modelos surgiu como uma forma de manter baixos os custos de inferência de IA, examinando os prompts e direcionando-os para o modelo mais apropriado – por exemplo, o mais barato capaz de responder com eficácia. Isto significa que as solicitações podem ser tratadas de forma mais eficiente, proporcionando resultados mais precisos e menores custos de tempo de execução, uma preocupação numa era de gastos crescentes com IA.
A Nvidia vê o potencial do roteamento de modelos e acaba de lançar o NeMo Switchyard, sua versão da tecnologia. Switchyard fornece uma biblioteca para aplicar múltiplas abordagens de roteamento, permitindo que os desenvolvedores apliquem uma abordagem de sistema de modelos e construam agentes mais eficientes e controláveis.
O interesse no roteamento de modelo está crescendo – tanto como ferramenta quanto como investimento: a Cloudflare introduziu recentemente um roteador modelo como parte de um novo conjunto de ferramentas empresariais de IA, enquanto a empresa de serviços de pagamento Stripe está procurando comprar o OpenRouter, de acordo com o The Wall Street Journal.
