Esta versão mais recente também inclui o balanceamento de carga baseado em custos, permitindo que a Kong rotear solicitações com base no uso e preços dos token. Por exemplo, os avisos de baixa complexidade podem ir a modelos mais baratos, enquanto as tarefas de alto valor rotaem para fornecedores premium. Isso é especialmente útil para empresas que usam vários LLMs para diferentes casos de uso, permitindo que otimize para desempenho e orçamento.

Kong

Esse visual descreve a amplitude dos recursos de gateway de Kong AI, incluindo orquestração de LLM, balanceamento de carga, gerenciamento imediato e muito mais.

Além disso, o Kong agora suporta o PGVector, estendendo os recursos semânticos, como roteamento, cache e corrimão de guarda para bancos de dados baseados em Postgres. Isso oferece às equipes da plataforma mais flexibilidade ao projetar pipelines de IA em ambientes nativos de nuvem existentes, como o AWS Relational Database Service ou o Azure Cosmos DB.

Juliana Ribeiro
Juliana Ribeiro

Juliana Ribeiro é uma respeitada e talentosa redatora que trabalha do Tudo SEO. Com um profundo entendimento das nuances do SEO e seu impacto na visibilidade digital, Juliana usa sua expertise para educar e inspirar os leitores.

Entrando na indústria da escrita como redatora freelancer, ela rapidamente subiu na hierarquia para se tornar uma voz confiável no campo do SEO. Sua jornada na revista é marcada por muitos artigos perspicazes que ajudaram muitas empresas a entender melhor e aproveitar o SEO para melhorar sua visibilidade online.

Juliana também dedicou uma grande parte de seu tempo para estudar as últimas tendências em SEO e manter-se atualizada sobre todas as mudanças no algoritmo do Google. Através de seu trabalho, ela se esforça para quebrar conceitos complexos em ideias fáceis de entender para profissionais de marketing de todos os níveis.