A escala torna-se administrável quando a GenAI é tratada como um serviço com restrições explícitas e resultados mensuráveis. É melhor contar com um conjunto de disciplinas de produção para chegar lá.
EUA
Defina o contrato de produção
Escreva o contrato para a experiência que você planeja operar. Coloque números nisso. Inclua latência p95, disponibilidade, orçamento de erros e comportamento esperado sob carga. Adicione um envelope de custos por solicitação. Capture requisitos de política para acesso a dados, citação e uso de ferramentas.
Esta etapa altera rapidamente as opções de design. Uma equipe com um alvo p95 de 2,5 segundos faz escolhas de recuperação e roteamento diferentes de uma equipe que pode tolerar 10 segundos. Uma equipe com um orçamento de três centavos por resposta faz escolhas de níveis de modelo diferentes de uma equipe com um orçamento de cinquenta centavos.
Trate a recuperação como o sistema principal
A maioria dos assistentes empresariais depende da geração de recuperação aumentada. A recuperação impulsiona a qualidade da resposta. A recuperação também impulsiona a economia da unidade por meio do tamanho do contexto, da reclassificação e da repetição do trabalho. Eu gasto mais tempo na qualidade da recuperação do que na redação imediata.
