Portabilidade ou ‘não se case com o seu modelo’
Andy Oliver está certo: “Os modelos mais recentes de GPT, Claude, Gêmeos e Série O têm forças e fraquezas diferentes, por isso vale a pena misturar e combinar”. Não apenas isso, mas os modelos estão em constante fluxo, assim como seus preços e, muito provavelmente, a postura de risco da sua empresa. Como tal, você não quer ser conectado a nenhum modelo em particular. Se a troca de um modelo significa reescrever seu aplicativo, você só criou uma demonstração, não um sistema. Você também construiu um problema. Portanto, as implantações bem -sucedidas seguem estes princípios:
- Resumo por trás de uma camada de inferência com esquemas de solicitação/resposta consistentes (incluindo formatos de chamada de ferramenta e sinais de segurança).
- Mantenha as instruções e políticas versionadas Código externo para que você possa A/B e reverter sem reimplementar.
- Execução dupla Durante as migrações: envie a mesma solicitação aos modelos antigos e novos e compare por meio do chicote de avaliação antes de cortar.
Portabilidade não é apenas seguro; É como você negocia melhor com os fornecedores e Adote melhorias sem medo.
Coisas que importam menos do que você pensa
Eu tenho falado sobre como garantir o sucesso, mas certamente algumas (muitas!) Pessoas que leram até agora estão pensando: “Claro, mas realmente é sobre engenharia imediata”. Ou um modelo melhor. Ou qualquer coisa. Estas são armadilhas de IA. Não se empolgue por:
