Treine seu modelo para fazer as coisas do seu jeito

Travis Rehl, CTO da Innovative Solutions, diz o que as ferramentas generativas de IA precisam para funcionar bem é “contexto, contexto, contexto”. Você precisa fornecer bons exemplos do que deseja e como deseja fazer, diz ele. “Você deve dizer ao LLM para manter um certo padrão ou lembrá -lo de usar um método consistente para que não crie algo novo ou diferente”. Se você não o fizer, poderá encontrar um tipo sutil de alucinação que injeta anti-padrões em seu código. “Talvez você sempre faça uma API chamar de uma maneira específica, mas o LLM escolhe um método diferente”, diz ele. “Embora tecnicamente correta, não seguiu seu padrão e, portanto, se desviou do que a norma precisa ser”.

Um conceito que leva essa idéia à sua conclusão lógica é a geração aumentada de recuperação, ou RAG, no qual o modelo usa uma ou mais “fontes de verdade” designadas que contêm código específico para o usuário ou pelo menos examinado por eles. “O aterramento compara a saída da IA ​​a fontes de dados confiáveis, reduzindo a probabilidade de gerar informações falsas”, diz Mitov. Rag é “um dos métodos de aterramento mais eficazes”, diz ele. “Ele melhora as saídas da LLM utilizando dados de fontes externas, bases de código internas ou referências de API em tempo real”.

Muitos assistentes de codificação disponíveis já integram os recursos do RAG – o de Cursor é chamado @CodeBase, por exemplo. Se você deseja criar sua própria base de código interna para um LLM extrair, precisará armazená -lo em um banco de dados vetorial; Banerjee aponta para o Chroma como uma das opções mais populares.