Escolhendo um modelo para o modo BYOK
Se você quiser usar um LLM local com o sistema traga seu próprio modelo do VS Code, a primeira coisa que você precisa é uma maneira de hospedar o modelo. O VS Code não possui um mecanismo próprio de hospedagem de modelo, embora seja concebível que uma extensão do VS Code possa oferecer algo assim no futuro. Dito isso, os modelos de hospedagem são complicados o suficiente para que um aplicativo dedicado seja realmente necessário para o trabalho.
Uma maneira fácil de hospedar modelos é por meio de um produto como o LM Studio, uma GUI conveniente para criar, servir e gerenciar LLMs no próprio hardware. O host do modelo também não precisa ser o mesmo sistema em que você executa o VS Code. Pode estar em uma caixa de servidor que você controla ou em uma instância de nuvem.
A escolha do modelo também é importante. Muitos modelos são poderosos, mas não funcionam bem em hardware comum porque são simplesmente grandes demais. Uma boa regra é escolher um modelo que caiba na VRAM existente, juntamente com a memória necessária para um contexto de token considerável (quanto mais, melhor). Além disso, o modelo deve ser adequado para trabalhos de codificação e desenvolvimento. Alguns modelos nesse sentido que cabem confortavelmente em VRAM de 8 GB incluem:
