ServiceNow, Hugging Face e Nvidia lançaram StarCoder2, a próxima geração de seu modelo de linguagem grande (LLM) de acesso aberto e livre de royalties treinado para gerar código, em um esforço para assumir ferramentas de programação baseadas em IA, incluindo o GitHub de propriedade da Microsoft Copilot, Bard AI do Google e Amazon CodeWhisperer.
StarCoder2 é na verdade uma família de três LLMs: um modelo de 3 bilhões de parâmetros treinado pela ServiceNow, um modelo de 7 bilhões de parâmetros treinado por Hugging Face e um modelo de 15 bilhões de parâmetros construído pela Nvidia com a ajuda de seu NeMo. estrutura.
Os três tamanhos diferentes de modelos permitirão que as empresas economizem nos custos de computação usando modelos de menor desempenho onde os recursos são um problema.
Os desenvolvedores podem usar os LLMs para conclusão de código, resumo avançado de código e recuperação de trecho de código, entre outros recursos.
“O StarCoder2 amplia o potencial de futuras aplicações de codificação orientadas por IA, incluindo recursos de texto para código e texto para fluxo de trabalho. Com um treinamento de programação mais amplo e profundo, ele fornece contexto de repositório, permitindo previsões precisas e conscientes do contexto”, afirmaram as empresas em comunicado conjunto.
O ponto chave de diferenciação entre os LLMs de primeira e segunda geração é o suporte integrado para mais linguagens de programação. Enquanto a primeira geração suportava 80 linguagens de programação, os LLMs de segunda geração fornecem suporte para até 619 linguagens de programação.
A base do StarCoder2 é um novo conjunto de dados de código chamado Stack v2, que é mais de sete vezes maior que o Stack v1. As empresas usaram novas técnicas de treinamento para ajudar o modelo a lidar com linguagens como COBOL, para as quais há poucos recursos on-line disponíveis, e para lidar com matemática e discussões sobre o código-fonte do programa. Com a capacidade de entender o COBOL, os novos LLMs agora podem competir com ofertas como o Watsonx Code Assistant da IBM.
Ajuste fino para a empresa
As empresas terão a opção de ajustar os modelos com seus próprios dados usando ferramentas como NeMo ou Hugging Face TRL para criar chatbots personalizados ou assistentes de codificação.
O primeiro lançamento do StarCoder em maio de 2023 chamou a atenção porque os LLMs eram em sua maioria gratuitos, ao contrário de modelos como Duet AI ou CodeWhisperer, e ao mesmo tempo eram treinados em dados licenciados.
ServiceNow e Hugging Face se uniram para formar o projeto BigCode, que visava criar “sistemas de IA de última geração para código de maneira aberta e responsável, com o apoio da comunidade científica aberta de pesquisa em IA”.
As empresas disseram então que o treinamento do LLM em código-fonte licenciado resolveu questões legais relacionadas a mecanismos generativos de IA que produzem código não atribuído em resposta a consultas em linguagem natural.
O GitHub, por exemplo, já enfrenta uma ação coletiva sobre seu assistente de codificação Copilot AI.
No entanto, os membros do BigCode disseram que, diferentemente do software de código aberto tradicional lançado sem restrições de uso, a licença do StarCoder inclui restrições que se aplicam a modificações do modelo e aos aplicativos que utilizam o modelo, incluindo restrições à distribuição de código malicioso.
O código-fonte de suporte para os modelos foi disponibilizado na página GitHub do BigCode Project.
Embora os dois modelos menores possam ser baixados diretamente do Hugging Face, o modelo de 15 bilhões de parâmetros está disponível apenas no catálogo de modelos AI Foundation da Nvidia.
