Modelos de idiomas grandes: os fundamentos da IA ​​generativa

No início de março de 2023, o professor Pascale Fung do Centro de Pesquisa de Inteligência Artificial da Universidade de Ciência e Tecnologia de Hong Kong deu uma palestra sobre avaliação do ChatGPT. Vale a pena assistir.

Lamda

LAMDA (Modelo de Idioma para Aplicativos de Diálogo), a tecnologia de conversação “inovadora” de 2021 do Google, é um modelo de idioma baseado em transformador treinado em diálogo e ajustado para melhorar significativamente a sensibilidade e a especificidade de suas respostas. Um dos pontos fortes da Lamda é que ele pode lidar com a deriva do tópico comum em conversas humanas. Embora você não possa acessar diretamente o LAMDA, seu impacto no desenvolvimento da IA ​​conversacional é inegável, pois ultrapassou os limites do que é possível com os modelos de linguagem e abriu o caminho para interações de IA mais sofisticadas e humanas.

Palma

O Palm (Modelo de Linguagem de Pathways) é um modelo dense de transformador de decodificador denso do Google Research com 540 bilhões de parâmetros, treinado com o sistema de vias. A Palm foi treinada usando uma combinação de conjuntos de dados em inglês e multilíngues que incluem documentos da Web de alta qualidade, livros, Wikipedia, conversas e código do GitHub. O Google também criou um vocabulário “sem perdas” que preserva todo o espaço em branco (especialmente importante para o código), divide os caracteres unicode fora do vocabulário em bytes e divide os números em tokens individuais, um para cada dígito.

O Google tornou o Palm 2 acessível através do API de palmeira e fabricante. Isso significa que os desenvolvedores agora podem usar o Palm 2 para criar seus próprios aplicativos generativos de IA.

Codificador de palmeira é uma versão do Palm 540B ajustada em um conjunto de dados de código somente Python.

Palm-e

O Palm-E é um modelo de linguagem multimodal incorporado (para robótica) 2023 do Google. Os pesquisadores começaram com a palma e “incorporaram” (o E em Palm-E), complementando-o com dados do sensor do agente robótico. Palm-E também é um modelo de visão e linguagem geralmente capaz; Além do Palm, ele incorpora o modelo de visão Vit-22b.

O BARD foi atualizado várias vezes desde o seu lançamento. Em abril de 2023, ganhou a capacidade de gerar código em 20 linguagens de programação. Em julho de 2023, obteve suporte para informações em 40 idiomas humanos, incorporou a lente do Google e adicionou recursos de texto à fala em mais de 40 idiomas humanos.

Lhama

LLAMA (Modelo de Linguagem Grande Meta AI) é um parâmetro de 65 bilhões de parâmetro “Raw” Language Model lançado pela Meta AI (anteriormente conhecido como Meta-Fair) em fevereiro de 2023. De acordo com a Meta:

Treinar modelos de fundação menores como a llama são desejáveis ​​no grande espaço do modelo de linguagem, pois requer muito menos poder de computação e recursos para testar novas abordagens, validar o trabalho de outras pessoas e explorar novos casos de uso. Os modelos de fundação treinam em um grande conjunto de dados não marcados, o que os torna ideais para ajuste fino para uma variedade de tarefas.

A LLAMA foi lançada em vários tamanhos, juntamente com um cartão de modelo que detalha como ele foi construído. Originalmente, você precisava solicitar os postos de controle e o tokenizer, mas eles estão em estado selvagem agora: um torrent para download foi publicado no 4chan por alguém que obteve corretamente os modelos, apresentando uma solicitação, de acordo com Yann Lecun, da Meta AI.

Lhama

O LLAMA 2 é a próxima geração do modelo de grande idioma da Meta AI, treinado entre janeiro e julho de 2023 com 40% a mais dados (2 trilhões de tokens de fontes publicamente disponíveis) do que o LLAMA 1 e com o dobro do comprimento do contexto (4096). O LLAMA 2 vem em uma variedade de tamanhos de parâmetros-7 bilhões, 13 bilhões e 70 bilhões-, além de variações pré-criadas e ajustadas. A Meta Ai chama Llama 2 de código aberto, mas há quem discorda, já que inclui restrições ao uso aceitável. Uma licença comercial está disponível além de uma licença comunitária.

O LLAMA 2 é um modelo de linguagem auto-regressiva que usa uma arquitetura otimizada de transformadores. As versões sintonizadas usam o ajuste fino supervisionado (SFT) e o aprendizado de reforço com feedback humano (RLHF) para se alinhar às preferências humanas por ajuda e segurança. Atualmente, o LLAMA 2 é apenas em inglês. O cartão modelo inclui resultados de referência e estatísticas de pegada de carbono. O artigo de pesquisa, Llama 2: Fundação aberta e modelos de bate-papo ajustados, oferece detalhes adicionais.

Claude

Claude 3.5 é a versão principal atual.

Claude 2 do Anthrópico, lançado em julho de 2023, aceita até 100.000 tokens (cerca de 70.000 palavras) em um único prompt e pode gerar histórias de até alguns milhares de tokens. Claude pode editar, reescrever, resumir, classificar, extrair dados estruturados, fazer perguntas e respostas com base no conteúdo e muito mais. Ele tem mais treinamento em inglês, mas também tem um bom desempenho em uma variedade de outros idiomas comuns e ainda tem alguma capacidade de se comunicar em menos comuns. Claude também possui um amplo conhecimento das linguagens de programação.

Claude foi constitucionalmente treinado para ser Útil, honesto e inofensivo (HHH), e extensivamente, toude para ser mais inofensivo e mais difícil de solicitar a produzir uma produção ofensiva ou perigosa. Ele não treina em seus dados nem consulte a Internet para obter respostas, embora você possa fornecer a Claude com texto da Internet e pedir para executar tarefas com esse conteúdo. Claude está disponível para usuários nos EUA e no Reino Unido como uma versão beta gratuita e foi adotada por parceiros comerciais como Jasper (uma plataforma de IA generativa), OrinceGraph Cody (uma plataforma Code AI) e Amazon Bedrock.

Conclusão

Como vimos, os grandes modelos de idiomas estão em desenvolvimento ativo em várias empresas, com novas versões enviando mais ou menos mensalmente do OpenAI, Google AI, Meta AI e Antrópico. Embora nenhum desses LLMs alcance a verdadeira inteligência geral artificial (AGI), novos modelos tendem a melhorar os mais velhos. Ainda assim, a maioria dos LLMs é propensa a alucinações e outras maneiras de sair dos trilhos e, em alguns casos, pode produzir respostas imprecisas, tendenciosas ou outras respostas questionáveis ​​aos avisos do usuário. Em outras palavras, você deve usá -los apenas se puder verificar se a saída deles está correta.