Precisamos ter uma conversa franca sobre grandes modelos de linguagem (LLMs). Em sua essência, os LLMs nada mais são do que máquinas sofisticadas de memorização, capazes de fazer afirmações que parecem razoáveis, mas incapazes de compreender a verdade fundamental. É importante ressaltar que, apesar das esperanças fervorosas de muitos, eles estão longe de fornecer ou mesmo de prefigurar a inteligência artificial geral (AGI). O entusiasmo em torno dos LLMs atingiu níveis estratosféricos, fomentando uma crença equivocada no seu potencial como precursores de AGI.

Encontramo-nos num momento crítico em que a ligação errada entre os LLMs e a AGI ameaça abrandar – e não acelerar – o progresso genuíno na inteligência artificial. O clamor para que os LLMs evoluam para soluções AGI resume o que há de melhor na visão de túnel. Consideremos os vastos investimentos investidos na formação de modelos cada vez maiores, produzindo apenas melhorias marginais em tarefas que não são baseadas em texto. Sejamos realistas: os LLMs não estão aprendendo a fazer matemática. Seu forte reside em lidar com tarefas estatísticas de texto com sutileza. É imperativo recalibrarmos as expectativas e reconhecermos que, embora os LLMs sejam excelentes em determinados domínios, ficam aquém de outros.

Para traçar um rumo para avanços significativos na IA, devemos cortar o cordão umbilical entre os LLMs e a AGI. Ao contrário da crença popular, os LLMs não são a porta de entrada para AGI; na verdade, eles representam um desvio (ou uma rampa de saída da rodovia, como Yann LeCun, cientista-chefe de IA da Meta, disse recentemente).

Pensando além dos LLMs

Um dos obstáculos para dissipar conceitos errôneos sobre LLMs decorre de sua adoção onipresente entre os desenvolvedores. Integrados perfeitamente às ferramentas do desenvolvedor, os LLMs servem como companheiros de preenchimento automático inestimáveis, auxiliando facilmente os desenvolvedores em seus esforços de codificação.

Mesmo para codificadores, os LLMs têm pontos fortes e fracos. Deveríamos continuar a tirar vantagem do primeiro e evitar o segundo. Na sexta-feira passada, a Câmara dos EUA proibiu o uso do assistente de codificação de software Copilot baseado em IA da Microsoft por funcionários devido a preocupações de que isso poderia levar a vazamentos de dados. A Microsoft disse aos repórteres que está trabalhando em outra versão para melhor atender às necessidades de segurança do governo.

É claro que a IA orientada para o desenvolvedor não é simplesmente uma questão de LLMs. Apesar de todo o foco nos LLMs, existem abordagens complementares de IA que também ajudam os desenvolvedores. Mas essas soluções enfrentam ventos contrários no mercado por parte dos LLMs. Por exemplo, os críticos da tecnologia de aprendizagem por reforço afirmam que não se trata de uma verdadeira IA generativa, citando a sua independência dos LLMs. No entanto, há muitos exemplos no cenário da IA, do DALL-E ao Midjourney, onde a IA generativa prospera sem depender de LLMs. Diffblue, como já abordei, escreve testes de unidade Java de forma autônoma e 250 vezes mais rápido do que desenvolvedores humanos sem um LLM. (Ele usa aprendizagem por reforço.) Midjourney, com seu modelo de difusão, é mais uma prova da diversidade de abordagens no domínio da IA.

Na verdade, é muito possível que o próximo salto em frente na IA não surja dos LLMs, que são inerentemente limitados pela sua arquitetura que codifica e prevê tokens que representam pedaços de texto ou pixels, debatendo-se quando confrontados com tarefas matemáticas ou lógicas simbólicas. Sem dúvida, os LLMs constituirão uma faceta dos futuros empreendimentos de AGI, mas não os monopolizarão. A história tem mostrado repetidamente que avanços em algoritmos catalisam mudanças de paradigma na computação. Como Thomas Kuhn explicou certa vez, o progresso científico não é linear; é pontuado por inovações disruptivas (ou mudanças de paradigma, expressão que ele cunhou).

A estrutura das revoluções da IA

Refletir sobre os avanços recentes ressalta esse ponto. As redes neurais para reconhecimento de imagens mostraram uma melhoria constante, mas não eram nem de longe precisas o suficiente para serem úteis até que as arquiteturas de redes neurais recorrentes (RNN) foram desenvolvidas, o que melhorou drasticamente a precisão do reconhecimento de imagens a ponto de essas redes poderem superar os humanos. O advento das arquiteturas de transformadores marcou o início de uma melhoria dramática semelhante nas redes neurais que fazem previsões de texto, levando diretamente ao LLM. Agora já estamos na era dos retornos decrescentes: o GPT-4 é supostamente 100 vezes maior que o GPT3.5 e, embora seja uma melhoria notável, certamente não é 100 vezes melhor.

Na verdade, a ascensão meteórica dos LLMs pode até prejudicar a inovação no mercado de IA, argumentou Tim O'Reilly num artigo de opinião recente em A informação. Ele alertou que um punhado de investidores endinheirados em LLM ameaça distorcer o mercado, alimentando uma corrida ao monopólio que inibe a adequação do produto ao mercado, prejudicando assim os clientes.

As implicações são claras: os investimentos inflacionados em LLM correm o risco de produzir retornos decrescentes. Os fundos desviados para tecnologias de IA mais diversas poderiam render dividendos mais substanciais. À medida que navegamos pela paisagem labiríntica da inteligência artificial, prestemos atenção às lições da história: o progresso prospera com base na diversidade e não na monocultura. O futuro da IA ​​não está gravado em pedra; está esperando para ser moldado pela engenhosidade de pioneiros dispostos a explorar além dos limites dos LLMs.