Voltando mais perto dos dias atuais, encontramos o desenvolvimento comercial da AI, Beholden para “a lição amarga”. Depois que o CUDA da NVIDIA permitiu operações eficientes de tensor em GPUs e redes profundas como a Alexnet, impulsionou o progresso sem precedentes em campos variados, os métodos anteriormente diversos que competem para o domínio em benchmarks de aprendizado de máquina homogeneizados para atirar apenas mais computação na aprendizagem profunda.
Talvez não exista um exemplo maior da lição amarga do que os grandes modelos de linguagem, que exibiram incríveis recursos emergentes com a escala na última década. Poderíamos realmente alcançar a inteligência geral artificial (AGI), isto é, sistemas no valor das representações arquetípicas da IA vistas em Blade Runner ou 2001: uma odisseia espacialsimplesmente adicionando mais parâmetros a esses LLMs e mais GPUs aos clusters em que estão treinados?
Meu trabalho na UCSD foi baseado na crença de que essa escala não levaria a uma verdadeira inteligência. E, como vimos nos relatórios recentes dos principais laboratórios de IA como Openai e luminárias como François Chollet, a maneira como estamos nos aproximando do aprendizado profundo atingiu uma parede. “Agora todo mundo está procurando a próxima grande novidade”, coloca Sutskever apropriadamente. É possível que, com técnicas como aplicar o aprendizado de reforço ao LLMS à LA Openai’s O3, estamos ignorando a sabedoria da lição amarga (embora essas técnicas sejam indubitavelmente intensivas em computação)? E se procássemos entender uma “teoria de tudo” para aprender e depois dobrar isso?
Temos que desconstruir e depois reconstruir, como os modelos de IA são treinados
Em vez de aproximações de caixa preta, na UCSD desenvolvemos tecnologia inovadora que entende como as redes neurais realmente aprendem. Os modelos de aprendizado profundo apresentam neurônios artificiais vagamente semelhantes aos nossos, filtrando dados através deles e depois apoiando -os de volta para aprender recursos nos dados (o último passo é estranho à biologia). É esse mecanismo de aprendizado de recursos que impulsiona o sucesso da IA em áreas tão díspares quanto finanças e saúde.
