Como RAG completa o quebra-cabeça de IA generativa

A IA generativa entrou na consciência global com força no final de 2022 (deixa: ChatGPT), mas fazê-la funcionar na empresa significou pouco mais do que uma série de tropeços. O uso da Shadow AI na empresa está em alta, pois os funcionários estão transformando as ferramentas de chat de IA em companheiros de tarefas do dia a dia. Mas para os fluxos de trabalho intensivos em conhecimento que são fundamentais para a missão de uma organização, a IA generativa ainda não cumpriu a sua elevada promessa de transformar a forma como trabalhamos.

Porém, não aposte que esse período de desilusão durará muito tempo. Um processo chamado geração aumentada de recuperação (RAG) está liberando tipos de casos de uso de IA generativa empresarial que antes não eram viáveis. Empresas como OpenAI, Microsoft, Meta, Google e Amazon, juntamente com um número crescente de startups de IA, têm lançado agressivamente soluções baseadas em RAG voltadas para empresas.

O RAG traz para a IA generativa o grande fator que a impedia na empresa: um modelo de recuperação de informações. Agora, as ferramentas generativas de IA têm uma maneira de acessar dados relevantes que são externos aos dados nos quais o modelo de linguagem grande (LLM) foi treinado – e podem gerar resultados com base nessas informações. Esse aprimoramento parece simples, mas é a chave que libera o potencial das ferramentas generativas de IA para casos de uso corporativo.

Para entender o porquê, vamos primeiro examinar os problemas que ocorrem quando a IA generativa não tem a capacidade de acessar informações fora dos seus dados de treinamento.

As limitações dos modelos de linguagem

Ferramentas generativas de IA, como o ChatGPT, são alimentadas por grandes modelos de linguagem treinados em grandes quantidades de dados de texto, como artigos, livros e informações on-line, a fim de aprender os padrões de linguagem necessários para gerar respostas coerentes. No entanto, mesmo que os dados de treinamento sejam enormes, são apenas um instantâneo das informações do mundo capturadas em um momento específico – com escopo limitado e sem dados específicos do domínio ou atualizados.

Um LLM gera novas informações com base nos padrões de linguagem que aprendeu a partir dos seus dados de treinamento e, no processo, tende a inventar fatos que, de outra forma, pareceriam totalmente credíveis. Este é o problema da “alucinação” com a IA generativa. Não é um obstáculo para indivíduos que usam ferramentas generativas de IA para ajudá-los em tarefas casuais ao longo do dia, mas para fluxos de trabalho empresariais onde a precisão não é negociável, o problema da alucinação tem sido um empecilho.

Um analista de private equity não pode confiar em uma ferramenta de IA que fabrique entidades da cadeia de suprimentos. Um analista jurídico não pode confiar em uma ferramenta de IA que inventa ações judiciais. E um profissional médico não pode confiar em uma ferramenta de IA que invente interações medicamentosas. A ferramenta não oferece nenhuma maneira de verificar a precisão da saída ou do uso em casos de uso de conformidade porque não cita as fontes subjacentes — ela está gerando a saída com base em padrões de linguagem.

Mas não foram apenas as alucinações que frustraram o sucesso da IA ​​generativa nas empresas. Os dados de treinamento LLM são ricos em informações gerais, mas carecem de dados proprietários ou específicos de domínio, sem os quais a ferramenta é de pouca utilidade para casos de uso empresarial com uso intensivo de conhecimento. Os dados do fornecedor que o analista de private equity precisa não estão lá. Nem as informações do processo são para o analista jurídico nem os dados de interação medicamentosa para o médico.

As aplicações empresariais de IA normalmente exigem acesso a informações atuais, e esta é outra área onde os LLMs por si só não conseguem entregar. Seus dados de treinamento são estáticos, com uma data limite que geralmente ocorre há muitos meses. Mesmo que o sistema tivesse acesso ao tipo de dados de fornecedores que o analista de private equity precisa, não teria muito valor para ele se faltassem os dados dos últimos oito meses. O analista jurídico e o médico estão no mesmo barco – mesmo que a ferramenta de IA tenha acesso a dados específicos do domínio, será de pouca utilidade se não estiver atualizada.

Requisitos empresariais para IA generativa

Ao expor as deficiências da IA ​​generativa na empresa, definimos seus requisitos. Eles devem ser:

• Abrangente e oportuno, incluindo todos os dados relevantes e atualizados específicos do domínio.
• Confiável e transparente, citando todas as fontes utilizadas no resultado.
• Credível e preciso, baseando os resultados em conjuntos de dados específicos e confiáveis, e não em dados de treinamento LLM.

O RAG possibilita que ferramentas generativas de IA atendam a esses requisitos. Ao integrar modelos baseados em recuperação com modelos generativos, os sistemas baseados em RAG podem ser projetados para lidar com fluxos de trabalho com uso intensivo de conhecimento, onde é necessário extrair resumos e insights precisos de grandes volumes de dados imperfeitos e não estruturados e apresentá-los de forma clara e precisa em linguagem natural.

Existem quatro etapas básicas para RAG:

1. Vetorização. Transforme informações relevantes de fontes confiáveis ​​convertendo texto em um código especial que o sistema possa usar para categorização.
2. Recuperação. Use uma representação matemática para combinar sua consulta com códigos semelhantes contidos em fontes de informação confiáveis.
3. Classificação. Escolha as informações mais úteis para você, considerando o que você perguntou, quem você é e a fonte das informações.
4. Geração. Combine as partes mais relevantes desses documentos com sua pergunta e envie-as para um LLM para produzir o resultado.

Ao contrário de uma ferramenta de IA generativa que depende exclusivamente de um LLM para produzir uma resposta, as ferramentas de IA generativa baseadas em RAG podem produzir resultados muito mais precisos, abrangentes e relevantes, desde que os dados subjacentes sejam devidamente obtidos e verificados. Nesses casos, os usuários corporativos podem confiar na saída e usá-la para fluxos de trabalho críticos.

A capacidade do RAG de recuperar informações novas e atualizadas e citar fontes é tão crítica que a OpenAI começou a implementar a funcionalidade RAG no ChatGPT. Ferramentas de pesquisa mais recentes, como o Perplexity AI, estão agitando porque as respostas que geram citam suas fontes. No entanto, essas ferramentas ainda são ferramentas de “conhecimento geral” que exigem tempo e investimento para que funcionem em casos de uso corporativo de domínios específicos.

Prepará-los para a empresa significa obter e verificar os dados subjacentes de onde as informações são obtidas para serem específicas do domínio, personalizar a recuperação, classificar a recuperação para retornar os documentos mais relevantes para o caso de uso e ajustar o LLM usado para geração para que a saída use a terminologia, o tom e os formatos corretos.

Apesar do entusiasmo inicial em torno da IA ​​generativa, a sua aplicação prática nas empresas tem sido até agora desanimadora. Mas a RAG está mudando o jogo em todos os setores, tornando possível fornecer soluções generativas de IA onde precisão, confiabilidade e especificidade de domínio são requisitos difíceis.

Chandini Jain é o fundador e CEO da Auquan, um inovador em IA que transforma os dados não estruturados do mundo em inteligência acionável para clientes de serviços financeiros. Antes de fundar a Auquan, Jain passou 10 anos em finanças globais, trabalhando como trader na Optiver e no Deutsche Bank. Ela é uma especialista reconhecida e palestrante na área de uso de IA para investimentos e gestão de riscos ESG. Jain possui mestrado em engenharia mecânica/ciência da computação pela Universidade de Illinois em Urbana-Champaign e bacharelado em tecnologia pelo IIT Kanpur. Para mais informações sobre Auquan, visite www.auquan.come siga a empresa @auquan_ e assim por diante LinkedIn.

–

Generative AI Insights oferece um local para líderes de tecnologia – incluindo fornecedores e outros colaboradores externos – explorarem e discutirem os desafios e oportunidades da inteligência artificial generativa. A seleção é ampla, desde aprofundamentos tecnológicos até estudos de caso e opiniões de especialistas, mas também subjetiva, com base em nosso julgamento de quais tópicos e tratamentos servirão melhor ao público tecnicamente sofisticado do InfoWorld. A InfoWorld não aceita material de marketing para publicação e reserva-se o direito de editar todo o conteúdo contribuído. Contato [email protected].