Este artigo da Axios afirma o que já sabemos: as respostas provenientes de muitos sistemas de IA generativa (genAI) são enganosas, não são o que os usuários pediram, ou simplesmente erradas. A questão pública é que o líder de engenharia de software da Microsoft, Shane Jones, enviou cartas à presidente da FTC, Lina Khan, e ao conselho de administração da Microsoft em 6 de março, dizendo que o gerador de imagens de IA da Microsoft criou imagens violentas e sexuais e usou imagens protegidas por direitos autorais quando recebeu instruções específicas.
É claro que os grandes modelos de linguagem (LLMs) enormes e acessíveis ao público recebem a atenção mais negativa. E quanto aos aplicativos de negócios que aproveitam a IA generativa? Certamente, o foco menor gerará respostas de melhor qualidade. Não.
Onde a IA generativa dá errado
Muitos estão me dizendo que pensavam que a IA generativa deveria fornecer a melhor chance de uma resposta informativa e útil. Parece que a tecnologia não está correspondendo a essa expectativa. O que diabos está acontecendo?
A IA generativa tem as mesmas limitações de todos os sistemas de IA: depende dos dados usados para treinar o modelo. Dados ruins criam modelos de IA ruins. Pior ainda, você recebe respostas erradas ou que podem causar problemas legais. É importante reconhecer as limitações inerentes a estes sistemas e compreender que, por vezes, eles podem apresentar o que pode razoavelmente ser chamado de “estupidez”. Essa estupidez pode tirar você do mercado ou fazer com que você seja processado até a Idade da Pedra.
Os modelos generativos de IA, incluindo modelos como o GPT, operam com base em padrões e associações aprendidas em vastos conjuntos de dados. Embora estes modelos possam gerar respostas coerentes e contextualmente relevantes, carecem de compreensão e consciência adequadas, conduzindo a resultados que podem parecer desconcertantes ou sem sentido.
Você pode pedir a um modelo de linguagem pública para criar um artigo de história e conseguir um explicando que Napoleão lutou na Guerra Civil dos Estados Unidos. Esse erro é facilmente detectado, mas os erros cometidos em um novo sistema de otimização da cadeia de suprimentos habilitado para genAI podem não ser tão fáceis de detectar. E esses erros podem resultar em milhões de dólares em receitas perdidas.
Estou descobrindo que os usuários desses sistemas consideram a resposta um evangelho, mais do que outros sistemas. Os erros muitas vezes não são detectados até que muitos danos sejam causados, às vezes meses depois.
São os dados, estúpido
A maioria dos problemas empresariais com IA generativa são causados por dados insuficientes. As empresas gastam todo o seu tempo escolhendo ferramentas de IA, incluindo serviços de nuvem pública, mas não gastam tempo suficiente para melhorar a forma de seus dados para fornecer dados de treinamento sólidos para esses modelos de IA. Os sistemas consomem “dados sujos” e acabam enfrentando todos os tipos de problemas causados por esses LLMs ou modelos de linguagem pequena (SLMs) recém-construídos.
As empresas entendem esse problema, mas parecem bem em avançar com sistemas generativos de IA sem corrigir os dados que estão sendo ingeridos. Freqüentemente, eles presumem que as ferramentas de IA encontrarão dados falhos e errôneos e os eliminarão de consideração.
Os sistemas de IA podem fazer isso, desde que seja submetido a um processo de verificação antes que os dados sejam visualizados a partir de um modelo específico no qual não seja confiável. Um processo de verificação pode encontrar e eliminar dados errados, mas nem todos os dados insuficientes parecem dados incorretos. Se os dados errados forem ingeridos como dados de treinamento, seu sistema de IA generativo se tornará cada vez mais burro.
A maioria dos problemas que as empresas enfrentam com a IA generativa estão relacionados com dados de má qualidade ou dados que não deveriam ter sido utilizados em primeiro lugar. Embora você possa pensar que consertar problemas de dados é fácil, para a maioria das empresas, você está gastando milhões de dólares e meses ou anos para manter os dados em um estado impecável. Em vez disso, o dinheiro está sendo gasto em IA, não em dados. Como o resultado poderia ser diferente?
Além disso, os sistemas generativos de IA são suscetíveis a preconceitos. Se seus dados de treinamento contiverem preconceitos ou imprecisões, o modelo poderá inadvertidamente perpetuá-los ou amplificá-los no conteúdo gerado ou fornecer consultas automatizadas com outros aplicativos e/ou humanos. É preciso trabalho para remover o preconceito, uma vez que ele tenha sido incorporado aos modelos. Diferentes partes do modelo podem estar envenenadas e difíceis de isolar e remover.
Outros problemas com IA generativa
Falta de bom senso é um dos principais fatores que contribuem para a percepção da “estupidez” da IA generativa. Ao contrário dos humanos, estes sistemas não possuem conhecimento inato sobre o mundo; eles se baseiam em padrões estatísticos aprendidos durante o treinamento. Este resultado pode ser respostas que podem necessitar de maior profundidade de compreensão do mundo real.
Outro aspecto a considerar é o sensibilidade da IA generativa ao fraseado de entrada. O sistema gera respostas com base nas informações que recebe de humanos por meio de um prompt ou de aplicativos que usam APIs. Pequenas mudanças na redação podem levar a resultados drasticamente diferentes. Devido a esta sensibilidade, os utilizadores podem descobrir que a IA ocasionalmente produz respostas inesperadas ou irrelevantes. Grande parte do valor da IA só pode ser desbloqueado fazendo as perguntas certas e usando os métodos adequados.
Além disso, o incapacidade de distinguir dados comerciais de dados que podem estar sujeitos a direitos autorais ou questões de propriedade de IP vêm à tona. Por exemplo, uma carta aberta do Authors Guild assinada por mais de 8.500 autores insta as empresas de tecnologia responsáveis por aplicações generativas de IA, como OpenAI (ChatGPT) e Google (Gemini, anteriormente conhecido como Bard), a cessarem de usar seus trabalhos sem a devida autorização. ou compensação. Eu fiz perguntas a grandes LLMs públicos e ouvi pedaços de meu próprio trabalho repetidos algumas vezes. Tenho certeza de que meus livros e milhares de artigos (talvez deste site) foram usados como dados de treinamento para esses LLMs.
As empresas que utilizam estes LLMs para partes do seu processamento comercial podem estar sujeitas a processos judiciais se a propriedade intelectual de outra pessoa for utilizada para um propósito comercial valioso. Por exemplo, o LLM pode, sem saber, utilizar processos de gestão da cadeia de abastecimento que estão descritos num texto protegido por direitos de autor para optimizar a sua cadeia de abastecimento, incluindo algoritmos publicados. É por isso que a maioria das empresas proíbe o uso de sistemas públicos de IA generativos para fins comerciais. É um risco significativo.
À medida que continuamos nesta jornada para encontrar o nirvana da IA generativa, estou convencido de que precisaremos aprender primeiro como abordar essas e outras questões. Desculpe ser um buzzkill.
