Se a chave de fenda fosse inventada pela indústria de tecnologia hoje, ela seria amplamente utilizada para uma variedade de tarefas, incluindo martelar pregos. Desde a estreia do ChatGPT, tem havido um fervor e uma reação crescentes contra os grandes modelos de linguagem (LLMs). Na verdade, muitas adaptações da tecnologia parecem inadequadas e as suas capacidades são exageradas, dada a sua frequente falta de veracidade. Isso não quer dizer que não haja muitos usos excelentes para um LLM, mas você deve responder a algumas perguntas importantes antes de começar a trabalhar.
Um LLM será melhor ou pelo menos igual às respostas humanas?
Alguém gosta daqueles chatbots de atendimento ao cliente que não respondem a nenhuma pergunta que ainda não esteja na página inicial do site? Por outro lado, conversar com uma pessoa do atendimento ao cliente que apenas lê um roteiro e não tem autonomia para ajudar é igualmente frustrante. Qualquer implantação de um LLM deve testar se ele é igual ou melhor ao chatbot ou às respostas humanas que está substituindo.
Qual é a exposição ao passivo?
Na nossa sociedade litigiosa, qualquer novo processo ou tecnologia deve ser avaliado em relação ao seu potencial de exposição legal. Existem áreas óbvias para cautela, como medicina, direito ou finanças, mas e quanto a uma resposta gerada por LLM que direciona as pessoas para uma política ou aconselhamento que é enganoso, inadequado ou pior? As más políticas da empresa geralmente resultam em ações judiciais coletivas. Ao aumentar a escala das interações com os clientes, um LLM mal treinado ou restringido poderia criar responsabilidades não intencionais ainda maiores.
Um LLM é realmente mais barato?
Claro, é fácil medir sua assinatura e uso de um LLM geral como ChatGPT, mas sistemas personalizados mais específicos podem ter custos mais elevados além do poder computacional. E quanto à equipe e outras infraestruturas para manter e depurar o sistema? Você pode contratar vários representantes de atendimento ao cliente pelo preço de um especialista em IA. Além disso, o ChatGPT e serviços similares parecem ser subsidiados pelo investimento neste momento. Presumivelmente, em algum momento eles desejarão obter lucro e então seu custo poderá aumentar. Isso é LLM na verdade mais barato e permanecerá assim durante a vida útil do seu sistema?
Como você vai mantê-lo?
A maioria dos sistemas LLM corporativos serão treinados de forma personalizada em conjuntos de dados específicos. Uma desvantagem das redes neurais nas quais os LLMs dependem é que elas são notoriamente difíceis de depurar. À medida que a tecnologia avança, os LLMs podem desenvolver a capacidade de rever, apagar ou “desaprender” algo falso que aprenderam. Mas, por enquanto, desaprender pode ser bastante difícil. Qual é o seu processo ou procedimento para atualizar regularmente o LLM e eliminar respostas incorretas?
Qual é o seu processo de teste?
Um benefício importante de um LLM é que você não precisa antecipar todas as permutações possíveis de uma pergunta para que o modelo forneça uma resposta confiável. No entanto, a palavra “credível” não significa correto. Pelo menos as perguntas mais comuns e as diversas permutações devem ser testadas. Se o seu LLM substituir um processo humano ou de máquina existente, as perguntas que as pessoas estão fazendo hoje seriam um bom conjunto de dados para começar.
Existe um velho provérbio de origem duvidosa que se traduz aproximadamente como “vai devagar, estou com pressa”. Nem tudo será um ótimo caso de uso para LLMs e há amplas evidências de que o entusiasmo está superando as capacidades. No entanto, medindo a qualidade e a economia e criando alguns procedimentos decentes de manutenção e teste, você pode tornar os LLMs uma ferramenta valiosa em muitos casos de uso diferentes.
