Se a chave de fenda fosse inventada pela indústria de tecnologia hoje, seria amplamente implantada para uma variedade de tarefas, incluindo pregos martelados. Desde a estréia do ChatGPT, houve um fervor e uma reação crescente contra grandes modelos de idiomas (LLMS). De fato, muitas adaptações da tecnologia parecem desviadas, e suas capacidades são exageradas, dada sua frequente falta de veracidade. Isso não quer dizer que não haja muitos usos excelentes para um LLM, mas você deve responder a algumas perguntas importantes antes de fazer o furo completo.
Um LLM será melhor ou pelo menos igual às respostas humanas?
Alguém gosta dos chatbots de atendimento ao cliente que não respondem a nenhuma pergunta que ainda não esteja na primeira página do site? Por outro lado, conversar com uma pessoa no atendimento ao cliente que acabou de ler um script e não tem o poder de ajudar é igualmente frustrante. Qualquer implantação de um LLM deve testar se é igual ou melhor ao chatbot ou respostas humanas que está substituindo.
Qual é a exposição de responsabilidade?
Em nossa sociedade litigiosa, qualquer novo processo ou tecnologia deve ser avaliado contra seu potencial de exposição legal. Existem lugares óbvios para cautela, como médico, direito ou finanças, mas e uma resposta gerada por LLM que direciona as pessoas a uma política ou a conselhos enganosos, inapropriados ou pior? As políticas ruins da empresa geralmente resultam em ações de ação coletiva. Ao aumentar a escala das interações com os clientes, um LLM treinado ou restrito incorretamente poderia criar uma responsabilidade ainda não intencional.
Um LLM é realmente mais barato?
Claro, é fácil medir sua assinatura e uso de um LLM geral como o ChatGPT, mas sistemas personalizados mais específicos podem ter custos mais altos além da energia de computação. E a equipe e outras infraestruturas para manter e depurar o sistema? Você pode contratar muitos representantes de atendimento ao cliente pelo preço de um especialista em IA. Além disso, o ChatGPT e os serviços semelhantes parecem ser subsidiados pelo investimento no momento. Presumivelmente, em algum momento eles querem obter lucro e, em seguida, seu custo pode subir. É isso llm na verdade mais barato e ficará assim para a vida do seu sistema?
Como você vai mantê -lo?
A maioria dos sistemas Enterprise LLM será treinada sob medida em conjuntos de dados específicos. Uma desvantagem para as redes neurais nas quais os LLMs confiam é que eles são notoriamente difíceis de depurar. À medida que a tecnologia progride, o LLMS pode desenvolver a capacidade de revisar, apagar ou “desaprender” algo falso que aprendeu. Mas, por enquanto, desaprender pode ser bastante difícil. Qual é o seu processo ou procedimento para atualizar regularmente o LLM e eliminar as más respostas?
Qual é o seu processo de teste?
Um benefício importante de um LLM é que você não precisa antecipar todas as permuções possíveis de uma pergunta para que o modelo forneça uma resposta credível. No entanto, a palavra “credível” não significa correta. Pelo menos as perguntas mais comuns e várias permutações devem ser testadas. Se o seu LLM substituir um processo de máquina humano ou existente, as perguntas que as pessoas estão fazendo hoje será um bom conjunto de dados para começar.
Há um antigo provérbio de proveniência duvidosa que se traduz aproximadamente para “desacelerar, estou com pressa”. Nem tudo será um ótimo caso de uso para o LLMS e há ampla evidência de que o entusiasmo está superando as capacidades. No entanto, ao medir a qualidade e a economia e criar alguns procedimentos decentes de manutenção e teste, você pode tornar o LLMS uma ferramenta valiosa em muitos casos de uso diferentes.
