Os grandes modelos de linguagem atuais são prolixos, mesmo que sejam solicitados a recomendar uma decisão simples, aumentando os custos de uso devido ao grande volume de tokens que consomem ou geram. As empresas que procuram incorporar IA em fluxos de trabalho automatizados vão querer algo menos detalhado – tanto porque as máquinas muitas vezes procuram apenas uma resposta categórica, como porque os fluxos de trabalho automatizados provavelmente resultarão em volumes muito maiores de decisões e, portanto, no consumo de tokens, do que os fluxos de trabalho mediados por humanos.
TypeSafe AI, uma startup fundada pelo ex-pesquisador OpenAI e co-inventor RLHF Diogo Almeida, pensa que pode ajudar com um novo LLM, Jev, que gera respostas que podem ser consumidas diretamente por aplicativos de software ou outros modelos de IA como parte de um fluxo de trabalho automatizado: qual ferramenta invocar, qual ação tomar a seguir, se uma solicitação deve ser aprovada ou quando uma tarefa deve ser transferida para outro modelo.
Jev toma como entrada o estado atual de uma tarefa ou fluxo de trabalho e retorna uma decisão definida, juntamente com a probabilidade dessa decisão, em uma resposta concisa, em vez de gerar uma longa sequência de tokens para expressar uma resposta em linguagem natural, escreveu Almeida em um post no blog.
