Um punhado de empresas de IA dominantes tem manipulando silenciosamente uma das tabelas de classificação públicas mais influentes para os modelos de chatbot, potencialmente distorcendo as percepções do desempenho do modelo e minando a concorrência aberta, de acordo com um novo estudo.
A pesquisa, intitulada “The Lidersboard Illusion”, foi publicada por uma equipe de especialistas da Cohere Labs, Stanford University, Princeton University e outras instituições. Ele examinou as operações da Chatbot Arena, uma plataforma pública amplamente usada que permite aos usuários comparar modelos generativos de IA através da votação em pares nas respostas do modelo aos avisos do usuário.
O estudo revelou que as principais empresas de tecnologia – incluindo Meta, Google e Openai – receberam acesso privilegiado para testar várias versões de seus modelos de IA em particular na Arena Chatbot. Ao publicar seletivamente apenas as versões de maior desempenho, essas empresas conseguiram aumentar seus rankings, segundo o estudo.
