Em outras palavras, a afirmação de Denisov-Blanch de que menos código é um forte indicador de baixo desempenho pode sinalizar o contrário. No mínimo, isso não confirma as acusações dele e de outros pesquisadores sobre os baixos níveis de commits do Git como prova dispositiva de que os desenvolvedores “fantasiam” seus empregadores. Nem confirma o seu argumento “não me cite sobre isto” de que a pesquisa também mostra que “os 25% dos melhores engenheiros contribuíram com cerca de 50% a 60% da produção”, embora essa conclusão possa ser mais intuitivamente correto, dada a regra 80/20.)

Menos código pode significar mais produtividade

A contagem de confirmações de código, embora seja uma abordagem compreensível, é falha. Sim, a abordagem é um pouco mais sofisticada do que isso, mas não tanto como os investigadores parecem pensar. Por exemplo, Aaron Erickson, gerente sênior de engenharia da Nvidia, aponta que os pesquisadores podem encontrar “outros 10% de engenheiros que adicionam código, mas são abstrações inúteis ou retrabalhos vãos que agregam valor negativo e confusão”. A investigação de Stanford diria que estes são engenheiros valiosos, mas, na realidade, podem estar a fazer mais mal do que bem. Seus empregadores estariam em melhor situação se decidissem fantasma em vez de cometer códigos piores que inúteis. A pesquisa não leva em conta contribuições ruins, como admite Denisov-Blanch. Eles apenas esperam que os commits incorretos sejam resolvidos durante a revisão.

Tudo isto é um longo caminho para dizer que a investigação pode não dizer o que os investigadores acreditam. Isso não seria grande coisa, exceto que o título claramente pretende levar os empregadores a rever a forma como medem a produtividade da engenharia. (Denisov-Blanch diz que fez a pesquisa porque acredita que “a engenharia de software poderia se beneficiar da transparência, da responsabilidade e da meritocracia e (ele) está tentando encontrar uma solução”.) Esse é um grande objetivo, mas e todos os CEOs que podem ver a manchete e exigir que seus engenheiros fantasmas sejam demitidos? Usar commits de código como única métrica pode acabar removendo alguns dos melhores engenheiros de uma empresa, não necessariamente os piores.