Também é importante garantir que o ambiente de referência seja semelhante ao ambiente de produção de negócios, disse ele, e documentar áreas em que redes, computação, armazenamento, entradas, saídas e aumento contextual do ambiente de referência diferem do ambiente de produção.
Além disso, verifique se o modelo testado corresponde ao modelo disponível para visualização ou para produção, aconselhou Park. É comum que os modelos sejam otimizados para uma referência, sem revelar detalhes profundos sobre o custo ou o tempo necessário para o treinamento, aumento ou ajuste nessa otimização.
Por fim, “as empresas que buscam realizar uma avaliação competitiva dos modelos de IA podem usar os benchmarks como ponto de partida, mas realmente precisam de testes de cenário em seus próprios ambientes corporativos ou de nuvem, se quiserem uma compreensão precisa de como um modelo pode funcionar para eles”, enfatizou Park.
