Como parte do Clarify, a AWS oferece às empresas um recurso, chamado FMEval, que é uma biblioteca de avaliação de LLM de código aberto para ajudar cientistas de dados e engenheiros de ML a avaliar LLMs antes de decidir usá-los para um caso de uso específico.
“O FMEval fornece a capacidade de executar avaliações para ambos os endpoints do modelo LLM ou o endpoint para um serviço de IA generativo como um todo. O FMEval ajuda a medir dimensões de avaliação como precisão, robustez, viés, toxicidade e conhecimento factual para qualquer LLM”, escreveu o provedor de serviços de nuvem em uma postagem de blog.
As empresas podem usar o EMEval para avaliar LLMs hospedados na AWS ou em plataformas de terceiros, como ChatGPT, HuggingFace e LangChain, acrescentou.
