Material protegido
A Microsoft deu ao SDK de avaliação de IA do Azure outra função: testar com que frequência os LLMs que sustentam os aplicativos geram respostas contendo o que chama de “material protegido” – talvez melhor considerado como material proibido, já que a categoria inclui textos de direitos autorais aos quais é improvável que a empresa o faça. detém os direitos, incluindo letras de músicas, receitas e artigos. Para verificar isso, os resultados do LLM são comparados com um índice de conteúdo de texto de terceiros mantido no GitHub, escreveu Thigpen.
“Os usuários podem detalhar os detalhes da avaliação para entender melhor como seu aplicativo normalmente responde a essas solicitações do usuário e aos riscos associados”, explicou Thingpen.
Duas APIs são fornecidas: uma para sinalizar a saída de texto protegido por direitos autorais e outra para sinalizar a saída de código protegido, incluindo bibliotecas de software, código-fonte, algoritmos e outros materiais relacionados à programação.