Depois que os modelos são baixados, não há interface programática para saber como eles são gerenciados – pelo menos ainda não. No Google Chrome há um URL local, chrome://on-device-internals/que mostra quais modelos foram carregados e fornece estatísticas sobre eles. Você pode usar esta página para remover modelos manualmente ou inspecionar suas estatísticas para fins de depuração, mas as APIs JavaScript não expõem tal funcionalidade.
Ao iniciar o processo de inferência, pode haver um atraso perceptível entre o início da sumarização e o aparecimento do primeiro token. No momento, não há como a API nos fornecer feedback sobre o que está acontecendo durante esse período, então você deve pelo menos informar ao usuário que o processo foi iniciado.
Por fim, embora o Chrome e o Edge ofereçam suporte a um pequeno número de APIs de IA locais agora, o futuro da IA local baseada em navegador ainda está em aberto. Por exemplo, podemos ver surgir um padrão mais genérico sobre como os modelos locais funcionam, em vez das versões específicas de tarefas mostradas aqui. Mas você ainda pode ir agora.
