CPU, GPU ou NPU?
Testar o Playground API Prompt de amostra em um copiloto+ PC mostra que, por enquanto, pelo menos, o Edge não está usando o suporte da NPU da Window. Em vez disso, os indicadores de desempenho do Windows Task Manager mostram que o modelo PHI do Edge é executado na GPU do dispositivo. Nesse estágio inicial do desenvolvimento, faz sentido adotar uma abordagem somente para GPUs, à medida que mais PCs o apoiarão-especialmente os PCs usados pelo público-alvo do desenvolvedor.
É provável que a Microsoft se mova para suportar a inferência de GPU e NPU, à medida que mais PCs adicionam aceleradores de infecção e, uma vez que as APIs do Windows ML sejam concluídas. As APIs ONNX comuns do Windows ML para CPU, GPU e NPU são um alvo lógico para as APIs do Edge, especialmente se a Microsoft preparar seus modelos para todos os ambientes de destino, incluindo ARM, Intel e AMD NPUs.
O Windows ML fornece ferramentas para os desenvolvedores da Edge testarem primeiro o hardware de inferência apropriado e depois baixe modelos otimizados. Como esse processo pode ser automatizado, parece ideal para aplicativos de AI baseados na Web, onde seus desenvolvedores não têm visibilidade no hardware subjacente.
