A estrutura permite que os desenvolvedores peguem qualquer modelo baseado em PyTorch de qualquer domínio – modelos de linguagem grande (LLM), modelos de linguagem de visão (VLM), segmentação de imagem, detecção de imagem, áudio e muito mais – e implantem-no diretamente em dispositivos de borda sem a necessidade de converter para outros formatos ou reescrever o modelo. A equipe disse que o ExecuTorch já está potencializando aplicativos do mundo real, incluindo Instagram, WhatsApp, Messenger e Facebook, acelerando a inovação e a adoção de IA no dispositivo para bilhões de usuários.
Os exemplos tradicionais de IA no dispositivo incluem a execução de algoritmos de visão computacional em dispositivos móveis para edição e processamento de fotos. Mas recentemente tem havido um rápido crescimento em novos casos de uso impulsionados por avanços em hardware e modelos de IA, como agentes locais alimentados por LLMs e aplicações de IA ambiental em óculos inteligentes e wearables, disse a equipe PyTorch. No entanto, ao implantar esses novos modelos em ambientes de produção no dispositivo, como aplicativos móveis, de desktop e incorporados, os modelos muitas vezes precisavam ser convertidos para outros tempos de execução e formatos. Essas conversões são demoradas para engenheiros de aprendizado de máquina e muitas vezes se tornam gargalos no processo de implantação de produção devido a problemas como incompatibilidades numéricas e perda de informações de depuração durante a conversão.
O ExecuTorch permite que os desenvolvedores criem esses novos aplicativos de IA usando ferramentas PyTorch familiares, otimizadas para dispositivos de ponta, sem a necessidade de conversões. Uma versão beta do ExecuTorch foi anunciada há um ano.
