Buscando levar cargas de trabalho de IA e aprendizado de máquina para hardware baseado em Arm, a Arm está integrando sua tecnologia de aceleração de IA Arm Kleidi com PyTorch e ExecuTorch, o novo tempo de execução de inferência no dispositivo do PyTorch.
O acordo, anunciado em 16 de setembro, tem como objetivo estender os benefícios de desempenho de IA da borda para a nuvem. Com suporte para PyTorch e ExecuTorch, a próxima geração de aplicativos pode executar modelos de linguagem grandes (LLMs) em CPUs Arm. A Arm fez parceria com PyTorch e TensorFlow para integrar bibliotecas Arm Kleidi diretamente nessas estruturas. KleidiAI, uma biblioteca para desenvolvedores de estruturas de IA/ML, também está programada para ser integrada ao ExecuTorch em outubro de 2024.
Desde seu lançamento há quatro meses, a Kleidi acelerou o desenvolvimento e desbloqueou grandes melhorias de desempenho de IA em CPUs Arm, disse Alex Spinelli, vice-presidente de tecnologia de desenvolvedor na Arm. Na nuvem, a Kleidi se baseia no trabalho existente, aprimorando o PyTorch com as Arm Compute Libraries (ACL) e oferecendo um modelo para otimizar a IA na Arm. Com a Kleidi, os aplicativos podem se beneficiar de melhorias de desempenho quando novas versões de estrutura são lançadas, mas sem tomar medidas extras para construir na Arm hoje.
