A Fundação PyTorch, criadora da estrutura de aprendizado de máquina PyTorch, lançou torchao, uma biblioteca nativa PyTorch que torna os modelos mais rápidos e menores, aproveitando dtypes de baixo bit, esparsidade e quantização. É um kit de ferramentas de técnicas que abrange treinamento e inferência, disse a equipe PyTorch.
Inaugurado em 26 de setembro, torchao trabalha com torch.compile() e FSDP2 sobre a maioria dos modelos PyTorch no Hugging Face. Uma biblioteca para tipos de dados personalizados e otimizações, o torchao está posicionado para tornar modelos menores e mais rápidos para treinamento ou inferência prontos para uso. Os usuários podem quantizar e dispersar pesos, gradientes, otimizadores e ativações para inferência e treinamento. A biblioteca torchao serve como um kit de ferramentas acessível de técnicas escritas principalmente em código PyTorch fácil de ler, abrangendo inferência e treinamento, de acordo com a Equipe Pytorch. Em destaque é torchao.float8 para acelerar o treinamento com float8 no PyTorch nativo.
Lançado sob uma licença BSD 3, torchao faz uso liberal de novos recursos do PyTorch e é recomendado para uso com a versão noturna atual ou a versão estável mais recente do PyTorch, aconselha a equipe PyTorch.
