Além disso, a biblioteca vem com métricas de distribuição de tempo de operação de alto nível (HLO), oferecendo quebras detalhadas de tempo de operações compiladas e tamanho da fila HLO, que monitora a congestionamento do pipeline de execução.
No entanto, o Google não é o único provedor de infraestrutura de IA que está lançando ferramentas para otimizar o desempenho e o uso de recursos (Aceleradores de CPU, GPUs).
A AWS rival HyperScaler tem uma série de maneiras de usar quais empresas podem otimizar seu custo de execução de cargas de trabalho de IA, garantindo o máximo de uso de seus recursos.
Para começar, fornece a Amazon CloudWatch-um serviço capaz de fornecer observabilidade de ponta a ponta nas cargas de trabalho de treinamento em execução em trens e inferntia, incluindo métricas como utilização da GPU/acelerador, latência, taxa de transferência e disponibilidade de recursos.
