Reduzindo a IA com modelos Flash
Um dos trabalhos mais interessantes que a MAI tem feito recentemente é começar a lançar novos modelos “Flash”, que funcionam localmente ou na nuvem. Essa abordagem pode levar a economias significativas, ao mesmo tempo que oferece fidelidade semelhante aos modelos somente em nuvem. Ao mesmo tempo, o uso de inferência local em hardware da classe NVIDIA RTX consome significativamente menos energia do que o hardware do data center, reduzindo o impacto ambiental. Embora os modelos Flash sejam menores, eles são descritos como modelos fundamentais.
Modelos Flash como MAI-Code-1.1-Flash ainda não são pequenos o suficiente para o hardware baseado em Arm de custo relativamente baixo que a Microsoft chamou de PCs Copilot +, pois precisam de mais de 120 GB de RAM para funcionar. No entanto, novos hardwares como o Surface Ultra com NVIDIA RTX Spark, quando configurado com pelo menos 128 GB de RAM, devem ser mais do que capazes. Em seguida, você precisará considerar a quantidade de uso do agente para determinar se um dispositivo caro como o Surface Ultra torna a operação local mais econômica do que em servidores em nuvem.
MAI-Cyber-1.1-Flash tem uma função bem diferente, fornecendo recursos de transferência para os agentes que alimentam a plataforma de segurança cibernética MDASH. Aqui o modelo Flash é usado para gerenciar 90% das tarefas que costumavam ser entregues por modelos muito maiores e mais caros. Isso torna a execução do serviço mais econômica, sem afetar o desempenho. Quando um agente baseado no modelo Flash não consegue lidar com uma operação, ele a transfere para outro modelo mais poderoso. A versão MAI-Cyber-1.1-Flash também reduz os custos operacionais em relação à versão 1.0, pois é 18% mais barato de operar.
