No local também oferece controle sobre aquilo que os agentes mais tocam: seus dados. Os agentes que trabalham com registros de pacientes, transações financeiras ou materiais confidenciais podem manter tudo dentro dos seus limites de segurança, o que torna as auditorias, as obrigações contratuais e os requisitos de soberania dramaticamente mais simples. Você controla as versões do modelo, o tempo de atualização e toda a superfície operacional, para que não haja uma depreciação silenciosa do modelo que interrompa um agente de produção da noite para o dia, o que acontece com mais frequência do que qualquer um admite.
Os contras são igualmente claros. Os custos de capital são altos, com GPUs de inferência modernas custando dezenas de milhares de dólares cada, e você dimensiona o pico, independentemente de atingi-lo ou não. Você possui toda a pilha: energia, resfriamento, ciclos de atualização de hardware, atualizações de kernel e driver e as escassas habilidades para executar frotas de GPU de maneira confiável. A utilização é o assassino. Uma GPU local rodando a 20% é uma máquina que paga aluguel, funcionando ou não. E a velocidade de desenvolvimento é prejudicada porque suas equipes gastam ciclos em infraestrutura em vez de no comportamento dos agentes.
Esses três não são a mesma coisa e combiná-los causa decisões erradas. Plataformas públicas, ou seja, serviços de modelo de hiperescala e tempos de execução de agentes, trocam controle por velocidade e escala. Eles são adequados para experimentação, agentes de atendimento ao cliente e qualquer coisa que precise da qualidade de um modelo de fronteira desde o primeiro dia. Plataformas de nuvem privada, seus próprios ambientes baseados em VMware, OpenStack ou OpenShift são cada vez mais oferecidos como implantações bare-metal dentro de uma instalação de colocation e oferecem automação semelhante à nuvem e autoatendimento através do hardware que você controla. Para muitas empresas, este é o meio-termo pragmático: clusters de inferência dedicados em uma nuvem privada, liderados por orquestração nativa da nuvem, com dados e modelos permanecendo no lugar.
