Por que isso é importante para a infraestrutura de IA
Os servidores de inferência vulneráveis formam a espinha dorsal de muitas pilhas de IA de nível empresarial, processando prompts confidenciais, pesos de modelo e dados de clientes. Oligo relatou a identificação de milhares de soquetes ZeroMQ expostos na Internet pública, alguns vinculados a esses clusters de inferência.
Se explorado, um invasor pode executar código arbitrário em clusters de GPU, aumentar privilégios, exfiltrar modelos ou dados de clientes ou instalar mineradores de GPU, transformando um ativo de infraestrutura de IA em um passivo.
O SGLang foi adotado por várias grandes empresas, incluindo xAI, AMD, Nvidia, Intel, LinkedIn, Cursor, Oracle Cloud e Google Cloud, observou Lumelsky.
