A Microsoft atualizou seu serviço Azure AI Search para aumentar a capacidade de armazenamento e o tamanho do índice vetorial sem custo adicional, uma medida que, segundo ela, tornará mais econômico para as empresas executarem aplicativos generativos baseados em IA.
Anteriormente conhecido como Azure Cognitive Search, o serviço Azure AI Search liga lojas de dados externas que contêm dados não indexados a uma aplicação que envia consultas ou pedidos para um índice de pesquisa. Ele consiste em três componentes – um mecanismo de consulta, índices e o mecanismo de indexação – e é usado principalmente na recuperação de informações para melhorar o desempenho da IA generativa, um processo conhecido como geração aumentada de recuperação (RAG).
Os limites alargados gratuitos só se aplicarão a novos serviços desenvolvidos após 3 de abril de 2024, disse a empresa, acrescentando que não há forma de atualizar os serviços existentes, pelo que as empresas terão de criar novos para beneficiarem do aumento das capacidades.
Em contraste com os serviços desenvolvidos antes dessa data, os novos serviços terão um aumento de 3x a 6x no armazenamento total por partição, um aumento de 5x a 11x no tamanho do índice vetorial por partição, e a computação adicional que apoia o serviço suporta mais vetores com alto desempenho e melhoria de até 2x na indexação e na taxa de transferência de consultas.
A atualização, em média, reduz o custo por vetor em 85% e economiza até 75% nos custos totais de armazenamento, escreveu Pablo Castro, engenheiro da Azure AI, em uma postagem no blog.
O nível básico do serviço, de acordo com Castro, receberá 13 GB de armazenamento adicional por partição após a atualização, em oposição aos apenas 2 GB por partição anteriores.
Os níveis S1, S2 e S3 do serviço receberão 135 GB, 250 GB e 500 GB de armazenamento adicional por partição, respectivamente.
Os níveis L1 e L2 não sofrerão alterações, disse a empresa.
No tamanho do índice vetorial, as camadas básica, S1, S2 e S3 terão capacidade de dimensionamento adicional de 4 GB, 32 GB, 88 GB e 164 GB por partição, respectivamente. Novamente, os níveis L1 e L2 não sofrerão alterações.
A oferta atualizada estará disponível na maioria das regiões dos EUA e do Reino Unido, juntamente com outras regiões, como Suíça Oeste, Suécia Central, Polônia Central, Noruega Leste, Coreia do Sul, Coreia Central, Japão Leste, Japão Oeste, Itália Norte, Índia Central, Jio Índia Oeste, França Central, Norte da Europa, Canadá Central, Canadá Leste, Brasil Sul, Leste Asiático e Sudeste Asiático.
Mais recursos para otimizar o armazenamento de vetores
Além de atualizar os tamanhos de armazenamento e índice vetorial, a empresa está trabalhando para trazer mais recursos para otimizar o armazenamento vetorial.
Esses recursos, que estão atualmente em versão prévia, incluem quantização e tipos numéricos restritos para vetores, entre outros ajustes.
A Microsoft está usando quantização e sobreamostragem para compactar e otimizar o armazenamento de dados vetoriais, disse Castro, acrescentando que isso reduz o tamanho do índice vetorial em 75% e o armazenamento vetorial em disco em até 25%.
Além disso, o engenheiro disse que as empresas poderiam usar tipos primitivos de campo vetorial estreito, como int8, int16 ou float16, para reduzir o tamanho do índice vetorial e o armazenamento vetorial em disco em até 75%.
Outras técnicas para otimização adicional incluem a configuração da propriedade armazenada em campos vetoriais para reduzir a sobrecarga de armazenamento.
