O Google Cloud disse na quinta-feira que está adicionando suporte vetorial e integrando LangChain com todas as suas ofertas de banco de dados em um esforço para superar provedores de serviços de nuvem rivais, como Amazon Web Services (AWS), Microsoft e Oracle.
Os provedores de serviços em nuvem estão travados em uma corrida para adicionar IA generativa e recursos relacionados à IA às suas ofertas de banco de dados para ter a vantagem de ser o pioneiro, a fim de angariar um bolo maior do crescente mercado de IA e IA generativa.
As novas atualizações nas ofertas de banco de dados incluem a adição de suporte vetorial para bancos de dados relacionais, de chave-valor, de documentos e na memória, como CloudSQL, Spanner, Firestore, Bigtable e Memorystore para Redis.
A pesquisa do vizinho mais próximo é um diferencial importante
Os recursos vetoriais adicionados aos bancos de dados apresentam recursos de pesquisa, incluindo a pesquisa aproximada do vizinho mais próximo (ANN) e a pesquisa exata do vizinho mais próximo (KNN).
Enquanto a RNA é usada para otimizar a pesquisa, em outras palavras, reduzir a latência, para grandes conjuntos de dados, a KNN é usada para retornar resultados de pesquisa mais específicos ou precisos em conjuntos de dados menores, disse David Menninger, diretor executivo da Ventana Research do ISG.
“O suporte para ANN e KNN reflete que não existe uma abordagem única para a pesquisa vetorial e que diferentes casos de uso exigem diferentes algoritmos de indexação para fornecer o nível necessário de precisão e desempenho”, explicou Menninger, acrescentando que este destaca que cabe aos desenvolvedores compreender a natureza de seus dados e aplicações e experimentar vários bancos de dados para identificar os recursos que melhor atendem aos requisitos de um projeto individual.
A outra vantagem do ponto de vista do Google, segundo o principal analista da Forrester, Noel Yuhanna, é que a maioria dos fornecedores de bancos de dados não oferece ANN e KNN.
“Alguns fornecedores apoiam KNN, enquanto outros apoiam a abordagem ANN. A RNA é mais popular porque é escalonável e tem bom desempenho para grandes conjuntos de dados e vetores de alta dimensão”, disse Yuhanna.
Todos os recursos vetoriais adicionados às ofertas de banco de dados estão atualmente em versão prévia. Em julho do ano passado, o Google lançou suporte para a popular extensão pgvector no AlloyDB e Cloud SQL para apoiar a construção de aplicativos generativos de IA.
A adição de recursos vetoriais em várias ofertas de banco de dados desde julho do ano passado em intervalos regulares, aparentemente, torna o Google Cloud “mais agressivo” do que os hiperescaladores rivais, de acordo com Menninger.
No entanto, ele ressaltou que quase todos os fornecedores de bancos de dados estão adicionando suporte para vetores e recursos de pesquisa vetorial.
Microsoft, AWS e Oracle, de acordo com Yuhanna, têm algum nível de recursos de suporte vetorial em desenvolvimento em suas respectivas ofertas de banco de dados.
Os anúncios do Google Cloud podem apenas dar-lhe uma vantagem sobre os seus rivais, uma vez que parece estar um pouco mais à frente na jornada do que outros em termos de disponibilizar geralmente estas capacidades às empresas, disse Yuhanna.
Ambos os analistas também apontaram que adicionar suporte para capacidades vetoriais em breve se tornará uma aposta para os fornecedores de plataformas de dados apoiarem o desenvolvimento de aplicações generativas de IA, complementando grandes modelos de linguagem (LLMs) com dados empresariais aprovados para melhorar a precisão e a confiança.
O ISG, de acordo com Menninger, acredita que quase todas as empresas que desenvolvem aplicações baseadas em IA generativa explorarão o uso de pesquisa vetorial e geração aumentada de recuperação para complementar modelos básicos com dados e conteúdo proprietários até o final de 2026.
Rivalidade entre bancos de dados vetoriais e bancos de dados tradicionais
A adição de capacidades vetoriais por hiperscaladores e outros fornecedores de bancos de dados às suas ofertas resultou em uma rivalidade crescente entre bancos de dados vetoriais e bancos de dados tradicionais, de acordo com analistas.
Embora os bancos de dados tradicionais tenham adicionado recursos vetoriais para defender as empresas, os bancos de dados vetoriais têm sido capazes de tornar seus produtos mais facilmente consumíveis por não especialistas, acrescentaram.
No entanto, Menninger do ISG acredita que mais de 50% das empresas utilizarão ofertas de bases de dados tradicionais com suporte vetorial até 2026, dada a sua dependência destas bases de dados tradicionais.
Bancos de dados de vetores especializados continuarão a existir, embora apenas para casos de uso mais complexos e sofisticados, disse Menninger. Pinecone, Chroma, Weaviate, Milvus e Qdrant são exemplos de bancos de dados especializados.
Explicando melhor, Menninger disse que a melhor forma de realizar a pesquisa vetorial usando um banco de dados vetorial especializado ou um banco de dados de uso geral dependerá de uma variedade de fatores, incluindo a dependência relativa de uma empresa em um banco de dados existente, as habilidades do desenvolvedor, o tamanho do conjunto de dados e requisitos específicos do aplicativo.
Integração do LangChain com todas as ofertas de banco de dados do Google
O Google Cloud está adicionando integrações LangChain para todos os seus bancos de dados. “Apoiaremos três integrações LangChain que incluem armazenamentos de vetores, carregadores de documentos e memória de mensagens de bate-papo”, disse Andi Gutmans, vice-presidente de engenharia da divisão de bancos de dados do Google Cloud.
LangChain é uma estrutura para o desenvolvimento de aplicativos alimentados por LLMs e a integração em bancos de dados permitirá aos desenvolvedores fluxos de trabalho integrados de geração aumentada de recuperação (RAG) em sua fonte de dados preferida, acrescentou Gutmans.
Embora a integração de armazenamentos vetoriais LangChain esteja disponível para AlloyDB, Cloud SQL para PostgreSQL, Cloud SQL para MySQL, Memorystore para Redis e Spanner, a integração de carregadores de documentos e memória de mensagens de bate-papo está disponível para todos os bancos de dados, incluindo Firestore, Bigtable e SQL Server .
Os analistas veem a adição de integrações LangChain como uma jogada “assertiva” do Google.
“LangChain é atualmente a estrutura mais popular para conectar LLMs a fontes privadas de dados corporativos, fornecendo integração neutra de fornecedor com bancos de dados corporativos, bem como ambientes comerciais de desenvolvimento e implantação de aprendizado de máquina, como SageMaker Studio e Vertex AI Studio”, explicou Menninger. .
AlloyDB AI disponibilizado para o público geral
O Google disponibilizou sua oferta AlloyDB AI para o público geral. Ele pode ser usado via AlloyDB e AlloyDB Omni.
AlloyDB AI, que foi colocado em versão prévia em agosto do ano passado, é um conjunto de recursos integrados que permite aos desenvolvedores construir aplicativos generativos baseados em IA usando dados em tempo real.
Ele se baseia no suporte vetorial básico disponível no PostgreSQL padrão e pode introduzir uma função simples do PostgreSQL para gerar embeddings em dados.
AlloyDB AI é parte integrante do AlloyDB e AlloyDB Omni e está disponível sem custo adicional, disse a empresa.
