Impulsionada pela demanda dos clientes, a SingleStore, empresa por trás do banco de dados relacional SingleStoreDB, decidiu integrar nativamente o Apache Iceberg em sua oferta para ajudar seus clientes corporativos a usar os dados armazenados em data lakehouses.
“Com esta nova integração, o SingleStore pretende transformar os dados inativos dentro dos lakehouses em um ativo valioso em tempo real para aplicações empresariais. Apache Iceberg, um padrão aberto popular para data lakehouses, fornece aos CIOs armazenamento econômico e consulta de grandes conjuntos de dados”, disse Dion Hinchcliffe, analista sênior do The Futurum Group.
Hinchcliffe destacou que a integração do SingleStore inclui atualizações que ajudam seus clientes a contornar os desafios que normalmente enfrentam ao adotar métodos tradicionais para tornar os dados nas tabelas Iceberg mais imediatos.
Esses desafios incluem fluxos de trabalho ETL (extrair, transformar, carregar) complexos e extensos e trabalhos Spark com uso intensivo de computação.
Alguns dos principais recursos da integração são ingestão de baixa latência, fluxo de dados bidirecional e desempenho em tempo real a custos mais baixos, disse a empresa.
Explicando como o SingleStore atinge baixa latência em consultas e atualizações, o vice-presidente de pesquisa da IDC, Carl Olofson, disse que a empresa – anteriormente conhecida como MemSQL – uma versão otimizada para memória e de alto desempenho do sistema de gerenciamento de banco de dados relacional – usa recursos de memória como uma espécie de cache.
“Ao fazer isso, a empresa pode melhorar drasticamente a velocidade com que as tabelas Iceberg podem ser consultadas e atualizadas”, explicou Olofson, acrescentando que a empresa pode estar carregando proativamente dados do Iceberg em seu formato otimizado para memória interna.
Antes da integração do Iceberg, o SingleStore mantinha os dados em um formato otimizado para troca rápida na memória, onde todo o processamento de dados ocorria, disse o analista.
Vários outros fornecedores de banco de dados, principalmente a Databricks, tentaram adotar o formato de tabela Apache Iceberg devido à sua crescente popularidade entre as empresas.
No início deste mês, a Databricks concordou em adquirir a Tabular, fornecedora de plataforma de armazenamento liderada pelos criadores do Apache Iceberg, a fim de promover a interoperabilidade de dados em lakehouses.
Outro formato de data lakehouse — Delta Live Tables — desenvolvido pela Databricks e posteriormente disponibilizado como código aberto pela The Linux Foundation, compete com as tabelas Iceberg.
Atualmente, a empresa está trabalhando em outro formato que permite às empresas usar tabelas Iceberg e Delta Live.
Tanto Olofson quanto Hinchcliffe apontaram que vários fornecedores e ofertas — como BigQuery do Google, Starburst, Watsonx.data da IBM, DataSphere da SAP, Teradata, Cloudera, Dremio, Presto, Hive, Impala, StarRocks e Doris — integraram o Iceberg como um formato de tabela analítica de código aberto para conjuntos de dados muito grandes.
A integração nativa do Iceberg no SingleStoreDB está atualmente em versão prévia pública.
Atualizações nas opções de pesquisa e implantação
Como parte das atualizações do SingleStoreDB, a empresa está adicionando novos recursos ao seu recurso de pesquisa de texto completo que melhoram a pontuação de relevância, similaridade fonética, correspondência difusa e classificação baseada em proximidade de palavras-chave.
A combinação dessas capacidades permite que as empresas eliminem a necessidade de bancos de dados especializados adicionais para construir aplicações generativas baseadas em IA, explicou a empresa.
Além disso, a empresa introduziu um recurso de escalonamento automático na visualização pública que permite às empresas gerenciar cargas de trabalho ou aplicativos aumentando ou diminuindo os recursos de computação.
Também permite que os usuários definam limites de uso de CPU e memória para escalonamento automático, para evitar consumo desnecessário.
Além disso, a empresa disse que está introduzindo uma nova opção de implantação do banco de dados via Helios -BYOC, que é uma versão gerenciada do banco de dados por meio de uma nuvem privada virtual.
Esta oferta agora está disponível em versão prévia privada na AWS e os clientes corporativos podem executar o SingleStore em seus próprios locatários, ao mesmo tempo em que cumprem as políticas de residência e governança de dados, disse a empresa.
