Poucos dias depois de o fornecedor rival de data lakehouse, Snowflake, ter dito que abriria o código-fonte de seu Catálogo Polaris, a Databricks está abrindo o código-fonte de sua oferta de Catálogo Unity.
O Catálogo Unity do Databricks, que foi disponibilizado ao público em junho de 2022 e posteriormente atualizado com os recursos do Okera, costumava ser uma oferta de governança unificada de código fechado que fornecia controle de acesso centralizado, auditoria, linhagem e recursos de descoberta de dados em todos os espaços de trabalho do Databricks.
Quando a Snowflake lançou o Catálogo Polaris em sua conferência anual no início deste mês, ela disse que abriria o código dentro de três meses. Ele oferece recursos semelhantes ao Unity Catalog, mas é construído sobre o popular formato de tabela de dados de código aberto Apache Iceberg.
“É difícil olhar para o anúncio do Catálogo Unity sem pensar na disputa consistente que existe entre Databricks e Snowflake pela atenção empresarial”, disse Hyoun Park, analista-chefe da Amalgam Insights.
“Ao abrir o código do Unity antes do Polaris, a Databricks quer se posicionar como a primeira a abrir o código do seu catálogo de dados”, acrescentou Park.
Agora, a Databricks diz que abriu o Unity Catalog sob a licença Apache 2.0 e também abriu todas as suas APIs.
A licença Apache 2.0, introduzida pela Apache Software Foundation em 2004, é uma licença de software que permite aos usuários modificar e distribuir código sem qualquer custo.
Depois de ser de código aberto, o catálogo fornecerá aos usuários uma interface universal que suporta dados em qualquer formato e ambiente de computação, como a capacidade de ler tabelas com clientes Delta Lake, Apache Iceberg e Apache Hudi por meio do Delta Lake UniForm, disse a empresa. .
A versão agora de código aberto também suporta os padrões de interface Iceberg REST Catalog e Hive Metastore (HMS), acrescentou.
Além disso, o Unity Catalog continuará a fornecer governança unificada entre ativos de IA, como modelos de aprendizado de máquina (ML) e ferramentas generativas de IA.
A mudança para abrir as APIs do Unity Catalog, de acordo com o vice-presidente de pesquisa da IDC, Stewart Bond, fornece acesso aberto à inteligência sobre os dados mantidos no ambiente Databricks.
“Isso é significativo, pois oferece oportunidades para uma empresa incluir inteligência sobre dados em Databricks para serem integrados e compartilhados com catálogos que mantêm inteligência sobre dados armazenados em outros lugares”, disse Bond, acrescentando que é uma forma de apoiar a unificação da inteligência de dados. para que consumidores, engenheiros e executivos de dados não precisem usar diversas ferramentas para descobrir, gerenciar e controlar todos os dados em uma determinada empresa.
Esta abordagem de apoio à unificação de dados, de acordo com Steven Dickens, líder de prática do Grupo Futurum para nuvem híbrida, elimina a dependência do fornecedor, permitindo que as empresas escolham as melhores ferramentas e plataformas para as suas necessidades, garantindo ao mesmo tempo uma governação e segurança consistentes em todo o seu património de dados.
Uma corrida para ser visto como mais open source
O código aberto do Catálogo Unity, que também acompanha a decisão da Snowflake de abrir o Catálogo Polaris em três meses, está sendo visto pelos analistas como uma corrida para ser visto como mais código aberto e atrair usuários do catálogo de dados.
Dickens, da Futurum, disse que a mudança do Databricks para o Unity Catalog de código aberto representa um desafio significativo para rivais como Snowflake, Teradata e Dremio.
“A ênfase na interoperabilidade e no compromisso com o código aberto garante que o Databricks possa atender a uma gama mais ampla de necessidades dos clientes, reduzindo o atrito associado à compatibilidade do formato de dados”, disse ele.
“Teradata e Dremio, embora fortes em seus respectivos nichos, não demonstraram o mesmo nível de integração e ferramentas abrangentes para governança de dados e IA”, acrescentou Dickens.
No entanto, Bond, da IDC, destacou que o sucesso do Catálogo Unity, agora de código aberto, dependerá da quantidade de metadados sobre dados armazenados em plataformas concorrentes que estão sendo disponibilizados para processos externos.
“O Unity ainda é um catálogo muito técnico. Torná-lo de código aberto pode acelerar inovações nas experiências do usuário em nível empresarial e tornar o Unity mais competitivo”, disse Bond.
