A Lakeflow Designer faz parte do Lakeflow, que agora estará geralmente disponível. O LakeFlow possui três módulos – Lakeflow Connect, Lakeflow Declarative Pipelines e Lakeflow Jobs. O designer é integrado em oleodutos declarativos.
Unido em propósito, dividido em abordagem
O designer de Lakeflow, apesar de ser muito semelhante ao Openflow do rival Snowflake, difere em sua abordagem, dizem os analistas.
“O Lakeflow e o OpenFlow refletem duas filosofias: o Databricks integra a engenharia de dados em um tecido de orquestração aberto e nativo de faísca, enquanto o Openflowflow do Snowflake oferece controle declarativo do fluxo de trabalho com semânticas nativas do floco de neve profundo. Um favorece a flexibilidade e a abertura; os outros favorecem a consolidação e a simplicidade”, disse Ni.
Ambas as ofertas também diferem na maturidade, disse assett da ISG. Enquanto o Openflow do Snowflake é relativamente novo, o LakeFlow amadureceu em funcionalidade ao longo dos anos, com o designer sendo sua mais recente ferramenta. “Os recursos de conexão foram adquiridos junto com o Arcion em 2023. A funcionalidade de oleodutos declarativos é a evolução do DLT (Tabelas Delta LIVE), e Jobs é a evolução dos fluxos de trabalho dos bancos de dados”, acrescentou Anslett.
Separadamente, os Databricks também lançaram outro ambiente de desenvolvimento integrado pró-código (IDE) para engenheiros de dados, que unifica o ciclo de vida completo do pipeline do engenheiro de dados-código, DAGS, dados de amostra e depuração-tudo em um espaço de trabalho integrado.
Liberar o designer de Lakeflow e o novo IDE juntos é um jogo estratégico, de acordo com a NI, pois o provedor de Lakehouse está visando as duas extremidades da curva de maturidade do pipeline-o código baixo para se mover rapidamente e o IDE completo para escalar e manter os oleodutos.
