A Teradata está adicionando suporte para dois formatos de tabela aberta, Apache Iceberg e Delta Lake da Linux Foundation, à sua plataforma de análise multinuvem VantageCloud Lake e ao seu mecanismo de IA e aprendizado de máquina Unlimited AI.
Normalmente, os formatos de tabelas abertas são arquitetados para gerar desempenho para data lakes usando armazenamento de objetos baseado em nuvem. O desempenho é alcançado através da criação de uma camada de abstração sobre um data lake por meio do uso de armazenamento colunar e gerenciamento de metadados que permite às empresas gerenciar e atualizar dados com mais eficiência.
A vantagem fundamental de usar um formato de tabela aberta é que as empresas podem modificar seu esquema de dados ou estratégia de particionamento sem precisar reprocessar todo o conjunto de dados.
Vários rivais da Teradata, incluindo fornecedores de análises e software baseados em nuvem, como Snowflake, Starburst, Dremio, Cloudera e Clickhouse, já oferecem suporte ao Apache Iceberg.
O formato de tabelas Delta Live da Linux Foundation é suportado por empresas como Google Cloud, AWS e Databricks.
A adição de suporte para formatos de tabela aberta resultará, de acordo com a Teradata, em que seus clientes serão capazes de permitir leitura e gravação cruzada de dados armazenados em vários formatos de tabela aberta.
Essa interoperabilidade se estende aos catálogos AWS Glue, Unity e Apache Hive e funciona em ambientes multinuvem e multi-data lake, disse a empresa, acrescentando que o suporte para formatos de tabela aberta estará disponível para VantageCloud Lake e AI Unlimited na AWS e Azure em junho de 2024.
AI Unlimited estará disponível para compra em visualização pública nos mercados AWS e Azure no segundo trimestre do ano.
A Teradata também integra ferramentas de terceiros, como Airbyte Cloud, Apache Airflow e dbt.
A integração do Airbyte Cloud ajudará a agilizar a ingestão de dados no VantageCloud com um serviço totalmente gerenciado e hospedado que elimina a necessidade de configuração e gerenciamento demorados de infraestrutura, enquanto a integração do Apache Airflow permitirá que as equipes corporativas criem, agendem e monitorem fluxos de trabalho de forma programática.
A integração da ferramenta dbt, por outro lado, ajuda a gerenciar a parte de transformação do processo de extração, carregamento e transformação (ETL). Pode ser usado como ferramenta para transformação de dados em bancos de dados, data lakes e data warehouses, disse a empresa, acrescentando que todas as integrações já estão disponíveis ao público.
