O Apache Iceberg é um formato de mesa aberta madura que foi testada no mundo mais amplo da análise por anos. Agora é hora de aplicar os benefícios de um padrão aberto e escalável a um campo de observabilidade que precisa se sair de sua herança em silêncio.
Não é que a observabilidade tenha resistido inteiramente aos padrões. Opentelemetria é um modelo bem adaptado para coletar métricas, toras e traços. Mas uma vez que esses dados atingem, a maioria das pilhas ainda os fragmenta em silos. A união de observabilidade com dados de negócios normalmente significa exportação, duplicação ou redução de amostragem. É um processo caro e propenso a erros que faz perguntas simples, como “quais clientes foram afetados por uma interrupção?” ou “Qual foi o impacto da receita?” em um projeto de dados sob medida.
O Iceberg padroniza como os grandes conjuntos de dados analíticos são armazenados e evoluídos no armazenamento de objetos, com transações ácidas, isolamento de instantâneos, viagem no tempo e evolução do esquema. É uma camada de tabela neutra que qualquer mecanismo de computação compatível pode usar, incluindo Spark, Flink, Trino/Presto, Dremio e as principais plataformas de dados em nuvem. Isso transforma a telemetria em dados de primeira classe que vive ao lado do cliente, finanças e tabelas de produtos sem pipelines de cópia sem fim.
