“Sem linhagem, as equipes operam às cegas e a governança se torna uma limpeza reativa”, diz Carter Page, vice-presidente executivo de pesquisa e desenvolvimento da Astronomer. “Quando as equipes conseguem ver onde os dados foram originados, como foram transformados e todos os sistemas que dependem deles, as atualizações se tornam previsíveis, os pipelines certos são testados, as partes interessadas alvo são notificadas e as alterações mais recentes são documentadas antes que causem incidentes.”
Qual é o ciclo de vida de um produto de dados?
O gerenciamento do ciclo de vida de uma API, aplicativo ou modelo de IA requer a definição de um cronograma de lançamento para entrega de melhorias, correções e outras atualizações necessárias. O gerenciamento do ciclo de vida do produto de dados envolve diversas disciplinas semelhantes. Ulf Viney, vice-presidente executivo de engenharia, suporte e operações da Precisely, afirma: “O gerenciamento do ciclo de vida deve incluir controle de versão, testes, implantação estruturada e comunicação com as partes interessadas”.
Uma diferença fundamental com os produtos de dados é que a gestão do seu ciclo de vida está intimamente ligada à forma como os seus conjuntos de dados subjacentes crescem ou sofrem alterações estruturais. Ter um produto de dados que funciona hoje, mas não é resiliente a mudanças ou não gera alertas quando correções são necessárias pode quebrar os casos de uso downstream e minar a confiança das partes interessadas e dos usuários nos dados.
