Cleanlab é independente de modelo de dados e estrutura de dados, um aspecto poderoso de seu design. Não importa se você está executando PyTorch, OpenAI, scikit-learn ou Tensorflow; Cleanlab pode funcionar com qualquer classificador. No entanto, ele possui fluxos de trabalho específicos para tarefas comuns, como classificação de tokens, rotulagem múltipla, regressão, segmentação de imagens e detecção de objetos, detecção de valores discrepantes e assim por diante. Vale a pena examinar o exemplo dado para ver por si mesmo como o processo funciona e quais resultados você pode esperar.
Serpente
Os fluxos de trabalho de ciência de dados são difíceis de configurar e ainda mais difíceis de fazer de maneira consistente e previsível. Snakemake foi criado para automatizar o processo, configurando fluxos de trabalho de análise de dados de forma a garantir que todos obtenham os mesmos resultados. Muitos projetos de ciência de dados existentes dependem do Snakemake. Quanto mais partes móveis você tiver em seu fluxo de trabalho de ciência de dados, maior será a probabilidade de você se beneficiar da automatização desse fluxo de trabalho com o Snakemake.
Os fluxos de trabalho do Snakemake se assemelham aos fluxos de trabalho do GNU Make – você define as etapas do fluxo de trabalho com regras, que especificam o que eles recebem, o que lançam e quais comandos executar para conseguir isso. As regras de fluxo de trabalho podem ser multithread (supondo que isso lhes proporcione algum benefício) e os dados de configuração podem ser canalizados a partir de arquivos JSON ou YAML. Você também pode definir funções em seus fluxos de trabalho para transformar dados usados em regras e gravar nos logs as ações executadas em cada etapa.
