Ler e gravar dados em pipelines doDelta Live Tables

Você pode tornar os dados criados em seus pipelines do Delta Live Tables disponíveis para descoberta e consulta fora do Delta Live Tables, publicando os conjuntos de dados em sistemas externos de governança de dados. Você também pode utilizar dados gerenciados por sistemas externos de governança de dados como dados de origem para seus pipelines. Este artigo é uma introdução às soluções de governança de dados compatíveis e contém links de artigos que apresentam mais informações sobre o uso dessas soluções com o Delta Live Tables.

Todas as tabelas e views criadas no Delta Live Tables são locais para o pipeline por default. Para disponibilizar conjuntos de dados de saída fora do pipeline, você deve publicar os conjuntos de dados. Para persistir os dados de saída de um pipeline e torná-los detectáveis e disponíveis para consulta, o Delta Live Tables tem compatibilidade com o Unity Catalog e o Hive metastore. Você também pode utilizar dados armazenados no Unity Catalog ou no Hive metastore como dados de origem para pipeline do Delta Live Tables.

Os artigos desta seção descrevem como utilizar soluções de governança de dados para ler e gravar dados com seus pipelines.

Utilize o Unity Catalog para ler e gravar dados com pipelines Delta Live Tables (visualização pública)

O Unity Catalog é a solução de governança de dados para a plataforma Databricks e é a maneira recomendada de gerenciar os datasets de saída dos pipelines do Delta Live Tables. Você também pode utilizar o Unity Catalog como uma fonte de dados para pipelines. Para saber como utilizar o Unity Catalog com seus pipelines, consulte Usar o Unity Catalog com seus pipelines do Delta Live Tables.

Publicar dados no Hive metastore a partir de pipelinesdo Delta Live Tables

Você também pode usar o Hive metastore para ler dados de origem em um pipeline do Delta Live Tables e publicar dados de saída de um pipeline para disponibilizá-los para sistemas externos. Consulte Publicar dados do Delta Live Tables no Hive metastore.