Use o pipeline Delta Live Tables com o legado Hive metastore

Este artigo detalha as configurações e advertências específicas do pipeline Delta Live Tables configurado para publicar dados no legado Hive metastore. Databricks recomenda o uso do site Unity Catalog para todos os novos pipelines. Consulte Usar Unity Catalog com seu pipeline Delta Live Tables .

Observação

Este artigo discute a funcionalidade do modo de publicação atual do default para pipeline. O pipeline criado antes de 5 de fevereiro de 2025 pode usar o modo de publicação herdado e o esquema virtual LIVE. Consulte esquema LIVE (legado).

Como consultar tabelas de transmissão e visualizações materializadas no legado Hive metastore

Após a conclusão da atualização, o senhor pode acessar view o esquema e as tabelas, consultar os dados ou usar os dados em aplicativos downstream.

Depois de publicadas, as tabelas do Delta Live Tables podem ser consultadas em qualquer ambiente com acesso ao esquema de destino. Isso inclui o Databricks SQL, o Notebook e outros pipelines do Delta Live Tables.

Importante

Quando você cria uma configuração target, somente tabelas e metadados associados são publicados. não são publicadas no metastore.

Configurar um pipeline para publicar no Hive metastore

Ao criar um novo pipeline, o senhor pode especificar Hive metastore nas opções de armazenamento para publicar no site legado Hive metastore. O senhor deve especificar um esquema de destino default ao publicar em Hive metastore. Consulte Configurar um pipeline do Delta Live Tables.

Especifique um local de armazenamento

O senhor pode especificar um local de armazenamento para um pipeline que é publicado no site Hive metastore. A principal motivação para especificar um local é controlar o local de armazenamento de objetos para os dados gravados pelo pipeline. Databricks Recomenda-se sempre especificar um local de armazenamento para evitar gravar no site DBFS root.

Como todas as tabelas, dados, pontos de verificação e metadados do pipeline Delta Live Tables são totalmente gerenciados por Delta Live Tables, a maior parte da interação com o conjunto de dados Delta Live Tables ocorre por meio de tabelas registradas em Hive metastore ou Unity Catalog.

Configuração do armazenamento em nuvem

O senhor usa o perfil da instância AWS para configurar o acesso ao armazenamentoS3 em AWS. Para adicionar um instance profile na interface do usuário Delta Live Tables quando o senhor criar ou editar um pipeline:

  1. Na página de detalhes do pipeline do seu pipeline, clique no botão Settings (Configurações ).

  2. No menu suspenso do perfil da instância Na seção de computação das configurações do pipeline, selecione um instance profile.

Para configurar um AWS instance profile editando as configurações do JSON para o seu pipeline clusters, clique no botão JSON e insira a configuração instance profile no campo aws_attributes.instance_profile_arn da configuração cluster:

{
  "clusters": [
    {
      "aws_attributes": {
        "instance_profile_arn": "arn:aws:..."
      }
    }
  ]
}

O senhor também pode configurar o perfil da instância ao criar a política de cluster para o pipeline Delta Live Tables. Para ver um exemplo, consulte a base de conhecimento.

Exemplo pipeline código-fonte Notebook para o espaço de trabalho sem Unity Catalog

O senhor pode importar o seguinte Notebook para um Databricks workspace sem o Unity Catalog habilitado e usá-lo para implantar um Delta Live Tables pipeline. Importe o Notebook do idioma escolhido e especifique o caminho no campo Código-fonte ao configurar um pipeline com a opção de armazenamento Hive metastore opção de armazenamento. Consulte Configurar um pipeline do Delta Live Tables.

Comece a usar o notebook Python Delta Live Tables

Abra o bloco de anotações em outra guia

Comece a usar o notebook SQL Delta Live Tables

Abra o bloco de anotações em outra guia