Pular para o conteúdo principal

Desenvolver e depurar o pipeline Delta Live Tables no Notebook

info

Visualização

A experiência do Notebook para o desenvolvimento do Delta Live Tables está em Public Preview.

Este artigo descreve os recursos do Databricks Notebook que auxiliam no desenvolvimento e na depuração do código Delta Live Tables.

Visão geral do recurso

Quando o senhor trabalha em um Notebook Python ou SQL que está configurado como código-fonte para um Delta Live Tables pipeline existente, é possível conectar o Notebook diretamente ao pipeline. Quando o Notebook estiver conectado ao site pipeline, os seguintes recursos estarão disponíveis:

  • Começar e validar o pipeline do Notebook.
  • Veja o gráfico de fluxo de dados do pipelinee o evento log para a última atualização no Notebook.
  • visualizar os diagnósticos do site pipeline no editor do Notebook.
  • visualizar o status do clustering do pipelineno Notebook.
  • Acesse a interface do usuário Delta Live Tables no Notebook.

Pré-requisitos

  • O senhor deve ter um Delta Live Tables pipeline existente com um Notebook Python ou SQL configurado como código-fonte.
  • O senhor deve ser o proprietário do pipeline ou ter o privilégio CAN_MANAGE.

Limitações

  • Os recursos abordados neste artigo estão disponíveis somente no site Databricks Notebook. não são compatíveis com arquivos de espaço de trabalho.
  • O terminal da Web não está disponível quando conectado a um pipeline. Como resultado, ele não é visível como tab no painel inferior.

Conecte um notebook a um site Delta Live Tables pipeline

No Notebook, clique no menu suspenso usado para selecionar compute. O menu suspenso mostra todo o seu pipeline Delta Live Tables com esse Notebook como código-fonte. Para conectar o Notebook a um pipeline, selecione-o na lista.

visualizar o status de clustering do site pipeline

Para entender facilmente o estado do clustering do seu pipeline, seu status é mostrado no menu suspenso compute com uma cor verde para indicar que o clustering está em execução.

Validar o código do pipeline

O senhor pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar nenhum dado.

Para validar um pipeline, siga um destes procedimentos:

  • No canto superior direito do Notebook, clique em Validate (Validar ).
  • Pressione Shift+Enter em qualquer célula do Notebook.
  • No menu dropdown de uma célula, clique em Validate pipeline (Validar pipeline ).
nota

Se o senhor tentar validar o pipeline enquanto uma atualização existente já estiver em execução, será exibida uma caixa de diálogo perguntando se deseja encerrar a atualização existente. Se o senhor clicar em Yes , a atualização existente será interrompida e uma atualização válida começará automaticamente.

O senhor pode começar a pipeline update

Para começar uma atualização de seu pipeline, clique no botão começar no canto superior direito do Notebook. Veja a execução de uma atualização em Delta Live Tables pipeline .

visualizar o status de uma atualização

O painel superior do Notebook mostra se há uma atualização do pipeline:

  • Iniciando
  • Validando
  • Parando

visualizar erros e diagnósticos

Depois que o senhor começar uma atualização ou validação do pipeline, todos os erros serão exibidos em linha com um sublinhado vermelho. Passe o mouse sobre um erro para ver mais informações.

Veja os eventos em pipeline

Quando anexado a um pipeline, há um evento Delta Live Tables log tab na parte inferior do Notebook.

Registro de eventos

Veja o gráfico pipeline Dataflow

Para view um gráfico de fluxo de dados pipeline, use o gráfico Delta Live Tables tab na parte inferior do Notebook. A seleção de um nó no gráfico exibe seu esquema no painel direito.

Fluxo de dados gráfico

Como acessar a interface do usuário Delta Live Tables a partir do Notebook

Para acessar facilmente a interface do usuário Delta Live Tables, use o menu no canto superior direito do Notebook.

Abrir na DLT UI a partir do Notebook

Acesse o driver logs e o Spark UI a partir do Notebook

Os drivers logs e Spark UI associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu de visualização do Notebook.

Acesse o driver logs e Spark UI