Desenvolver e depurar o pipeline Delta Live Tables no Notebook
Visualização
A experiência do Notebook para o desenvolvimento do Delta Live Tables está em Public Preview.
Este artigo descreve os recursos do Databricks Notebook que auxiliam no desenvolvimento e na depuração do código Delta Live Tables.
Visão geral do recurso
Quando o senhor trabalha em um Notebook Python ou SQL que está configurado como código-fonte para um Delta Live Tables pipeline existente, é possível conectar o Notebook diretamente ao pipeline. Quando o Notebook estiver conectado ao site pipeline, os seguintes recursos estarão disponíveis:
- Começar e validar o pipeline do Notebook.
- Veja o gráfico de fluxo de dados do pipelinee o evento log para a última atualização no Notebook.
- visualizar os diagnósticos do site pipeline no editor do Notebook.
- visualizar o status do clustering do pipelineno Notebook.
- Acesse a interface do usuário Delta Live Tables no Notebook.
Pré-requisitos
- O senhor deve ter um Delta Live Tables pipeline existente com um Notebook Python ou SQL configurado como código-fonte.
- O senhor deve ser o proprietário do pipeline ou ter o privilégio
CAN_MANAGE.
Limitações
- Os recursos abordados neste artigo estão disponíveis somente no site Databricks Notebook. não são compatíveis com arquivos de espaço de trabalho.
- O terminal da Web não está disponível quando conectado a um pipeline. Como resultado, ele não é visível como tab no painel inferior.
Conecte um notebook a um site Delta Live Tables pipeline
No Notebook, clique no menu suspenso usado para selecionar compute. O menu suspenso mostra todo o seu pipeline Delta Live Tables com esse Notebook como código-fonte. Para conectar o Notebook a um pipeline, selecione-o na lista.
visualizar o status de clustering do site pipeline
Para entender facilmente o estado do clustering do seu pipeline, seu status é mostrado no menu suspenso compute com uma cor verde para indicar que o clustering está em execução.
Validar o código do pipeline
O senhor pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar nenhum dado.
Para validar um pipeline, siga um destes procedimentos:
- No canto superior direito do Notebook, clique em Validate (Validar ).
- Pressione
Shift+Enterem qualquer célula do Notebook. - No menu dropdown de uma célula, clique em Validate pipeline (Validar pipeline ).
Se o senhor tentar validar o pipeline enquanto uma atualização existente já estiver em execução, será exibida uma caixa de diálogo perguntando se deseja encerrar a atualização existente. Se o senhor clicar em Yes , a atualização existente será interrompida e uma atualização válida começará automaticamente.
O senhor pode começar a pipeline update
Para começar uma atualização de seu pipeline, clique no botão começar no canto superior direito do Notebook. Veja a execução de uma atualização em Delta Live Tables pipeline .
visualizar o status de uma atualização
O painel superior do Notebook mostra se há uma atualização do pipeline:
- Iniciando
- Validando
- Parando
visualizar erros e diagnósticos
Depois que o senhor começar uma atualização ou validação do pipeline, todos os erros serão exibidos em linha com um sublinhado vermelho. Passe o mouse sobre um erro para ver mais informações.
Veja os eventos em pipeline
Quando anexado a um pipeline, há um evento Delta Live Tables log tab na parte inferior do Notebook.
Veja o gráfico pipeline Dataflow
Para view um gráfico de fluxo de dados pipeline, use o gráfico Delta Live Tables tab na parte inferior do Notebook. A seleção de um nó no gráfico exibe seu esquema no painel direito.
Como acessar a interface do usuário Delta Live Tables a partir do Notebook
Para acessar facilmente a interface do usuário Delta Live Tables, use o menu no canto superior direito do Notebook.
Acesse o driver logs e o Spark UI a partir do Notebook
Os drivers logs e Spark UI associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu de visualização do Notebook.
