Desenvolva e depure o pipeline com um Notebook (legado)
Visualização
Este recurso está em Visualização Pública.
Você pode desenvolver e depurar pipelines ETL a partir de um Notebook Databricks conectado a um pipeline usando a experiência de edição de Notebook legada em Lakeflow Pipelines.
Esta página descreve a experiência de edição do Notebook legado. Este recurso não pode mais ser ativado e só está acessível em espaços de trabalho que anteriormente optaram por não usar o Editor LakeFlow Pipelines . A experiência de edição do Notebook está obsoleta e será removida.
A experiência default é o Editor LakeFlow Pipelines . Use o Editor LakeFlow Pipelines para editar arquivos de código Notebook, Python ou SQL para um pipeline. Para obter mais informações, consulte Desenvolver e depurar pipelines ETL com o Editor LakeFlow Pipelines.
Visão geral de notebooks em pipelines
Ao trabalhar em um Python ou SQL Notebook configurado como código-fonte para um pipeline existente, você pode conectar o Notebook diretamente ao pipeline. Quando o Notebook está conectado ao pipeline, os seguintes recursos estão disponíveis:
- iniciar e validar o pipeline do Notebook.
- visualize o gráfico de fluxo de dados e log eventos do pipeline para obter a atualização mais recente no Notebook.
- visualizar diagnósticos pipeline no editor do Notebook.
- visualizar o status do cluster do pipeline no Notebook.
- Acesse a IU do pipeline do Notebook.
Pré-requisitos
- Você deve ter um pipeline existente com um Python ou SQL Notebook configurado como código-fonte.
- Você deve ser o proprietário do pipeline ou ter o privilégio
CAN_MANAGE.
Limitações
- Os recursos abordados neste artigo estão disponíveis apenas no Databricks Notebook. arquivos de espaço de trabalho não são suportados.
- O terminal web não está disponível quando conectado a um pipeline. Como resultado, ele não fica visível como uma tab no painel inferior.
Conectar um notebook a um pipeline
Dentro do notebook, clique no menu suspenso usado para selecionar o compute. O menu suspenso mostra todos os seus pipelines com este notebook como código-fonte. Para conectar o notebook a um pipeline, selecione-o na lista.
visualizar o status do cluster do pipeline
Para entender facilmente o estado do cluster do seu pipeline, seu status é mostrado no menu suspenso de compute com uma cor verde para indicar que o cluster está em execução.
Validar código do pipeline
Você pode validar o pipeline para verificar erros de sintaxe no seu código-fonte sem processar nenhum dado.
Para validar um pipeline, faça um dos seguintes:
- No canto superior direito do Notebook, clique em Validar .
- Pressione
Shift+Enterem qualquer célula do Notebook. - No menu dropdown de uma célula, clique em Validar pipeline .
Se você tentar validar seu pipeline enquanto uma atualização existente já estiver em execução, uma caixa de diálogo será exibida perguntando se você deseja encerrar a atualização existente. Se você clicar em Sim , a atualização existente será interrompida e uma atualização de validação será iniciada automaticamente.
iniciar uma atualização pipeline
Para iniciar uma atualização do seu pipeline, clique no botão "Iniciar" no canto superior direito do Notebook. Consulte execução de uma atualização pipeline.
ver o status de uma atualização
O painel superior no Notebook exibe se uma atualização pipeline é:
- Iniciando
- Validando
- Parando
ver erros e diagnósticos
Após iniciar uma atualização ou validação pipeline , quaisquer erros serão mostrados em linha com um sublinhado vermelho. Passe o mouse sobre um erro para ver mais informações.
visualizar eventos pipeline
Quando anexado a um pipeline, há uma tab de log de eventos do pipeline na parte inferior do Notebook.
visualizar o gráfico pipeline Dataflow
Para visualizar o gráfico de fluxo de dados de um pipeline, use a tab gráfico do pipeline na parte inferior do notebook. A seleção de um nó no gráfico exibe seu esquema no painel direito.
Como acessar a UI do pipeline do notebook
Para acessar facilmente a IU do pipeline, use o menu no canto superior direito do notebook.
Acesse logs do driver e a Spark UI no Notebook
Os logs do driver e Spark UI associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu de exibição do Notebook.
