Monitorar o pipeline declarativo do LakeFlow na interface do usuário

Esta seção descreve como utilizar o recurso integrado de monitoramento e observabilidade para o pipeline declarativo do LakeFlow na interface do usuário do Databricks. Esses recursos oferecem suporte a tarefas como:

• Observando o progresso e o status das atualizações do pipeline. Consulte Quais detalhes do pipeline estão disponíveis na interface do usuário?
• Alerta sobre eventos do pipeline, como sucesso ou falha nas atualizações do pipeline. Consulte Adicionar notificações " email " para eventos " pipeline".
• Visualização de métricas para fontes de transmissão como Apache, Kafka e Auto Loader (Pré-visualização pública). Consulte as métricas de transmissão.

Adicionar notificações " email " para eventos " pipeline "

É possível configurar um ou mais endereços email para receber notificações quando ocorrerem as seguintes situações:

• A atualização do pipeline foi concluída com sucesso.
• Uma atualização do pipeline falhou, com um erro que pode ou não ser repetido. Selecione esta opção para receber uma notificação sobre todas as falhas no pipeline.
• Uma atualização do pipeline falhou com um erro irrecuperável (fatal). Selecione essa opção para receber uma notificação somente quando ocorrer um erro que não pode ser repetido.
• Um único fluxo de dados falha.

Para configurar notificações d email ao criar ou editar um pipeline:

1. Clique em Adicionar notificação .
2. Insira um ou mais endereços email para receber notificações.
3. Selecione a caixa de seleção para cada tipo de notificação a ser enviada para os endereços email configurados.
4. Clique em Adicionar notificação .

nota

Crie respostas personalizadas para eventos, incluindo notificações ou tratamento personalizado, utilizando ganchos de eventos Python.

Visualizando o pipeline na interface do usuário

Localize o pipeline declarativo " LakeFlow " na opção " & " da barra lateral " workspace ". view Isso abre a página de pipeline de tarefas & , onde é possível acessar informações sobre cada tarefa e pipeline que você tem acesso. Clique no nome de um pipeline para abrir a página de detalhes do pipeline.

nota

Para acessar o evento log in no novo Editor LakeFlow Pipelines (Beta), navegue até o painel Problemas e percepções na parte inferior do editor, clique em visualizar logs ou no botão Abrir em logs ao lado de qualquer erro. Para obter mais detalhes, consulte Editor doLakeFlow Pipelines e configuração do pipeline para o evento log.

Utilizando a lista de pipelines do Jobs &

view Para acessar a lista de pipelines aos quais você tem acesso, clique em “ ” (Pipelines) e selecione o pipeline “ & ” na barra lateral. O pipeline de tarefas & tab lista informações sobre todas as tarefas e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Para alterar as colunas exibidas na lista, clique e selecione ou desmarque as colunas.

info

Prévia

A lista unificada de pipelines do Jobs & está em pré-visualização pública. É possível desativar o recurso e retornar à experiência default desativando a opção “Jobs e pipeline: gerenciamento unificado, pesquisa e filtragem de & ”. Consulte gerenciar Databricks Previews para obter mais informações.

É possível filtrar o trabalho na lista de pipelines de trabalho “ & ” , conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto : a pesquisa por palavra-chave é suportada nos campos Nome e ID . Para procurar uma tag criada com um nome de tag ( key ) e um valor, é possível pesquisar pelo nome da tag ( key), pelo valor ou por ambos ( key e valor). Por exemplo, para uma tag com o key department e o valor finance, é possível pesquisar department ou finance para encontrar o trabalho correspondente. Para pesquisar pelo nome da variável ( key ) e valor, insira o nome da variável ( key ) e o valor separados por dois pontos (por exemplo, department:finance).
2. Tipo : filtre por Trabalhos , pipeline ou Todos . Se você selecionar pipeline , também poderá filtrar por tipo de pipeline , que inclui pipeline de integração ( ETL ) e pipeline de ingestão (Ingestion pipeline).
3. Proprietário : exibe apenas o trabalho que você possui.
4. Favoritos : exibe os trabalhos que você marcou como favoritos.
5. Etiquetas : Use etiquetas. Para pesquisar por tag, você pode usar o menu suspenso de tags para filtrar até cinco tags ao mesmo tempo ou usar diretamente a pesquisa por palavra-chave.
6. execução como : Filtre por até dois valores de “ run as ”.

Para iniciar uma tarefa ou um " pipeline", clique no botão " " (Iniciar tarefa). Para interromper um trabalho ou uma tarefa ( pipeline), clique no botão “ ” (Interromper). Para acessar outras ações, clique no menu kebab. Por exemplo, é possível excluir a tarefa ou o " pipeline" (Tarefa em execução), ou acessar as configurações de um " pipeline " (Tarefa em execução) a partir desse menu.

Quais detalhes do pipeline estão disponíveis na interface do usuário?

A janela “ pipeline ” é exibida assim que uma atualização de um “ pipeline ” é iniciada com sucesso. As setas representam dependências entre conjuntos de dados em seu pipeline. Por default, a página de detalhes pipeline exibe a atualização mais recente da tabela, mas é possível selecionar atualizações mais antigas em um menu suspenso.

Os detalhes incluem o ID do pipeline, o código-fonte, o custo do compute, a edição do produto e o canal configurado para o pipeline.

Para visualizar uma tabela de dados ( view ), clique em Lista ( tab). A Lista view permite visualizar todos os conjuntos de dados em seu pipeline representados como uma linha em uma tabela e é útil quando seu pipeline DAG é muito grande para ser visualizado no gráfico view. Você pode controlar os conjuntos de dados exibidos na tabela usando vários filtros, como nome, tipo e status do conjunto de dados. Para retornar à visualização DAG, clique em gráfico .

A execução como usuário é o proprietário pipeline, e pipeline atualiza a execução com as permissões deste usuário. run as Para alterar o usuário do pipeline, clique em Permissões e altere o proprietário do pipeline.

Como é possível obter detalhes sobre um conjunto de dados d view?

Clicar em um conjunto de dados no gráfico do pipeline ou na lista de conjuntos de dados exibe detalhes sobre o conjunto de dados. Os detalhes incluem o esquema do conjunto de dados, métricas de qualidade dos dados e um link para o código-fonte que define o conjunto de dados.

visualizar atualização histórico

view Para acessar o histórico e o status das atualizações de pipeline, clique no menu suspenso “histórico de atualizações” na barra superior.

Selecione a atualização no menu suspenso para view r o gráfico, os detalhes e os eventos de uma atualização. Para retornar à atualização mais recente, clique em Mostrar a atualização mais recente .

visualizar métricas de transmissão

info

Visualização

Observabilidade da transmissão para o pipeline declarativo do LakeFlow está em pré-visualização pública.

view Spark É possível obter métricas de transmissão a partir da fonte de dados compatível com uma transmissão estruturada, como Apache Kafka, Amazon Kinesis, Auto Loader e Delta, para cada fluxo de transmissão no pipeline declarativo LakeFlow. As métricas são exibidas como gráficos no painel direito da interface do usuário do pipeline declarativo do LakeFlow e incluem segundos de backlog, bytes de backlog, registros de backlog e arquivos de backlog. Os gráficos exibem o valor máximo agregado por minuto e uma dica de ferramenta mostra os valores máximos quando você passa o mouse sobre o gráfico. Os dados são limitados às últimas 48 horas a partir da hora atual.

As tabelas no seu pipeline com métricas de transmissão disponíveis exibem o ícone ao visualizar o pipeline DAG na interface gráfica view. view Para acessar as métricas de transmissão, clique em “ ” para exibir o gráfico de métricas de transmissão no painel “ tab ” do Flows , no painel direito. view Você também pode aplicar um filtro para listar apenas tabelas com métricas de transmissão clicando em Listar e, em seguida, clicando em Possui métricas de transmissão.

Cada fonte de transmissão suporta apenas métricas específicas. As métricas não suportadas por uma fonte de transmissão não estão disponíveis para view na interface do usuário. A tabela a seguir apresenta as métricas disponíveis para as fontes de transmissão suportadas:

Origem	bytes da lista de pendências	registros de pendências	segundos de atraso	arquivos de lista de pendências
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Carregador automático	✓			✓
Google Pub/Sub	✓	✓