Monitorar o pipeline declarativo do LakeFlow na interface do usuário

Esta seção descreve como utilizar o recurso integrado de monitoramento e observabilidade para o pipeline declarativo do LakeFlow na interface do usuário do Databricks. Esses recursos oferecem suporte a tarefas como:

• Observando o progresso e o status das atualizações do pipeline. Consulte Quais detalhes do pipeline estão disponíveis na interface do usuário?
• Alerta sobre eventos do pipeline, como sucesso ou falha nas atualizações do pipeline. Consulte Adicionar notificações " email " para eventos " pipeline".
• Visualização de métricas para fontes de transmissão como Apache, Kafka e Auto Loader (Pré-visualização pública). Consulte as métricas de transmissão.

Adicionar notificações " email " para eventos " pipeline "

É possível configurar um ou mais endereços email para receber notificações quando ocorrerem as seguintes situações:

• A atualização do pipeline foi concluída com sucesso.
• Uma atualização do pipeline falhou, com um erro que pode ou não ser repetido. Selecione esta opção para receber uma notificação sobre todas as falhas no pipeline.
• Uma atualização do pipeline falhou com um erro irrecuperável (fatal). Selecione essa opção para receber uma notificação somente quando ocorrer um erro que não pode ser repetido.
• Um único fluxo de dados falha.

Para configurar notificações d email ao criar ou editar um pipeline:

1. Clique em Adicionar notificação .
2. Insira um ou mais endereços email para receber notificações.
3. Selecione a caixa de seleção para cada tipo de notificação a ser enviada para os endereços email configurados.
4. Clique em Adicionar notificação .

nota

Crie respostas personalizadas para eventos, incluindo notificações ou tratamento personalizado, utilizando ganchos de eventos Python.

Visualizando o pipeline na interface do usuário

Localize o pipeline declarativo " LakeFlow " na opção " & " da barra lateral " workspace ". view Isso abre a página de pipeline de tarefas & , onde é possível acessar informações sobre cada tarefa e pipeline que você tem acesso. Clique no nome de um pipeline para abrir a página de detalhes do pipeline.

nota

Para acessar o evento log in no novo Editor LakeFlow Pipelines (Beta), navegue até o painel Problemas e percepções na parte inferior do editor, clique em visualizar logs ou no botão Abrir em logs ao lado de qualquer erro. Para obter mais detalhes, consulte Editor doLakeFlow Pipelines e configuração do pipeline para o evento log.

Utilizando a lista de pipelines do Jobs &

view Para acessar a lista de pipelines aos quais você tem acesso, clique em “ ” (Pipelines) e selecione o pipeline “ & ” na barra lateral. O pipeline de tarefas & tab lista informações sobre todas as tarefas e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Para alterar as colunas exibidas na lista, clique e selecione ou desmarque as colunas.

É possível filtrar o trabalho na lista de pipelines de trabalho “ & ” , conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto : a pesquisa por palavra-chave é suportada nos campos Nome e ID . Para procurar uma tag criada com um nome de tag ( key ) e um valor, é possível pesquisar pelo nome da tag ( key), pelo valor ou por ambos ( key e valor). Por exemplo, para uma tag com o key department e o valor finance, é possível pesquisar department ou finance para encontrar o trabalho correspondente. Para pesquisar pelo nome da variável ( key ) e valor, insira o nome da variável ( key ) e o valor separados por dois pontos (por exemplo, department:finance).
2. Tipo : filtre por Trabalhos , pipeline ou Todos . Se você selecionar pipeline , também poderá filtrar por tipo de pipeline , que inclui pipeline de integração ( ETL ) e pipeline de ingestão (Ingestion pipeline).
3. Proprietário : exibe apenas o trabalho que você possui.
4. Favoritos : exibe os trabalhos que você marcou como favoritos.
5. Etiquetas : Use etiquetas. Para pesquisar por tag, você pode usar o menu suspenso de tags para filtrar até cinco tags ao mesmo tempo ou usar diretamente a pesquisa por palavra-chave.
6. execução como : Filtre por até dois valores de “ run as ”.

Para iniciar uma tarefa ou um " pipeline", clique no botão " " (Iniciar tarefa). Para interromper um trabalho ou uma tarefa ( pipeline), clique no botão “ ” (Interromper). Para acessar outras ações, clique no menu kebab. Por exemplo, é possível excluir a tarefa ou o " pipeline" (Tarefa em execução), ou acessar as configurações de um " pipeline " (Tarefa em execução) a partir desse menu.

Quais detalhes do pipeline estão disponíveis na interface do usuário?

nota

A versão beta do LakeFlow Pipelines Editor muda a experiência dos detalhes do pipeline. Se o senhor optar por participar da versão beta, as informações serão exibidas em uma interface de usuário diferente da descrita aqui. Para obter detalhes sobre essa interface de usuário, consulte a próxima seção.

A janela “ pipeline ” é exibida assim que uma atualização de um “ pipeline ” é iniciada com sucesso. As setas representam dependências entre conjuntos de dados em seu pipeline. Por default, a página de detalhes pipeline exibe a atualização mais recente da tabela, mas é possível selecionar atualizações mais antigas em um menu suspenso.

Os detalhes incluem o ID do pipeline, o código-fonte, o custo do compute, a edição do produto e o canal configurado para o pipeline.

Para visualizar uma tabela de dados ( view ), clique em Lista ( tab). A Lista view permite visualizar todos os conjuntos de dados em seu pipeline representados como uma linha em uma tabela e é útil quando seu pipeline DAG é muito grande para ser visualizado no gráfico view. Você pode controlar os conjuntos de dados exibidos na tabela usando vários filtros, como nome, tipo e status do conjunto de dados. Para retornar à visualização DAG, clique em gráfico .

A execução como usuário é o proprietário pipeline, e pipeline atualiza a execução com as permissões deste usuário. run as Para alterar o usuário do pipeline, clique em Permissões e altere o proprietário do pipeline.

Quais são as mudanças no LakeFlow Pipelines Editor?

Se o senhor estiver inscrito na versão beta do LakeFlow Pipelines Editor e na nova IU de monitoramento pipeline, algumas informações estarão em locais diferentes na IU. Para obter informações sobre o LakeFlow Pipelines Editor e sobre como participar de ambas as versões beta, consulte Ativar o LakeFlow Pipelines Editor

info

Beta

Esse recurso está na versão beta.

As seguintes alterações no monitoramento com a página de detalhes do pipeline aparecem quando o usuário opta por ambas as versões beta:

• As guias Detalhes do pipeline e Detalhes da atualização no painel direito foram mescladas com os detalhes do pipeline na parte superior, seguidos pelos detalhes da atualização.

• Clicar em uma tabela no DAG não mostra os detalhes da tabela no painel direito. O painel direito continua a mostrar o pipeline e os detalhes da atualização. Em vez disso, o painel inferior mostra as informações da tabela.

• As regras para a execução de um pipeline no modo de desenvolvimento foram ligeiramente atualizadas. Para obter informações sobre o modo de desenvolvimento, consulte Modos de desenvolvimento e produção.

  • A execução do site pipeline por meio de um programador ou acionador segue a configuração do site pipeline para usar ou não o modo de desenvolvimento. O senhor pode alterar o default para um pipeline nas configurações do pipeline .
  • A execução de um pipeline por meio da UI de monitoramento usará o modo definido nas configurações do pipeline. O senhor pode escolher se deseja usar o modo de desenvolvimento usando a opção executar com configurações diferentes no menu suspenso.
  • A execução de um pipeline no editor pipeline levará o default para o modo de desenvolvimento. O senhor pode optar por não usar o modo de desenvolvimento usando a opção executar com configurações diferentes no menu suspenso.

• Não há mais um link para o código-fonte nos detalhes do pipeline. Em vez disso, selecione Edit pipeline na parte superior. Para acessar o código de uma tabela específica, passe o mouse sobre a tabela no DAG e clique no botão Navegar até o código .

• O evento log não é mais exibido por default em todas as atualizações. Quando há um erro durante o processamento, os erros são mostrados no painel inferior e um botão view logs é exibido para view o evento log para essa execução. O evento log também está disponível selecionando view event log nos detalhes da execução no painel direito.

• As informações do esquema da tabela estão disponíveis ao selecionar a tabela no painel inferior e, em seguida, selecionar Columns (Colunas ).

• Os comentários da tabela não estão disponíveis na página de detalhes do pipeline. Para ver os comentários da tabela, view a tabela no Catalog Explorer. Para acessar diretamente a tabela no Catalog Explorer, passe o mouse sobre a tabela no DAG, clique em e, em seguida, em view in catalog . O senhor também pode acessar as informações no Catalog explorer a partir da lista de tabelas no painel inferior, clicando no ícone .

Como é possível obter detalhes sobre um conjunto de dados d view?

Clicar em um conjunto de dados no gráfico do pipeline ou na lista de conjuntos de dados exibe detalhes sobre o conjunto de dados. Os detalhes incluem o esquema do conjunto de dados, métricas de qualidade dos dados e um link para o código-fonte que define o conjunto de dados.

visualizar atualização histórico

view Para acessar o histórico e o status das atualizações de pipeline, clique no menu suspenso “histórico de atualizações” na barra superior.

Selecione a atualização no menu suspenso para view r o gráfico, os detalhes e os eventos de uma atualização. Para retornar à atualização mais recente, clique em Mostrar a atualização mais recente .

visualizar métricas de transmissão

info

Visualização

Observabilidade da transmissão para o pipeline declarativo do LakeFlow está em pré-visualização pública.

view Spark É possível obter métricas de transmissão a partir da fonte de dados compatível com uma transmissão estruturada, como Apache Kafka, Amazon Kinesis, Auto Loader e Delta, para cada fluxo de transmissão no pipeline declarativo LakeFlow. As métricas são exibidas como gráficos no painel direito da interface do usuário do pipeline declarativo do LakeFlow e incluem segundos de backlog, bytes de backlog, registros de backlog e arquivos de backlog. Os gráficos exibem o valor máximo agregado por minuto e uma dica de ferramenta mostra os valores máximos quando você passa o mouse sobre o gráfico. Os dados são limitados às últimas 48 horas a partir da hora atual.

As tabelas no seu pipeline com métricas de transmissão disponíveis exibem o ícone ao visualizar o pipeline DAG na interface gráfica view. view Para acessar as métricas de transmissão, clique em “ ” para exibir o gráfico de métricas de transmissão no painel “ tab ” do Flows , no painel direito. view Você também pode aplicar um filtro para listar apenas tabelas com métricas de transmissão clicando em Listar e, em seguida, clicando em Possui métricas de transmissão.

Cada fonte de transmissão suporta apenas métricas específicas. As métricas não suportadas por uma fonte de transmissão não estão disponíveis para view na interface do usuário. A tabela a seguir apresenta as métricas disponíveis para as fontes de transmissão suportadas:

Origem	bytes da lista de pendências	registros de pendências	segundos de atraso	arquivos de lista de pendências
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Carregador automático	✓			✓
Google Pub/Sub	✓	✓