execução uma atualização em um DLT pipeline
Este artigo explica as atualizações do site pipeline e fornece detalhes sobre como acionar uma atualização.
O que é uma atualização de pipeline?
Depois de criar um pipeline e estar pronto para executá-lo, o senhor começa uma atualização . Uma atualização do pipeline faz o seguinte:
- Inicia um cluster com a configuração correta.
- Descobre todas as tabelas e visualizações definidas e verifica se há erros de análise, como nomes de colunas não válidos, dependências ausentes e erros de sintaxe.
- Cria ou atualiza tabelas e visualizações com os dados mais recentes disponíveis.
Usando uma atualização de validação, o senhor pode verificar se há problemas no código-fonte de um pipeline sem esperar que as tabelas sejam criadas ou atualizadas. Esse recurso é útil ao desenvolver ou testar o pipeline, pois permite que o senhor encontre e corrija rapidamente os erros no site pipeline, como nomes incorretos de tabelas ou colunas.
Como as atualizações do pipeline são acionadas?
Use uma das opções a seguir para começar pipeline atualizações:
Atualizar gatilho | Detalhes |
|---|---|
Manual | O senhor pode acionar manualmente as atualizações do pipeline na interface do usuário do pipeline, na lista de pipeline ou em um Notebook anexado ao pipeline. Consulte Acionar manualmente uma atualização do site pipeline e Desenvolver e depurar o pipeline DLT no Notebook. |
Agendado | O senhor pode programar atualizações para o pipeline usando o Job. Consulte DLT pipeline tarefa for Job. |
Programático | O senhor pode acionar atualizações de forma programática usando ferramentas de terceiros, APIs e CLIs. Veja execução a DLT pipeline em um fluxo de trabalho e pipeline API. |
Acionar manualmente uma atualização do pipeline
Use uma das seguintes opções para acionar manualmente uma atualização do pipeline:
- Clique no botão
na página de detalhes do pipeline. - Na lista de pipelines, clique em
na coluna Actions (Ações ).
O comportamento default para atualizações pipeline acionadas manualmente é refresh todos os conjuntos de dados definidos no pipeline.
Pipeline refresh semantics
A tabela a seguir descreve os comportamentos da visualização materializada e das tabelas de transmissão para default refresh e refresh completo:
Tipo de atualização | Materializado view semântica | semântica da tabela de transmissão |
|---|---|---|
refresh (default) | Atualiza os resultados para refletir os resultados atuais da consulta definidora. | Processa novos registros por meio da lógica definida em tabelas e fluxos de transmissão. |
refresh completo | Atualiza os resultados para refletir os resultados atuais da consulta definidora. | Limpa os dados das tabelas de transmissão, limpa as informações de estado (pontos de verificação) dos fluxos e reprocessa todos os registros da fonte de dados. |
Por default, todas as tabelas de visualização e transmissão materializadas em um pipeline refresh a cada atualização. Opcionalmente, o senhor pode omitir tabelas das atualizações usando o seguinte recurso:
- Selecionar tabelas para refresh : Use esta interface do usuário para adicionar ou remover a visualização materializada e as tabelas de transmissão antes de executar uma atualização. Consulte começar a pipeline update para tabelas selecionadas.
- Atualizar tabelas com falha : começar uma atualização para a visualização materializada com falha e tabelas de transmissão, incluindo dependências downstream. Consulte pipeline update for failed tables.
Ambos os recursos suportam a semântica default refresh ou a refresh completa. Opcionalmente, o senhor pode usar a caixa de diálogo Select tables for refresh para excluir tabelas adicionais ao executar um refresh para tabelas com falha.
Devo usar um refresh completo?
Databricks recomenda executar a atualização completa somente quando necessário. Um refresh completo sempre reprocessa todos os registros da fonte de dados especificada por meio da lógica que define o dataset. O tempo e o recurso para concluir um refresh completo estão correlacionados ao tamanho dos dados de origem.
A visualização materializada retorna os mesmos resultados, quer seja usada a default ou a refresh completa. Usar um refresh completo com tabelas de transmissão redefine todas as informações de processamento de estado e de ponto de verificação e pode resultar em registros descartados se os dados de entrada não estiverem mais disponíveis.
Databricks recomenda apenas o refresh completo quando a fonte de dados de entrada contém os dados necessários para recriar o estado desejado da tabela ou view. Considere os seguintes cenários em que os dados da fonte de entrada não estão mais disponíveis e o resultado da execução de um refresh completo:
Origem de dados | Motivo pelo qual os dados de entrada estão ausentes | Resultado da refresh |
|---|---|---|
Kafka | Limite de retenção curto | Os registros que não estão mais presentes na fonte do Kafka são descartados da tabela de destino. |
Arquivos no armazenamento de objetos | Política de Ciclo de Vida | Os arquivos de dados que não estão mais presentes no diretório de origem são eliminados da tabela de destino. |
Registros em uma tabela | Eliminado para compliance | Somente os registros presentes na tabela de origem são processados. |
Para evitar que a atualização completa seja executada em uma tabela ou view, defina a propriedade pipelines.reset.allowed da tabela como false. Consulte as propriedades da tabela DLT. O senhor também pode usar um fluxo de acréscimo para acrescentar dados a uma tabela de transmissão existente sem precisar de um refresh completo.
começar a pipeline update for selected tables
Opcionalmente, o senhor pode reprocessar dados apenas para tabelas selecionadas em seu pipeline. Por exemplo, durante o desenvolvimento, o senhor altera apenas uma única tabela e deseja reduzir o tempo de teste, ou uma atualização do pipeline falha e o senhor deseja refresh apenas as tabelas que falharam.
O senhor pode usar o refresh seletivo com apenas um pipeline acionado.
Para iniciar uma atualização que atualize apenas as tabelas selecionadas, na página de detalhes do pipeline :
-
Clique em Select tables for refresh (Selecionar tabelas para atualização ). É exibida a caixa de diálogo Select tables for refresh (Selecionar tabelas para atualização ).
Se o senhor não vir o botão Select tables for refresh (Selecionar tabelas para atualização ), confirme se a página de detalhes do pipeline exibe a atualização mais recente e se a atualização foi concluída. Se um DAG não for mostrado para a última atualização, por exemplo, porque a atualização falhou, o botão Select tables for refresh (Selecionar tabelas para atualização) não será exibido.
-
Para selecionar as tabelas para refresh, clique em cada tabela. As tabelas selecionadas são destacadas e o rótulo é exibido. Para remover uma tabela da atualização, clique na tabela novamente.
-
Clique em atualizar a seleção .
O botão de atualização da seleção exibe o número de tabelas selecionadas entre parênteses.
Para reprocessar os dados já ingeridos para as tabelas selecionadas, clique em 
ao lado do botão de seleção de atualização e clique em Full refresh selection (Seleção de atualização completa) .
começar a pipeline update for failed tables
Se uma atualização do pipeline falhar devido a erros em uma ou mais tabelas no pipeline gráfico, o senhor poderá começar uma atualização apenas das tabelas com falha e de quaisquer dependências downstream.
As tabelas excluídas não são atualizadas, mesmo que dependam de uma tabela com falha.
Para atualizar as tabelas com falha, na página de detalhes do pipeline , clique em refresh failed tables (atualizar tabelas com falha ).
Para atualizar somente as tabelas selecionadas com falha:
-
Clique em
ao lado do botão refresh failed tables (atualizar tabelas com falha ) e clique em Select tables for refresh . É exibida a caixa de diálogo Select tables for refresh (Selecionar tabelas para atualização ). -
Para selecionar as tabelas para refresh, clique em cada tabela. As tabelas selecionadas são destacadas e o rótulo é exibido. Para remover uma tabela da atualização, clique na tabela novamente.
-
Clique em atualizar a seleção .
O botão de atualização da seleção exibe o número de tabelas selecionadas entre parênteses.
Para reprocessar os dados já ingeridos para as tabelas selecionadas, clique em ao lado do botão de seleção de atualização e clique em Full refresh selection (Seleção de atualização completa) .
Verificar se há erros em um pipeline sem esperar a atualização das tabelas
Visualização
O recurso de atualização DLT Validate está em Public Preview.
Para verificar se o código-fonte de um pipeline é válido sem executar uma atualização completa, use Validate . Uma atualização Validate resolve as definições de conjunto de dados e fluxos definidos no site pipeline, mas não materializa nem publica nenhum conjunto de dados. Erros encontrados durante a validação, como nomes incorretos de tabelas ou colunas, são relatados na interface do usuário.
Para executar uma atualização Validate, clique em na página de detalhes pipeline ao lado de começar e clique em Validate (Validar ).
Após a conclusão da atualização Validate, o evento log mostra eventos relacionados apenas à atualização Validate e nenhuma métrica é exibida no DAG. Se forem encontrados erros, os detalhes estarão disponíveis no evento log.
Você pode ver os resultados somente da atualização Validate mais recente. Se a atualização Validate foi a atualização executada mais recentemente, o senhor poderá ver os resultados selecionando-a no histórico de atualizações. Se outra atualização for executada após a atualização Validate, os resultados não estarão mais disponíveis na interface do usuário.
Modos de desenvolvimento e produção
O senhor pode otimizar a execução do pipeline alternando entre os modos de desenvolvimento e produção. Use os botões 
na interface do usuário do pipeline para alternar entre esses dois modos. Em default, a execução do pipeline está em modo de desenvolvimento.
Quando o senhor executa o site pipeline no modo de desenvolvimento, o sistema DLT faz o seguinte:
- Reutiliza um clustering para evitar a sobrecarga de reinicializações. Em default, o clustering é executado por duas horas quando o modo de desenvolvimento está ativado. O senhor pode alterar isso com a configuração
pipelines.clusterShutdown.delayem Configure compute for a DLT pipeline. - Desativa as novas tentativas de pipeline para que o senhor possa detectar e corrigir erros imediatamente.
No modo de produção, o sistema DLT faz o seguinte:
- Reinicia o clustering para erros recuperáveis específicos, incluindo vazamentos de memória e credenciais obsoletas.
- Tenta novamente a execução no caso de erros específicos, como uma falha ao iniciar um clustering.
A alternância entre os modos de desenvolvimento e produção controla apenas o comportamento de execução do clustering e do pipeline. Os locais de armazenamento e os esquemas de destino no catálogo para publicação de tabelas devem ser configurados como parte das definições do pipeline e não são afetados ao alternar entre os modos.