DLT pipeline tarefa for Job
Os trabalhos fornecem uma abordagem processual para definir relacionamentos entre tarefas . O pipeline DLT oferece uma abordagem declarativa para definir relacionamentos entre conjuntos de dados e transformações . Esta página descreve como o senhor pode programar o pipeline DLT acionado para ser executado como uma tarefa em um trabalho Databricks, usando a UI de trabalhos, a UI DLT pipeline ou SQL.
Um DLT acionado pipeline é um pipeline que não é executado continuamente, mas deve ser acionado para começar. Uma tarefa de pipeline pode ser o mecanismo de acionamento de um pipeline de DLT acionado. Os pipelines contínuos não precisam ser acionados, portanto, acioná-los por meio de uma tarefa seria redundante. Para saber mais sobre pipeline acionado e contínuo, consulte Modo acionado vs. contínuo pipeline.
Configurar uma tarefa de pipeline DLT com a UI de Jobs
O pipeline DLT gerencia todas as configurações do código-fonte e compute na definição pipeline.
Para adicionar um pipeline a um trabalho, conclua as etapas a seguir:
- Crie e nomeie uma nova tarefa e selecione o pipeline DLT para o Tipo .
- No menu suspenso do pipeline , selecione um DLT existente pipeline.
- Opcionalmente, o senhor pode acionar um refresh completo no DLT pipeline.
Você só pode usar pipelines acionados com a tarefa Pipeline . Os pipelines contínuos não são suportados como tarefa de job.
Programar um DLT pipeline com a UI pipeline
Adicionar um programar a um pipeline cria um trabalho com uma única tarefa pipeline. O senhor só pode configurar acionadores de programação baseados em tempo usando essa UI. Para obter opções de acionamento mais avançadas, consulte Configurar uma tarefa de pipeline DLT com a interface do usuário do Jobs.
Configure uma tarefa do pipeline em um trabalho agendado usando a interface do usuário do pipeline, concluindo as etapas a seguir:
-
Clique em DLT na barra lateral.
-
Clique no nome do pipeline. A interface do usuário do pipeline é exibida.
-
Clique em programar .
- Se não houver nenhum programa para o endereço pipeline, será exibida a caixa de diálogo New programar .
- Se um ou mais programas já existirem, clique em Add programar .
-
Digite um nome exclusivo para o trabalho no campo Job name .
-
(Opcional) Atualize a frequência do programa.
- Selecione Avançado para obter opções mais detalhadas, incluindo a sintaxe cron.
-
(Opcional) Em More options (Mais opções ), configure um ou mais endereços email para receber alertas sobre pipeline começar, sucesso ou falha.
-
Clique em Criar .
Se o pipeline estiver incluído em um ou mais trabalhos programados, o botão programar mostrará o número do programar existente, por exemplo, programar (5) .
Adicione um programar a uma tabela materializada view ou de transmissão no Databricks SQL
A visualização materializada e as tabelas de transmissão definidas em Databricks SQL suportam programar com base no tempo especificado em CREATE ou ALTER comando.
Para obter detalhes, consulte os artigos a seguir: