Tarefa de pipeline para jobs

Lakeflow Jobs oferece uma abordagem processual para definir relações entre *tarefas*. LakeFlow Pipelines oferecem uma abordagem declarativa para definir relações entre *datasets* e *transformações*. Programe um pipeline Trigger para ser executado como uma tarefa em um Job, usando a UI de Jobs, a UI de LakeFlow Pipelines ou SQL.

nota

Um pipeline acionado é um pipeline que não é executado continuamente, mas que precisa ser começar para iniciar. Uma tarefa de pipeline pode ser o mecanismo de acionamento para um pipeline acionado. Os pipelines contínuos não precisam ser acionados, portanto, acioná-los por meio de uma tarefa seria redundante. Para saber mais sobre pipelines acionados e contínuos, consulte Modo de pipeline acionado vs. contínuo.

Configurar uma tarefa de pipeline com a interface de usuário de Jobs

Lakeflow pipelines gerenciam todas as configurações para código-fonte e compute na definição do pipeline.

Para adicionar um pipeline a um job, complete os seguintes passos:

1. Crie e nomeie uma nova tarefa e selecione **pipeline** para o **Tipo**.
2. No menu suspenso Pipeline , selecione um pipeline existente. O pipeline deve ser um pipeline acionado. Pipelines contínuos não são suportados como uma tarefa de Job.
3. Opcionalmente, você pode acionar um refresh completo no pipeline.
4. Opcionalmente, é possível definir substituições de parâmetros no campo Parâmetros . Consulte Parâmetros.
5. (Opcional) Para configurar novas tentativas, duração da execução ou limites de backlog de transmissão, ou notificações, consulte Configurações avançadas de tarefa.

nota

Você também pode criar um novo pipeline de ingestão ao criar uma tarefa, escolhendo Novo pipeline de ingestão no painel Adicionar tarefa ou na lista suspensa Tipo das tarefas.

Para editar, clonar, desativar ou excluir esta tarefa, consulte Configurar e editar tarefas no Lakeflow Jobs.

Pipeline de sincronização de tabelas de banco de dados

A tarefa **pipeline de sincronização de tabela de banco de dados** é uma tarefa de pipeline que executa o pipeline mantendo uma tabela sincronizada do Lakebase. Use-o para refresh uma tabela sincronizada em uma programar, ou quando a tabela de origem do Unity Catalog mudar, para que os aplicativos operacionais leiam os dados atuais do Lakebase Postgres.

No menu suspenso **Tipo** da tarefa, **Pipeline de Sincronização de Tabelas de Banco de Dados** aparece em **Ingestão e Transformação**. Selecioná-lo configura uma tarefa de pipeline. No campo **Pipeline**, escolha o pipeline associado à tabela sincronizada que você deseja refresh.

Para configurar a tarefa para sua tabela sincronizada, consulte tarefa de pipeline de sincronização de tabelas de banco de dados.

Pipeline de ingestão

A tarefa **Pipeline de ingestão** é uma tarefa de pipeline que executa um pipeline de ingestão. No menu suspenso **Tipo** da tarefa, escolher **Pipeline de ingestão** inicia o assistente **Adicionar dados**, que cria uma tarefa de pipeline para um pipeline de ingestão.

A primeira página do assistente solicita a fonte de dados. As páginas seguintes dependem da fonte que você selecionar. Por exemplo, se você selecionar MySQL, consulte Opção 1: IU do Databricks para os passos. Para as fontes disponíveis, consulte Conectores gerenciados no Lakeflow Connect.

Parâmetros

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Você pode acessar parâmetros de job ou tarefa em sua tarefa de pipeline usando referências de valores dinâmicos. É possível substituir parâmetros adicionando pares **key-value** nos **Parâmetros** da sua configuração de tarefa.

Para obter detalhes sobre como acessar os valores dos parâmetros de seu pipeline, consulte Acessar valores de parâmetro de uma tarefa.

Limites de simultaneidade com tarefas de pipeline

Um pipeline pode executar apenas uma atualização por vez. Jobs que contêm uma tarefa de pipeline estão sujeitos aos seguintes limites de simultaneidade:

• Um Job com max_concurrent_runs > 1 que contém uma tarefa de pipeline é limitado a uma única execução concorrente. A interface do usuário do Job mostra um aviso quando esse limite é aplicado.
• Uma tarefa de pipeline envolvida em uma tarefa for-each é limitada a uma iteração concorrente, independentemente da simultaneidade configurada do loop.

Planeje em torno desses limites ao projetar pipelines parametrizados que você pretende executar com muitas combinações de parâmetros ou em cronogramas apertados.

Programar um pipeline com a IU do pipeline

Adicionar um agendamento a um pipeline cria um Job com uma única tarefa de pipeline. É possível configurar apenas gatilhos de agendamento baseados em tempo usando esta UI. Para opções de gatilho mais avançadas, veja Configurar uma tarefa de pipeline com a UI de Jobs.

Configure uma tarefa de pipeline em um Job agendado usando a UI do pipeline, seguindo os passos a seguir:

1. No seu workspace, clique em **Jobs & Pipelines** na barra lateral.

2. Clique em **Nome** do pipeline. A interface do usuário do pipeline aparece.

3. Click programar .

   • Se nenhum agendamento existir para o pipeline, a caixa de diálogo **Novo agendamento** é exibida.
   • Se um ou mais agendamentos já existirem, clique em Adicionar agendamento .

4. Insira um nome exclusivo para o Job no campo **Nome do Job**.

5. (Opcional) Atualize a frequência do agendamento.

   • Selecione Avançado para opções mais detalhadas incluindo a sintaxe cron.

6. (Opcional) Em Mais opções , configure um ou mais endereços de email para receber alertas sobre o início, sucesso ou falha do pipeline.

7. Clique em Criar .

nota

Se o pipeline estiver incluído em um ou mais Jobs programados, o botão **Programar** mostra o número de agendamentos existentes, por exemplo, **Programar (5)**.