tarefa da plataforma dbt para Jobs

info

Visualização

Este recurso está em Pré-lançamento público.

Use a tarefa da plataforma dbt para orquestrar e monitorar jobs existentes da plataforma dbt diretamente do Databricks. Selecionar e acionar jobs dbt, definir opções de nova tentativa automática para falhas e monitorar execuções.

Diferenças entre a plataforma dbt e as tarefas dbt

Jobs oferece dois tipos de tarefa para projetos dbt. Escolha o mais adequado com base no local onde seu projeto dbt é gerenciado:

Tarefa da plataforma dbt : Utilize isto para orquestrar jobs pré-existentes da plataforma dbt. Conecta-se à API da plataforma dbt e aciona uma execução lá. Escolha esta opção se quiser centralizar a orquestração no Databricks enquanto retém todos os benefícios da plataforma dbt, como monitoramento e agendamento.

**tarefa dbt**: Use-o para executar projetos dbt core em um cluster Databricks com código do Git. Escolha esta opção se precisar de controle total sobre o ambiente de execução e preferir gerenciar dependências inteiramente no Databricks. Consulte tarefa dbt para Jobs.

Requisitos

Para usar a tarefa da plataforma dbt, você deve atender aos seguintes pré-requisitos:

• Um administrador de workspace deve habilitar a visualização. Consulte Gerenciar prévias do Databricks.
• Você deve ter privilégios CREATE CONNECTION no metastore do Unity Catalog em seu workspace.
• Acesso a um projeto dbt existente com um job definido na plataforma dbt. Para saber mais, consulte Jobs na plataforma dbt na documentação do dbt.
• Permissões para gerar um token de serviço na plataforma dbt. Para saber mais, consulte Tokens de account de serviço.

nota

Para segurança e estabilidade operacional, o Databricks recomenda gerar um token de account de serviço, e não um access token pessoal. Os tokens da account de serviço não estão vinculados a um usuário individual e podem ser facilmente escopados para fornecer as permissões mínimas necessárias.

Coletar detalhes da plataforma dbt

Para integrar o dbt com o Databricks, você precisa dos três detalhes a seguir:

• Seu ID da account da plataforma dbt.
• Uma API key gerada na plataforma dbt.
• Sua URL do host de implantação da plataforma dbt.

As seções a seguir descrevem como encontrar esta informação necessária.

Obtenha o ID da sua conta

Para recuperar seu ID da account:

1. Log in na plataforma dbt.
2. Navegue para Configurações > Configurações da conta .
3. Obtenha o ID da Account do sufixo da URL, que está no seguinte formato: https://cloud.getdbt.com/settings/accounts/{account_id}.

Obter a sua API key

Para recuperar sua chave de API:

1. Log in na plataforma dbt.
2. Navegue até **Configurações** > **Configuração de Perfil** > **Seu Perfil** > **Acessar API** > **API Key**.

URL do Host

Seu URL de host depende da sua localização e tenancy. Consulte Acesso, Regiões e Endereços IP na documentação do dbt para encontrar o URL para sua região.

Identifique a sua região e locação (Multi-tenant ou baseado em célula). Utilize a coluna URL de Acesso para obter o seu URL do host.

Tipo de Tenancy	Região Exemplo	Exemplo de URL de Host
Multi-tenant	América do Norte	https://cloud.getdbt.com
Baseado em células	América do Norte (us-east-1)	https://12345.us1.dbt.com (usando 12345 como o Account ID)

Tipo de Tenancy	Região Exemplo	Exemplo de URL de Host
Multi-tenant	América do Norte	https://cloud.getdbt.com
Baseado em células	América do Norte (us-east-1)	https://12345.us1.dbt.com (usando 12345 como o Account ID)

Configuração de conexão da plataforma dbt

Use os passos a seguir para configurar a conexão da plataforma dbt no Databricks.

1. Clique em **Catálogo** na barra lateral.

2. Clique em o ícone de adição no navegador de esquemas. Em seguida, clique em **Criar uma conexão**. O formulário **Configurar conexão** é exibido.

3. Insira a seguinte informação e, em seguida, clique em **Avançar**:

   • Em **Connection name**, insira um nome.
   • Para **Tipo de conexão**, escolha **plataforma dbt**.

4. Insira o URL do host da plataforma dbt no campo de texto **Host**. Não inclua uma barra final (/).

5. Insira o ID da account da plataforma dbt e o Token da API que você coletou em um passo anterior.

6. Clique em Criar conexão para confirmar os detalhes da conexão.

7. (Opcional) Conceda privilégios a outros usuários para usar a conexão:

   • Escolha os IDs de usuário e grupos aos quais deseja conceder privilégios no menu suspenso **Principais**.
   • Selecione os privilégios que deseja conceder.
   • Clique em Confirmar .

Para mais informações sobre como visualizar, editar ou excluir conexões do Unity Catalog, consulte Conexões do Unity Catalog.

Criar um novo job com uma tarefa da plataforma dbt

1. No seu workspace, clique em **Jobs & Pipelines** na barra lateral.
2. Clique em **Criar**, então em **Job**. O novo Job é automaticamente nomeado com um timestamp associado.
3. (Opcional) Clique no nome do Job e insira um novo nome para editá-lo.
4. Clique em Adicionar outro tipo de tarefa . Pesquise por dbt platform e clique no bloco para selecioná-lo.
5. Insira um **Nome da tarefa**.
6. Use o menu suspenso **Conexão da plataforma dbt** para selecionar a conexão criada anteriormente.
7. Utilize o menu suspenso **job da plataforma dbt** para selecionar o job da plataforma dbt que deseja orquestrar.
8. (Opcional) Para configurar novas tentativas, duração da execução ou limites de backlog de transmissão, ou notificações, consulte Configurações avançadas de tarefa.
9. Clique em Salvar tarefa .
10. (Opcional) Clique em **Executar agora** para testar manualmente seu Job.

Para editar, clonar, desabilitar ou excluir esta tarefa, consulte Configurar e editar tarefas no Lakeflow Jobs.

Definir um agendamento ou trigger

É possível configurar Jobs para serem acionados automaticamente de acordo com um agendamento baseado em tempo ou com a chegada de novos dados. Para saber mais sobre as opções disponíveis, consulte Automatizar Jobs com agendamentos e gatilhos.

nota

Gatilhos contínuos não são suportados para jobs da plataforma dbt.

Monitorar execuções

Você pode monitorar Lakeflow jobs na interface do usuário do Databricks. Para Jobs da plataforma dbt, você também pode abrir um link que aponta para os detalhes da execução do Job na plataforma dbt.

Para monitorar uma execução:

1. Clique em Jobs & Pipelines na barra lateral do workspace.

2. (Opcional) Selecione os filtros **Jobs** e **De minha propriedade**.

3. Clique no link Nome do seu job.

   A **Execuções** tab aparece, exibindo views de matriz e lista de execuções ativas e concluídas.

4. Clique no link para a execução na coluna Hora de início na view de lista de execuções. O status do Job da plataforma dbt é aberto.

5. Clique em Exibir no dbt para ver os detalhes de execução do Job na plataforma dbt.