tarefa da plataformadbt para Job

info

Beta

Este recurso está em versão Beta.

Utilize a tarefa da plataforma dbt para orquestrar e monitorar trabalhos existentes da plataforma dbt diretamente do Databricks. Esta página explica como selecionar e acionar um Job dbt , definir opções de repetição automática em caso de falhas e monitorar a execução.

Diferenças entre a plataforma dbt e a tarefa dbt

O Jobs oferece dois tipos de tarefas para projetos dbt . Escolha a opção correta com base em onde seu projeto dbt está sendo gerenciado:

Tarefa da plataformadbt : Use isso para orquestrar um Job da plataforma dbt preexistente. Ele se conecta à API da plataforma dbt e aciona uma execução lá. Escolha esta opção se desejar centralizar a orquestração no Databricks , mantendo todos os benefícios da plataforma dbt , como monitoramento e programação.

dbt tarefa : Use esta opção para executar projetos dbt core em um cluster Databricks com código do Git. Escolha esta opção se precisar de controle total sobre o ambiente de execução e preferir gerenciar as dependências inteiramente dentro Databricks. Consulte a tarefadbt para Job.

Pré-requisitos

Para usar a tarefa da plataforma dbt, você deve atender aos seguintes pré-requisitos:

• Um administrador workspace deve ativar a pré-visualização. Veja as prévias do Gerenciador Databricks.
• Você deve ter privilégios CREATE CONNECTION no metastore Unity Catalog em seu workspace.
• Acesso a um projeto dbt existente com um Job definido na plataforma dbt . Para saber mais, consulte a seção "Jobs in the dbt platform" na documentação do dbt.
• Permissões para gerar tokens de serviço na plataforma dbt . Para saber mais, consulte tokens account de serviço.

nota

Por questões de segurança e estabilidade operacional, Databricks recomenda a geração de tokens account de serviço, e não de access token pessoal. tokens account do serviço não estão vinculados a um usuário individual e podem ser facilmente configurados para fornecer as permissões mínimas necessárias.

Reúna detalhes da plataforma dbt

Para integrar o dbt com o Databricks, você precisa das seguintes três informações:

• Seu ID de conta na plataforma dbt .
• Uma key API gerada na plataforma dbt .
• URL do host de implantação da sua plataforma dbt.

As seções a seguir descrevem como encontrar essas informações necessárias.

Obtenha seu ID account :

Para recuperar o seu ID account :

1. Faça login na plataforma dbt .
2. Acesse Configurações > Configurações da conta .
3. Obtenha o ID da conta a partir do sufixo da URL, que está no seguinte formato: https://cloud.getdbt.com/settings/accounts/{account_id}.

Obtenha sua key API

Para recuperar sua key API :

1. Faça login na plataforma dbt .
2. Acesse Configurações > Configurações do perfil > Seu perfil > Acesso API > ChaveAPI .

URL do host

O URL do seu host depende da sua localização e do seu tipo de contrato de locação. Consulte a seção Acesso, Regiões e endereços IP na documentação do dbt para encontrar a URL da sua região.

Identifique sua região e tipo de locação ( tenant ou baseado em célula). Use a coluna URL de acesso para obter o URL do seu host.

Tipo de arrendamento	Exemplo de região	Exemplo de URL do host
Multi-tenant	América do Norte	https://cloud.getdbt.com
Baseado em células	América do Norte (us-east-1)	https://12345.us1.dbt.com (usando 12345 como ID da conta)

Configuração de conexão da plataforma dbt

Siga os passos abaixo para configurar sua conexão com a plataforma dbt no Databricks.

1. Clique Catálogo na barra lateral.

2. Clique o ícone de mais no navegador de esquemas. Em seguida, clique em Criar uma conexão . O formulário Configurar conexão será aberto.

3. Insira as seguintes informações e clique em Avançar :

   • Em Nome da conexão , insira um nome.
   • Em Tipo de conexão , escolha a plataforma dbt .

4. Insira o URL do host da sua plataforma dbt no campo de texto Host . Não inclua uma barra final (/).

5. Insira o ID da sua conta na plataforma dbt e os tokens API que você coletou em uma etapa anterior.

6. Clique em Criar conexão para confirmar os detalhes da conexão.

7. (Opcional) Conceda privilégios a outros usuários para usar a conexão:

   • Selecione os IDs de usuário e os grupos aos quais deseja conceder privilégios no menu suspenso "Principais" .
   • Selecione os privilégios que deseja conceder.
   • Clique em Confirmar .

Criar uma nova tarefa na plataforma dbt

1. Na sua workspace, clique em Vagas e oportunidades na barra lateral.

2. Clique em Criar e, em seguida, Job . O novo trabalho recebe automaticamente um nome com um carimbo de data/hora associado.

3. (Opcional) Clique no nome do cargo e digite um novo nome para editá-lo.

   A tab tarefas é exibida com o painel de tarefas vazio.

nota

• Se a interface de usuárioLakeFlow Jobs estiver ATIVADA , clique em Adicionar outro tipo de tarefa . Procure pela plataforma dbt e clique no bloco para selecioná-la.
• Se a interface de usuárioLakeFlow Jobs estiver DESATIVADA , use o menu suspenso Tipo para selecionar a plataforma dbt .

4. Insira um nome para a tarefa .

5. Utilize o menu suspenso de conexão da plataforma dbt para selecionar a conexão criada anteriormente.

6. Use o menu suspenso "Job" da plataformadbt para selecionar o Job da plataforma dbt que você deseja orquestrar.

7. Clique em Salvar tarefa .

8. (Opcional) Clique em "Executar agora" para testar manualmente seu trabalho.

Configure um programa ou gatilho.

Você pode configurar o Job para ser acionado automaticamente de acordo com um cronograma ou com a chegada de novos dados. Para saber mais sobre as opções disponíveis, consulte Automatizando tarefas com programas e gatilhos.

nota

Gatilhos contínuos não são suportados para trabalhos na plataforma dbt .

O monitor está em execução.

Você pode monitorar LakeFlow Job na interface Databricks . Para trabalhos na plataforma dbt , você também pode abrir um link que aponta para os detalhes de execução do trabalho na plataforma dbt .

Para monitorar uma execução:

1. Clique em "Tarefas e pipeline" na barra lateral workspace .

2. (Opcional) Selecione os filtros "Trabalhos" e "De minha propriedade" .

3. Clique no link com o nome do seu cargo.

   A tab execução é exibida, mostrando uma visualização em matriz e em lista das execuções ativas e concluídas.

4. Clique no link da execução na coluna de hora de início na view da lista de execução. A plataforma dbt abre o status do trabalho.

5. Clique em "Visualizar no dbt para ver os detalhes da execução do Job na plataforma dbt .