Tâche de plateforme dbt pour les Jobs

info

Aperçu

Cette fonctionnalité est en aperçu public.

Utilisez la tâche de la plateforme dbt pour orchestrer et surveiller les jobs existants de la plateforme dbt directement depuis Databricks. Sélectionnez et Trigger des Jobs dbt, définissez les options de nouvelle tentative automatique en cas d'échec et surveillez les exécutions.

Différences entre la plateforme dbt et les tâches dbt

Les jobs proposent deux types de tâches pour les projets dbt. Choisissez la bonne option en fonction de l'endroit où votre projet dbt est géré :

Tâche de la plateforme dbt : utilisez-la pour orchestrer les jobs de la plateforme dbt préexistants. Il se connecte à l'API de la plateforme dbt et déclenche une exécution là-bas. Choisissez cette option si vous souhaitez centraliser l'orchestration dans Databricks tout en conservant tous les avantages de la plateforme dbt, tels que la surveillance et la planification.

**Tâche dbt** : Utilisez cette option pour exécuter des projets dbt core sur un cluster Databricks avec du code depuis Git. Choisissez cette option si vous avez besoin d'un contrôle total sur l'environnement d'exécution et préférez gérer entièrement les dépendances au sein de Databricks. Voir tâche dbt pour les jobs.

Exigences

Pour utiliser la tâche de la plateforme dbt, vous devez satisfaire les prérequis suivants :

• Un administrateur de workspace doit activer l'aperçu. Consultez Gérer les aperçus Databricks.
• Vous devez disposer de CREATE CONNECTION privilèges sur le métastore Unity Catalog dans votre workspace.
• Accès à un projet dbt existant avec un Job défini dans la plateforme dbt. Pour en savoir plus, consultez les Jobs sur la plateforme dbt dans la documentation dbt.
• Autorisations pour générer un jeton de service sur la plateforme dbt. Pour en savoir plus, consultez Jetons de compte de service.

remarque

Pour des raisons de sécurité et de stabilité opérationnelle, Databricks recommande de générer un jeton de compte de service, et non un jeton d'accès personnel. Les jetons de compte de service ne sont pas liés à un utilisateur individuel et peuvent être facilement adaptés pour fournir les autorisations minimales nécessaires.

Recueillir les détails de la plateforme dbt

Pour intégrer dbt à Databricks, vous avez besoin des trois détails suivants :

• Votre identifiant de compte de plateforme dbt.
• Une clé API générée dans la plateforme dbt.
• Votre URL d'hôte de déploiement de la plateforme dbt.

Les sections suivantes décrivent comment trouver ces information requises.

Obtenez votre ID de compte

Pour récupérer votre ID de compte :

1. Connectez-vous à la plateforme dbt.
2. Accédez à Paramètres > Paramètres du compte .
3. Obtenez l’ID de compte à partir du suffixe de l’URL, qui se présente au format suivant : https://cloud.getdbt.com/settings/accounts/{account_id}.

Récupérez votre clé API

Pour récupérer votre clé API :

1. Connectez-vous à la plateforme dbt.
2. Naviguez vers **Paramètres** > **Paramètre de profil** > **Votre profil** > **Accéder à l'API** > **Clé API**.

URL de l’hôte

L'URL de votre hôte dépend de votre emplacement et de votre modèle de déploiement. Consultez Accès, Régions et adresses IP dans la documentation dbt pour trouver l'URL de votre région.

Identifiez votre région et votre tenancy (Multi-tenant ou basée sur des cellules). Utilisez la colonne URL d'accès pour obtenir votre URL d'hôte.

Type de locataire	Exemple de région	Exemple d'URL d'hôte
Multi-tenant	Amérique du Nord	https://cloud.getdbt.com
Basé sur les cellules.	Amérique du Nord (us-east-1)	https://12345.us1.dbt.com (utilisant 12345 comme ID du compte)

Type de locataire	Exemple de région	Exemple d'URL d'hôte
Multi-tenant	Amérique du Nord	https://cloud.getdbt.com
Basé sur les cellules.	Amérique du Nord (us-east-1)	https://12345.us1.dbt.com (utilisant 12345 comme ID du compte)

Configuration de la connexion à la plateforme dbt

Suivez les étapes ci-dessous pour configurer votre connexion à la plateforme dbt dans Databricks.

1. Cliquez sur Catalogue dans la barre latérale.

2. Cliquez sur l'icône plus dans le navigateur de schémas. Ensuite, cliquez sur **Créer une connexion**. Le formulaire **Configurer la connexion** s'ouvre.

3. Saisissez les informations suivantes, puis cliquez sur Suivant :

   • Dans Nom de la connexion , saisissez un nom.
   • Pour Type de connexion , choisissez plateforme dbt .

4. Saisissez l'URL de l'hôte de votre plateforme dbt dans le champ de texte Host . N'incluez pas de barre oblique finale (/).

5. Saisissez votre ID de compte de plateforme dbt et le jeton API que vous avez collecté lors d'une étape précédente.

6. Cliquez sur **Créer une connexion** pour confirmer les détails de la connexion.

7. (Facultatif) Accorder à d’autres utilisateurs des privilèges pour utiliser la connexion :

   • Choisissez les identifiants d'utilisateur et les groupes auxquels vous souhaitez accorder des privilèges dans le menu déroulant **Principaux**.
   • Sélectionnez les privilèges que vous souhaitez accorder.
   • Cliquez sur Confirmer .

Pour en savoir plus sur l'affichage, la modification ou la suppression des connexions Unity Catalog, consultez Connexions Unity Catalog.

Créer un nouveau job avec une tâche de la plateforme dbt

1. Dans votre Workspace, cliquez sur **Tâches et pipelines** dans la barre latérale.
2. Cliquez sur **Create**, puis sur **Job**. Le nouveau job est automatiquement nommé avec un timestamp associé.
3. (Facultatif) Cliquez sur le nom du Job et saisissez un nouveau nom pour le modifier.
4. Cliquez sur Ajouter un autre type de tâche . Recherchez la plateforme dbt et cliquez sur la tuile pour la sélectionner.
5. Saisissez un Nom de la tâche .
6. Utilisez le menu déroulant dbt platform connection pour sélectionner la connexion créée précédemment.
7. Utilisez le menu déroulant Job de la plateforme dbt pour sélectionner le job de la plateforme dbt que vous souhaitez orchestrer.
8. (Facultatif) Pour configurer les nouvelles tentatives, les threshold de durée d'exécution ou de backlog de streaming, ou les notifications, consultez Paramètres de tâches avancés.
9. Cliquez sur Enregistrer la tâche .
10. (Facultatif) Cliquez sur Exécuter maintenant pour tester manuellement votre job.

Pour modifier, cloner, désactiver ou supprimer cette tâche, consultez Configurer et modifier les tâches dans Lakeflow Jobs.

Définir une planification ou un Trigger

Vous pouvez configurer les Jobs pour qu'ils se Trigger automatiquement selon une planification horaire ou l'arrivée de nouvelles données. Pour en savoir plus sur les options disponibles, consultez Automatiser les Job avec des planifications et des Trigger.

remarque

Les Trigger continus ne sont pas pris en charge pour les Job de la plateforme dbt.

Surveiller les exécutions

Vous pouvez surveiller les Lakeflow Jobs dans l'interface utilisateur de Databricks. Pour les jobs de la plateforme dbt, vous pouvez également ouvrir un Link qui renvoie aux détails de l'exécution du job dans la plateforme dbt.

Pour surveiller une exécution :

1. Cliquez sur **Jobs et Pipelines** dans la barre latérale du Workspace.

2. (Facultatif) Sélectionnez les filtres **Jobs** et **Mes éléments**.

3. Cliquez sur le **Link** **Nom** de votre Job.

   Le tab Runs s'affiche, affichant les vues matricielle et de liste des exécutions actives et terminées.

4. Cliquez sur le Link de l’exécution dans la colonne Start time de la vue de liste des exécutions. Le statut du job de la plateforme dbt s’ouvre.

5. Cliquez sur Afficher dans dbt pour voir les détails d'exécution du Job sur la plateforme dbt.