Aller au contenu principal
Dernière mise à jour le

Ingérer des données depuis Asana

info

Bêta

Cette fonctionnalité est en version Bêta. Pour l’utiliser, un administrateur de workspace doit activer Lakeflow Connect for Asana sur la page Aperçus . Consultez Gérer les aperçus Databricks.

Créez un pipeline Lakeflow Connect géré qui ingère les données Asana dans les tables Unity Catalog. Utilisez l’interface utilisateur de Databricks, les Declarative Automation Bundles ou un notebook Databricks.

Exigences​

  • Pour créer un pipeline d'ingestion, veuillez d'abord répondre aux exigences suivantes :

    • Votre workspace doit être compatible avec Unity Catalog.

    • Le compute serverless doit être activé pour votre workspace. Voir les exigences du compute serverless.

    • Pour créer une nouvelle connexion, vous devez disposer des privilèges CREATE CONNECTION sur le métastore. Consultez Gérer les privilèges dans Unity Catalog.

      Si le connecteur prend en charge la création de pipeline basée sur l’interface utilisateur, un administrateur peut créer la connexion et le pipeline en même temps en suivant les étapes sur cette page. Cependant, si les utilisateurs qui créent des pipelines utilisent la création de pipeline basée sur l’API ou ne sont pas des utilisateurs administrateurs, un administrateur doit d’abord créer la connexion dans l’Explorateur de catalogues. Voir Se connecter aux sources d’ingestion managées.

    • Pour utiliser une connexion existante, vous devez disposer des privilèges USE CONNECTION ou de ALL PRIVILEGES sur l’objet de connexion.

    • Vous devez disposer des privilèges USE CATALOG sur le catalogue cible.

    • Vous devez disposer des privilèges USE SCHEMA et CREATE TABLE sur un schéma existant ou des privilèges CREATE SCHEMA sur le catalogue cible.

  • Pour ingérer des données à partir d'Asana, commencez par configurer l'authentification à partir de Databricks et créez une connexion. Consultez Configuration de l'authentification à Asana et Création d'une connexion Asana.

Créer un pipeline d’ingestion​

Pour obtenir la liste des tables sources prises en charge, consultez Tables sources prises en charge.

  1. Dans la barre latérale du workspace Databricks, cliquez sur Ingestion de données .
  2. Sur la page Ajouter des données , sous Connecteurs Databricks , cliquez sur Asana .
  3. Sur la page Connexion de l’assistant d’ingestion, sélectionnez la connexion qui stocke vos identifiants Asana. Si vous disposez du CREATE CONNECTION privilège sur le métastore, cliquez Icône Plus. sur Créer une connexion pour créer une connexion avec les identifiants de Configurer l’authentification auprès d’Asana.
  4. Cliquez sur Suivant .
  5. Sur la page Configuration de l’ingestion , saisissez un nom pour le pipeline.
  6. Sélectionnez un catalogue et un schéma dans lesquels écrire les logs des événements. Si vous disposez des privilèges USE CATALOG et CREATE SCHEMA sur le catalogue, cliquez sur Icône Plus. Créer un schéma dans le menu déroulant pour créer un schéma.
  7. Cliquez sur Créer un pipeline et continuer .
  8. Dans la page Source , sélectionnez les tables à ingérer.
  9. Cliquez sur Enregistrer et continuer .
  10. Sur la page Destination , sélectionnez un catalogue et un schéma dans lesquels charger des données. Si vous disposez des privilèges USE CATALOG et CREATE SCHEMA sur le catalogue, cliquez sur Icône Plus. Créer un schéma dans le menu déroulant pour créer un schéma.
  11. Cliquez sur Enregistrer et continuer .
  12. (Facultatif) Sur la page Calendriers et notifications , cliquez sur Icône Plus. Créer un calendrier . Définissez la fréquence de refresh des tables de destination.
  13. (Facultatif) Cliquez sur Icône Plus. Ajouter une notification pour définir les notifications par e-mail en cas de succès ou d’échec de l’opération de pipeline, puis cliquez sur Enregistrer et exécuter le pipeline .

Exemples​

Le connecteur Asana met à disposition 24 tables sources dans le schéma source default. Ingérez les tables dont vous avez besoin.

Ingérer des tables spécifiques​

Utilisez cette option pour ingérer un sous-ensemble spécifique de tables ou pour personnaliser la désignation de destination par table.

Le fichier de définition de pipeline suivant ingère des tables Asana individuelles :

YAML
resources:
  pipelines:
    asana_pipeline:
      name: asana_pipeline
      catalog: 'main'
      target: 'asana_data'
      ingestion_definition:
        connection_name: asana_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'projects'
              destination_catalog: 'main'
              destination_schema: 'asana_data'
              destination_table: 'projects'
          - table:
              source_schema: 'default'
              source_table: 'tasks'
              destination_catalog: 'main'
              destination_schema: 'asana_data'
              destination_table: 'tasks'
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'asana_data'
              destination_table: 'users'

Fichier de définition de job Declarative Automation Bundles​

Voici un exemple de fichier de définition de job à utiliser avec les Declarative Automation Bundles. Le job s'exécute tous les jours.

YAML
resources:
  jobs:
    asana_job:
      name: asana_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: asana_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.asana_pipeline.id}

Modèles courants​

Pour les configurations de pipeline avancées, consultez Modèles courants pour les pipelines d'ingestion gérés.

Étapes suivantes​

Start, planifiez et définissez des alertes sur votre pipeline. Voir Tâches courantes de maintenance des pipelines.

Ressources supplémentaires​

Sur cette page