Aller au contenu principal
Dernière mise à jour le

Ingérer des données depuis PagerDuty

info

Bêta

Cette fonctionnalité est en version Bêta. Les administrateurs de workspace peuvent contrôler l'accès à cette fonctionnalité depuis la page Aperçus . Voir Gérer les aperçus Databricks.

Cette page montre comment créer un pipeline d'ingestion PagerDuty géré à l'aide de Lakeflow Connect.

Exigences​

  • Pour créer un pipeline d’ingestion, remplissez d’abord les conditions suivantes :

    • Votre workspace doit être activé pour Unity Catalog.

    • Le compute serverless doit être activé pour votre workspace. Voir les prérequis du compute serverless.

    • Pour créer une nouvelle connexion, vous devez disposer des privilèges CREATE CONNECTION sur le métastore. Consultez Gérer les privilèges dans Unity Catalog.

      Si le connecteur prend en charge la création de pipeline via l’interface utilisateur, un administrateur peut créer la connexion et le pipeline simultanément en suivant les étapes indiquées sur cette page. Cependant, si les utilisateurs qui créent des pipelines utilisent la création de pipeline via API ou ne sont pas des administrateurs, un administrateur doit d’abord créer la connexion dans Catalog Explorer. Voir Connecter à des sources d’ingestion gérées.

    • Pour utiliser une connexion existante, vous devez disposer des privilèges USE CONNECTION ou de ALL PRIVILEGES sur l'objet de connexion.

    • Vous devez disposer des privilèges USE CATALOG sur le catalogue cible.

    • Vous devez disposer des privilèges USE SCHEMA et CREATE TABLE sur un schéma existant ou des privilèges CREATE SCHEMA sur le catalogue cible.

  • Pour ingérer des données depuis PagerDuty, configurez d’abord l’authentification depuis Databricks et créez une connexion. Voir Configurer l’authentification auprès de PagerDuty et Créer une connexion PagerDuty.

Créer un pipeline d’ingestion​

Pour obtenir la liste des tables sources prises en charge, consultez Tables sources prises en charge.

  1. Dans la barre latérale du workspace Databricks, cliquez sur Data Ingestion .
  2. Sur la page Ajouter des données , sous Connecteurs Databricks , cliquez sur PagerDuty .
  3. Sur la page Connexion de l'assistant d'ingestion, sélectionnez la connexion qui stocke vos identifiants PagerDuty. Si vous disposez du privilège CREATE CONNECTION sur le métastore, cliquez sur Icône Plus. Créer une connexion pour créer une connexion avec les identifiants provenant de Configurer l'authentification auprès de PagerDuty.
  4. Cliquez sur Suivant .
  5. Sur la page Configuration de l’ingestion , saisissez un nom pour le pipeline.
  6. Sélectionnez un catalogue et un schéma pour y écrire les Logs d’événements. Si vous disposez des privilèges USE CATALOG et CREATE SCHEMA sur le catalogue, cliquez sur Icône Plus. Créer un schéma dans le menu déroulant pour créer un schéma.
  7. Cliquez sur Créer un pipeline et continuer .
  8. Sur la page Source , sélectionnez les tables à ingérer.
  9. Cliquez sur Enregistrer et continuer .
  10. Sur la page Destination , sélectionnez un catalogue et un schéma dans lesquels charger les données. Si vous disposez des privilèges USE CATALOG et CREATE SCHEMA sur le catalogue, cliquez sur Icône Plus. Create schema dans le menu déroulant pour créer un schéma.
  11. Cliquez sur Enregistrer et continuer .
  12. (Facultatif) Sur la page Schedules and notifications , cliquez sur Icône Plus. Create schedule . Définissez la fréquence pour refresh les tables de destination.
  13. (Facultatif) Cliquez sur Icône Plus. Ajouter une notification pour configurer les notifications par e-mail en cas de succès ou d'échec de l'opération du pipeline, puis cliquez sur Enregistrer et exécuter le pipeline .

Exemples​

Le connecteur PagerDuty met à disposition 10 tables sources dans le schéma source default. Ingérez des tables individuelles ou les tables dont vous avez besoin.

Ingérer des tables spécifiques​

Utilisez cette option pour ingérer un sous-ensemble spécifique de tables ou pour personnaliser le nom de destination par table.

Le fichier de définition de pipeline suivant ingère des tables PagerDuty individuelles :

YAML
resources:
  pipelines:
    pagerduty_pipeline:
      name: pagerduty_pipeline
      catalog: 'main'
      target: 'pagerduty_data'
      ingestion_definition:
        connection_name: pagerduty_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'incidents'
              destination_catalog: 'main'
              destination_schema: 'pagerduty_data'
              destination_table: 'incidents'
          - table:
              source_schema: 'default'
              source_table: 'log_entries'
              destination_catalog: 'main'
              destination_schema: 'pagerduty_data'
              destination_table: 'log_entries'
          - table:
              source_schema: 'default'
              source_table: 'audit_records'
              destination_catalog: 'main'
              destination_schema: 'pagerduty_data'
              destination_table: 'audit_records'

Fichier de définition de job Declarative Automation Bundles​

Voici un exemple de fichier de définition de job à utiliser avec les Declarative Automation Bundles. Le job s’exécute quotidiennement.

YAML
resources:
  jobs:
    pagerduty_job:
      name: pagerduty_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: pagerduty_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.pagerduty_pipeline.id}

Modèles courants​

Pour des configurations de pipeline avancées, consultez Modèles courants pour les pipelines d’ingestion gérés.

Étapes suivantes​

start, planifiez et définissez des alertes sur votre pipeline. Voir Tâches courantes de maintenance des pipelines.

Ressources supplémentaires​

Sur cette page