Ingérer des données depuis Atlassian

info

Bêta

Cette fonctionnalité est en version Beta. Pour l’utiliser, un administrateur du workspace doit activer Lakeflow Connect for Atlassian Audit Logs depuis la page Previews . Consultez Manage Databricks previews.

Créez un pipeline d’ingestion managé Atlassian Audit Logs dans Lakeflow Connect pour ingérer les événements de log d’audit de l’organisation dans Databricks.

Conditions requises

• Pour créer un pipeline d’ingestion, remplissez d’abord les conditions suivantes :

  • Votre Workspace doit être activé pour Unity Catalog.

  • Le compute serverless doit être activé pour votre workspace. Consultez Configuration requise pour le compute serverless.

  • Pour créer une nouvelle connexion, vous devez disposer des privilèges CREATE CONNECTION sur le métastore. Consultez Manage privileges in Unity Catalog.

    Si le connecteur prend en charge la création de pipelines basée sur l’interface utilisateur, un administrateur peut créer la connexion et le pipeline en même temps en effectuant les étapes de cette page. Cependant, si les utilisateurs qui créent des pipelines utilisent une création de pipeline basée sur l’API ou s’il s’agit d’utilisateurs non administrrateurs, un administrateur doit d’abord créer la connexion dans Catalog Explorer. Consultez Se connecter à des sources d’ingestion gérées.

  • Pour utiliser une connexion existante, vous devez disposer des privilèges USE CONNECTION ou de ALL PRIVILEGES sur l'objet de connexion.

  • Vous devez disposer des privilèges USE CATALOG sur le catalogue cible.

  • Vous devez disposer des privilèges USE SCHEMA et CREATE TABLE sur un schéma existant ou du privilège CREATE SCHEMA sur le catalogue cible.

• Pour ingérer des données à partir d'Atlassian, configurez d'abord l'authentification à partir de Databricks et créez une connexion. Consultez Configurer l'authentification à Atlassian et Créer une connexion Atlassian Audit Logs.

Options de connecteur

L’option de connecteur Atlassian Audit Logs s’applique au niveau du pipeline. Définissez-le dans le bloc source_configurations de votre définition de pipeline. Consultez la section Examples pour connaître les modalités d’utilisation.

Option	Obligatoire	S’applique à	Description
start_datetime	Non	Toutes les tables	Le start de la fenêtre de remplissage initiale, sous la forme d’un Timestamp ISO 8601 (par exemple, 2026-01-01T00:00:00Z). Lorsqu’elle est omise, la première synchronisation start 180 jours avant l’exécution du pipeline.

Option	Obligatoire	S’applique à	Description
start_datetime	Non	Toutes les tables	Le start de la fenêtre de remplissage initiale, sous la forme d’un Timestamp ISO 8601 (par exemple, 2026-01-01T00:00:00Z). Lorsqu’elle est omise, la première synchronisation start 180 jours avant l’exécution du pipeline.

Créer un pipeline d’ingestion

For the list of supported source tables, see Tables sources prises en charge.

Databricks UI

1. Dans la barre latérale du Workspace Databricks, cliquez sur Data Ingestion .
2. Sur la page Add data , sous Databricks connectors , cliquez sur Atlassian Audit Logs .
3. Sur la page Connection de l’assistant d’ingestion, sélectionnez la connexion qui stocke vos identifiants Atlassian. Si vous disposez du privilège CREATE CONNECTION sur le métastore, cliquez sur Create connection pour créer une connexion avec les identifiants de Configure authentication to Atlassian.
4. Cliquez sur Suivant .
5. Sur la page Ingestion setup , saisissez un nom pour le pipeline.
6. Sélectionnez un catalogue et un schéma vers lesquels écrire les Logs d'événements. Si vous disposez des privilèges USE CATALOG et CREATE SCHEMA sur le catalogue, cliquez sur Create schema dans le menu déroulant pour créer un schéma.
7. Cliquez sur Créer un pipeline et continuer .
8. Sur la page Source , sélectionnez les tables à ingérer.
9. Cliquez sur Enregistrer et continuer .
10. Sur la page Destination , sélectionnez un catalogue et un schéma dans lesquels charger les données. Si vous disposez des privilèges USE CATALOG et CREATE SCHEMA sur le catalogue, cliquez sur Créer un schéma dans le menu déroulant pour créer un schéma.
11. Cliquez sur Enregistrer et continuer .
12. (Optionnel) Sur la page Schedules and notifications , cliquez sur Créer un calendrier . Définissez la fréquence pour refresh les tables de destination.
13. (Optionnel) Cliquez sur Ajouter une notification pour configurer les notifications par e-mail en cas de succès ou d’échec d’une opération du pipeline, puis cliquez sur Enregistrer et exécuter le pipeline .

Declarative Automation Bundles

Utilisez les Declarative Automation Bundles pour gérer les pipelines d’audit Atlassian Logs en tant que code. Les bundles peuvent contenir des définitions YAML de jobs et de tâches, sont gérés à l’aide de la CLI Databricks et peuvent être partagés et exécutés dans différents workspaces cibles (tels que le développement, la pré-production et la production). Pour plus d’informations, consultez What are Declarative Automation Bundles?.

1. Créez un bundle à l’aide de la CLI Databricks :

   Bash

   databricks bundle init

2. Ajoutez deux nouveaux fichiers de ressources au bundle :

   • Un fichier de définition de pipeline (par exemple, resources/atlassian_audit_logs_pipeline.yml). Consultez pipeline.ingestion_definition et Exemples.
   • Un fichier de définition de job qui contrôle la fréquence de l’ingestion de données (par exemple, resources/atlassian_audit_logs_job.yml).

3. Déployez le pipeline à l'aide de la CLI Databricks :

   Bash

   databricks bundle deploy

Databricks notebook

1. Importez le notebook suivant dans votre workspace Databricks :

Ouvrir le notebook dans un nouvel ongletOuvrir dans Databricks

2. Laissez les cellules un et deux telles quelles. Ne pas modifier.

3. Modifiez la troisième cellule avec les détails de configuration de votre pipeline. Voir pipeline.ingestion_definition et Exemples.

4. Vous pouvez également configurer les paramètres avancés du pipeline. Consultez Common patterns for managed ingestion pipelines.

5. Cliquez sur Run all .

Exemples

Le connecteur Atlassian Audit Logs met à disposition une table source dans le schéma source default. Ingérez la table ou l’ensemble du schéma.

Ingérer des tables spécifiques

Utilisez cette option pour personnaliser la dénomination de la table de destination.

Declarative Automation Bundles

Le fichier de définition de pipeline suivant ingère la table Atlassian Audit Logs :

YAML

resources:
  pipelines:
    atlassian_audit_logs_pipeline:
      name: atlassian_audit_logs_pipeline
      catalog: 'main'
      target: 'atlassian_audit_logs_data'
      ingestion_definition:
        connection_name: atlassian_audit_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_logs'
              destination_catalog: 'main'
              destination_schema: 'atlassian_audit_logs_data'
              destination_table: 'audit_logs'

Databricks notebook

La spécification de pipeline suivante ingère la table Atlassian Audit Logs :

Python

pipeline_name = "atlassian_audit_logs_pipeline"
connection_name = "<atlassian-audit-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "audit_logs",
          "destination_catalog": "main",
          "destination_schema": "atlassian_audit_logs_data",
          "destination_table": "audit_logs"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingérer l’ensemble du schéma

Utilisez cette option pour ingérer toutes les tables source des Atlassian Audit Logs dans un seul schéma de destination avec une seule déclaration.

Declarative Automation Bundles

Le fichier de définition de pipeline suivant ingère toutes les tables d'audit Atlassian Logs prises en charge dans un schéma de destination :

YAML

resources:
  pipelines:
    atlassian_audit_logs_pipeline:
      name: atlassian_audit_logs_pipeline
      catalog: 'main'
      target: 'atlassian_audit_logs_data'
      ingestion_definition:
        connection_name: atlassian_audit_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'atlassian_audit_logs_data'

Databricks notebook

La spécification de pipeline suivante ingère toutes les tables Atlassian Audit Logs prises en charge dans un schéma de destination :

Python

pipeline_name = "atlassian_audit_logs_pipeline"
connection_name = "<atlassian-audit-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "atlassian_audit_logs_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Fichier de définition de job Declarative Automation Bundles

Voici un exemple de fichier de définition de job à utiliser avec les Declarative Automation Bundles. Le job s’exécute tous les jours.

Declarative Automation Bundles

YAML

resources:
  jobs:
    atlassian_audit_logs_job:
      name: atlassian_audit_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: atlassian_audit_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.atlassian_audit_logs_pipeline.id}

Common patterns

Pour les configurations de pipeline avancées, consultez Modèles courants pour les pipelines d'ingestion gérés.

Étapes suivantes

Start, schedule, and set alerts on your pipeline. See Common pipeline maintenance tasks.

Ressources supplémentaires

• FAQ sur le connecteur Atlassian Audit Logs
• Limitations du connecteur Atlassian Audit Logs
• Référence du connecteur de Logs d’audit Atlassian
• Résoudre les problèmes du connecteur Atlassian Audit Logs