Atlassian からデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は、 プレビュー ページから Lakeflow Connect for Atlassian Audit Logs を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

Lakeflow Connect で管理された Atlassian Audit Logs 取り込みパイプラインを作成し、組織の監査 log イベントを Databricks に取り込みます。

要件

• 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

  • ワークスペースでUnity Catalogが有効になっている必要があります。

  • ワークスペースで Serverless コンピュートが有効になっている必要があります。See Serverless コンピュートの要件.

  • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での特権の管理を参照してください。

    コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

  • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 特権または ALL PRIVILEGES が必要です。

  • ターゲットカタログに対する USE CATALOG 権限が必要です。

  • 既存のスキーマに対して USE SCHEMA および CREATE TABLE 権限、またはターゲットカタログに対して CREATE SCHEMA 権限を持っている必要があります。

• Atlassian から取り込むには、まず Databricks から認証を構成し、接続を作成します。Atlassian への認証の構成およびAtlassian Audit Logs 接続の作成を参照してください。

コネクタ オプション

Atlassian Audit Logs コネクタのオプションは、パイプライン レベルです。パイプライン定義の source_configurations ブロックで設定します。使用方法については、Examples を参照してください。

オプション	必須	適用対象	説明
start_datetime	No	すべてのテーブル	初期バックフィルウィンドウの開始（ISO 8601 Timestamp 形式、例：2026-01-01T00:00:00Z）。省略した場合、最初の同期はパイプラインの実行の 180 日前に開始されます。

オプション	必須	適用対象	説明
start_datetime	No	すべてのテーブル	初期バックフィルウィンドウの開始（ISO 8601 Timestamp 形式、例：2026-01-01T00:00:00Z）。省略した場合、最初の同期はパイプラインの実行の 180 日前に開始されます。

取り込みパイプラインを作成する

サポートされているソーステーブルの一覧については、サポートされているソーステーブルを参照してください。

Databricks UI

1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
2. データの追加 ページの Databricks コネクタ で、 Atlassian Audit Logs をクリックします。
3. 取り込みウィザードの [Connection] ページで、Atlassian 資格情報を格納している接続を選択します。メタストアに対する CREATE CONNECTION 特権を持っている場合は、 接続の作成 をクリックして、Atlassian への認証の構成の資格情報を使用して接続を作成します。
4. 次へ をクリックします。
5. インジェストのセットアップ ページで、パイプラインの名前を入力します。
6. イベント event Logs を書き込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウンメニューで スキーマの作成 をクリックしてスキーマを作成します。
7. パイプラインの作成および続行 をクリックします。
8. On the Source page, select the tables to ingest.
9. 保存して続行 をクリックします。
10. On the Destination page, select a catalog and a schema to load data into.カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウンメニューで Create schema をクリックしてスキーマを作成します。
11. 保存して続行 をクリックします。
12. （オプション） スケジュールと通知 ページで、 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
13. (オプション)パイプライン操作の成功または失敗に対するEメール通知を設定するには、 通知の追加 をクリックし、 保存してパイプラインを実行 をクリックします。

Declarative Automation Bundles

宣言型オートメーションバンドルを使用して、Atlassian Audit Logs パイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース（開発、ステージング、本番運用など）で共有および実行できます。詳細については、「宣言型オートメーションバンドルとは？」をご覧ください。

1. Databricks CLI を使用してバンドルを作成する：

   Bash

   databricks bundle init

2. バンドルに 2 つの新しいリソースファイルを追加します：

   • パイプライン定義ファイル（例: resources/atlassian_audit_logs_pipeline.yml）。「pipeline.ingestion_definition」を参照してください。および例。
   • データ取り込みの頻度を制御するジョブ定義ファイル（例：resources/atlassian_audit_logs_job.yml）。

3. Databricks CLI を使用してパイプラインをデプロイする：

   Bash

   databricks bundle deploy

Databricks notebook

1. 次のノートブックを Databricks ワークスペースにインポートします。

ノートブックを新しいタブで開くOpen in Databricks

2. セル1とセル2はそのまますます。変更しないでください。

3. パイプラインの設定の詳細を使用して、セル 3 を変更します。「pipeline.ingestion_definition」を参照してください。および例。

4. （オプション）高度なパイプライン設定を構成します。管理された取り込みパイプラインの一般的なパターンを参照してください。

5. 「 すべて実行 」をクリックします。

例

Atlassian Audit Logs コネクタにより、default ソーススキーマで 1 つのソーステーブルが使用可能になります。テーブルまたはスキーマ全体を取り込みます。

特定のテーブルを取り込む

このオプションを使用して、テーブルの宛先命名をカスタマイズします。

Declarative Automation Bundles

次のパイプライン定義ファイルは、Atlassian Audit Logs テーブルを取り込みます。

YAML

resources:
  pipelines:
    atlassian_audit_logs_pipeline:
      name: atlassian_audit_logs_pipeline
      catalog: 'main'
      target: 'atlassian_audit_logs_data'
      ingestion_definition:
        connection_name: atlassian_audit_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_logs'
              destination_catalog: 'main'
              destination_schema: 'atlassian_audit_logs_data'
              destination_table: 'audit_logs'

Databricks notebook

次のパイプライン仕様では、Atlassian Audit Logs テーブルを取り込みます。

Python

pipeline_name = "atlassian_audit_logs_pipeline"
connection_name = "<atlassian-audit-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "audit_logs",
          "destination_catalog": "main",
          "destination_schema": "atlassian_audit_logs_data",
          "destination_table": "audit_logs"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

スキーマ全体を取り込む

すべての Atlassian Audit Logs ソース テーブルを 1 つの宣言で単一の宛先スキーマに取り込むには、このオプションを使用します。

Declarative Automation Bundles

次のパイプライン定義ファイルは、サポートされているすべての Atlassian Audit Logs テーブルを宛先スキーマに取り込みます。

YAML

resources:
  pipelines:
    atlassian_audit_logs_pipeline:
      name: atlassian_audit_logs_pipeline
      catalog: 'main'
      target: 'atlassian_audit_logs_data'
      ingestion_definition:
        connection_name: atlassian_audit_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'atlassian_audit_logs_data'

Databricks notebook

次のパイプライン仕様では、サポートされているすべての Atlassian 監査 Logs テーブルを宛先スキーマに取り込みます。

Python

pipeline_name = "atlassian_audit_logs_pipeline"
connection_name = "<atlassian-audit-logs-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-datetime>"
          }
        }
      }
    ],
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "atlassian_audit_logs_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Declarative Automation Bundles ジョブ定義ファイル

以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

Declarative Automation Bundles

YAML

resources:
  jobs:
    atlassian_audit_logs_job:
      name: atlassian_audit_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: atlassian_audit_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.atlassian_audit_logs_pipeline.id}

一般的なパターン

高度なパイプライン構成については、管理対象の取り込みパイプラインの一般的なパターンを参照してください。

次のステップ

パイプラインの起動、スケジュール、およびアラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース

• Atlassian Audit Logs コネクタの FAQ
• Atlassian Audit Logs コネクタの制限事項
• Atlassian Audit Logs コネクタのリファレンス
• Atlassian Audit Logs コネクタのトラブルシューティング