メインコンテンツまでスキップ
に最終更新

Microsoft Graphからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者が [プレビュー] ページから Lakeflow Connect for Microsoft Graph Log を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

このページでは、 Lakeflow Connectを使用して管理されたMicrosoft Graph Log インジェスト パイプラインを作成する方法を示します。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たしている必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースでServerless コンピュートを有効にする必要があります。Serverlessコンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での権限の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 特権または ALL PRIVILEGES が必要です。

    • ターゲット カタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対する USE SCHEMA および CREATE TABLE の権限、またはターゲット カタログに対する CREATE SCHEMA の権限が必要です。

  • Microsoft Graph から取り込むには、まず Databricks からの認証を構成し、接続を作成します。「Microsoft Graph への認証を構成する」および「Microsoft Graph Logs 接続を作成する」を参照してください。

コネクターのオプション​

source_configurationsでパイプラインスコープのオプションを、個々のオブジェクトでテーブルスコープのオプションを設定します。サポートされているオプションについては、コネクタオプションを参照してください。使用方法については、例を参照してください。

取り込みパイプラインを作成する​

サポートされているソーステーブルのリストについては、サポートされているソーステーブルを参照してください。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Microsoft Graph Logs をクリックします。
  3. 取り込みウィザードの 接続 ページで、Microsoft Graph の資格情報を保存する接続を選択します。メタストアに対する CREATE CONNECTION 権限がある場合は、 プラスアイコン。 接続を作成 をクリックし、 Microsoft Graph の認証を構成 の資格情報を使用して接続を作成します。
  4. 次へ をクリックします。
  5. インジェスト設定 ページで、パイプラインの名前を入力します。
  6. イベント Logs の書き込み先として、カタログとスキーマを選択します。カタログに対するUSE CATALOGおよびCREATE SCHEMAの権限がある場合は、ドロップダウンメニューの プラスアイコン。 スキーマを作成 をクリックして、スキーマを作成します。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データを取り込むカタログとスキーマを選択します。カタログに対する USE CATALOG および CREATE SCHEMA 権限がある場合は、ドロップダウン メニューの プラスアイコン。 スキーマを作成 をクリックしてスキーマを作成します。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. (オプション) プラスアイコン。 通知の追加 をクリックして、パイプラインの実行の成功または失敗に対するEメール通知を設定し、 保存してパイプラインを実行 をクリックします。

例​

Microsoft Graph Logsコネクタでは、defaultソーススキーマ内の1つのソーステーブルを利用できます。個々のテーブルまたはスキーマ全体を取り込みます。

特定のテーブルを取り込む​

テーブルの送信先命名をカスタマイズするには、このオプションを使用します。

以下のパイプライン定義ファイルは security_alerts テーブルを取り込みます。

YAML
resources:
  pipelines:
    microsoft_graph_logs_pipeline:
      name: microsoft_graph_logs_pipeline
      catalog: 'main'
      target: 'microsoft_graph_logs_data'
      ingestion_definition:
        connection_name: microsoft_graph_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'security_alerts'
              destination_catalog: 'main'
              destination_schema: 'microsoft_graph_logs_data'
              destination_table: 'security_alerts'

スキーマ全体を取り込む​

このオプションを使用して、すべての Microsoft Graph Logs ソース テーブルを 1 つの宣言で単一の宛先スキーマに取り込みます。

以下のパイプライン定義ファイルは、サポートされているすべての Microsoft Graph Logs テーブルを宛先スキーマに取り込みます：

YAML
resources:
  pipelines:
    microsoft_graph_logs_pipeline:
      name: microsoft_graph_logs_pipeline
      catalog: 'main'
      target: 'microsoft_graph_logs_data'
      ingestion_definition:
        connection_name: microsoft_graph_logs_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'microsoft_graph_logs_data'

宣言型オートメーションバンドル ジョブ定義ファイル​

次は、Declarative Automation Bundles で使用するためのジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    microsoft_graph_logs_job:
      name: microsoft_graph_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: microsoft_graph_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.microsoft_graph_logs_pipeline.id}

一般的なパターン​

パイプラインの詳細設定については、 管理型インジェクション パイプラインの一般的なパターンを参照してください。

次のステップ​

パイプラインの起動、スケジュール、アラートを設定する。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し