メインコンテンツまでスキップ
に最終更新

Boxからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Lakeflow Connect for Box Audit Logs を有効にする必要があります。Databricksのプレビューを管理を参照してください。

Lakeflow Connectにマネージド Box Audit Logs取り込みパイプラインを作成して、エンタープライズ監査イベントをDatabricksに取り込みます。

要件​

  • 取り込み パイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースでServerless コンピュートが有効になっている必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での権限の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 権限または ALL PRIVILEGES 権限が必要です。

    • ターゲットカタログに対するUSE CATALOG権限が必要です。

    • 既存のスキーマに対する USE SCHEMA および CREATE TABLE 特権、またはターゲットカタログに対する CREATE SCHEMA 特権が必要です。

  • Box から取り込むには、まず Databricks から認証を構成し、接続を作成します。「Box 認証の構成」および「Box Audit Logs 接続の作成」を参照してください。

取り込みパイプラインを作成します​

サポートされているソース テーブルの一覧については、「サポートされているソース テーブル」を参照してください。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Box Audit Logs をクリックします。
  3. 取り込みウィザードの 接続 ページで、Box 資格情報を格納する接続を選択します。メタストアに対する CREATE CONNECTION 特権がある場合は、 プラスアイコン。 接続の作成 をクリックして、Box に対する認証の構成からの資格情報を使って接続を作成します。
  4. 次へ をクリックします。
  5. インジェストのセットアップ ページで、パイプラインの名前を入力します。
  6. パイプライン イベント Logsを書き込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウン メニューの プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データを読み込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウン メニューの プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. (オプション) プラスアイコン。 通知を追加 をクリックして、パイプライン操作の成功または失敗に対するEメール通知を設定します。
  14. パイプラインの保存と実行 をクリックします。

例​

Box Audit Logsコネクタは、default ソーススキーマに1つのソーステーブルを提供します。テーブルまたはスキーマ全体を取り込みます。

event_logsテーブルを取り込む​

このオプションを使用して、テーブルの宛先名をカスタマイズします。

次のパイプライン定義ファイルは、Box Audit Logs テーブルを取り込みます。

YAML
resources:
  pipelines:
    box_audit_logs_pipeline:
      name: box_audit_logs_pipeline
      catalog: 'main'
      target: 'box_audit_logs_data'
      ingestion_definition:
        connection_name: box_audit_logs_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'event_logs'
              destination_catalog: 'main'
              destination_schema: 'box_audit_logs_data'
              destination_table: 'event_logs'

スキーマ全体を取り込む​

このオプションを使用して、すべての Box Audit Logs ソーステーブルを 1 つの宣言で 1 つの宛先スキーマに取り込みます。

以下のパイプライン定義ファイルは、サポートされているすべての Box Audit Logs テーブルを取り込み先スキーマに取り込みます:

YAML
resources:
  pipelines:
    box_audit_logs_pipeline:
      name: box_audit_logs_pipeline
      catalog: 'main'
      target: 'box_audit_logs_data'
      ingestion_definition:
        connection_name: box_audit_logs_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'box_audit_logs_data'

宣言型オートメーションバンドルジョブ定義ファイル​

次に、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例を示します。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    box_audit_logs_job:
      name: box_audit_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: box_audit_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.box_audit_logs_pipeline.id}

一般的なパターン​

パイプラインの高度な構成については、「管理された取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ​

パイプラインの起動、スケジュール、およびアラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し