メインコンテンツまでスキップ
に最終更新

Google ワークスペースからデータを取り込む

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Lakeflow Connect を使用してマネージド Google ワークスペースインジェスト パイプラインを作成する方法について説明します。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たしてください。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースで Serverless コンピュートを有効にする必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。See Unity Catalog での特権の管理.

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 権限または ALL PRIVILEGES が必要です。

    • ターゲットカタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対する USE SCHEMA および CREATE TABLE 権限、またはターゲットカタログに対する CREATE SCHEMA 権限が必要です。

  • Google ワークスペース から取り込むには、まず Databricks から認証を構成し、接続を作成します。Google ワークスペース への認証の構成およびGoogle ワークスペース 接続の作成を参照してください。

取り込みパイプラインを作成する​

Google ワークスペース コネクタは、default ソーススキーマの下で、Google ワークスペース アクティビティアプリごとに 1 つずつ、合計 33 のソーステーブルを取り込みます。詳細については、サポートされているソーステーブルを参照してください。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Google Workspace をクリックします。
  3. 取り込みウィザードの Connection ページで、Google Workspace の認証情報を格納する接続を選択します。メタストアに対する CREATE CONNECTION 特権を持っている場合は、 プラスアイコン。 接続の作成 をクリックして、Configure authentication to Google ワークスペース の認証情報を使用して接続を作成します。
  4. 次へ をクリックします。
  5. インジェスト設定 ページで、パイプラインの名前を入力します。
  6. イベント event Logs を書き込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限および CREATE SCHEMA 権限がある場合は、ドロップダウンメニューの プラスアイコン。 Create schema をクリックしてスキーマを作成します。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込む 1 つ以上のアクティビティ アプリケーション テーブルを選択します（例：calendar、chat、admin）。UI には 30 個のアプリケーションが表示されます。login、groups、または groups_enterprise を取り込むには、代わりに 宣言型オートメーションバンドル または Databricks ノートブック オプションを使用します。
  9. 保存して続行 をクリックします。
  10. On the Destination page, select a catalog and a schema to load data into.If you have USE CATALOG and CREATE SCHEMA privileges on the catalog, click プラスアイコン。 Create schema in the drop-down menu to create a schema.
  11. 保存して続行 をクリックします。
  12. (オプション) Schedules and notifications ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. （オプション） プラスアイコン。 通知を追加 をクリックして、パイプラインの操作が成功または失敗したときのEメール通知を設定し、 保存してパイプラインを実行 をクリックします。

例​

Google Workspace コネクタにより、アクティビティアプリケーションごとに 1 つずつ、合計 33 のテーブルが default ソーススキーマで使用できるようになります。詳しくは、サポートされているソーステーブルを参照してください。

アプリケーションテーブルの取り込みアクティビティ​

次のパイプライン定義ファイルは、Google ワークスペース アクティビティテーブルを取り込みます。

YAML
resources:
  pipelines:
    google_workspace_pipeline:
      name: google_workspace_pipeline
      catalog: 'main'
      target: 'google_workspace_data'
      ingestion_definition:
        connection_name: google_workspace_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'calendar'
              destination_catalog: 'main'
              destination_schema: 'google_workspace_data'
              destination_table: 'calendar'
          - table:
              source_schema: 'default'
              source_table: 'chat'
              destination_catalog: 'main'
              destination_schema: 'google_workspace_data'
              destination_table: 'chat'
          - table:
              source_schema: 'default'
              source_table: 'admin'
              destination_catalog: 'main'
              destination_schema: 'google_workspace_data'
              destination_table: 'admin'

宣言型オートメーションバンドル ジョブ定義ファイル​

以下は、Declarative Automation Bundlesで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    google_workspace_job:
      name: google_workspace_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: google_workspace_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.google_workspace_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、管理された取り込みパイプラインの一般的なパターンを参照してください。

次のステップ​

パイプラインの起動、スケジュール、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し