Google ワークスペースからデータを取り込む

備考

ベータ版

この機能はベータ版です。これを使用するには、ワークスペース管理者が プレビュー ページから Google Workspace向けLakeflow Connect を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

Lakeflow Connect で管理対象の Google ワークスペース取り込みパイプラインを作成します。

要件

• 取り込みパイプラインを作成するには、まず次の要件を満たしてください。

  • ワークスペースでUnity Catalogが有効になっている必要があります。

  • ワークスペースで Serverless コンピュートを有効にする必要があります。Serverless コンピュートの要件を参照してください。

  • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。See Unity Catalog での特権の管理.

    コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

  • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 権限または ALL PRIVILEGES が必要です。

  • ターゲットカタログに対する USE CATALOG 権限が必要です。

  • 既存のスキーマに対する USE SCHEMA および CREATE TABLE 権限、またはターゲットカタログに対する CREATE SCHEMA 権限が必要です。

• Google ワークスペース から取り込むには、まず Databricks から認証を構成し、接続を作成します。Google ワークスペース への認証の構成およびGoogle ワークスペース 接続の作成を参照してください。

取り込みパイプラインを作成する

サポートされているソース テーブルの一覧については、サポートされているソース テーブルを参照してください。

Databricks UI

1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
2. データの追加 ページの Databricks コネクタ で、 Google Workspace をクリックします。
3. On the Connection page, select the connection that stores your Google ワークスペース credentials.
4. 接続を作成するには、 接続を作成 をクリックし、Google ワークスペース の認証の構成から資格情報を入力します。
5. 次へ をクリックします。
6. インジェスト設定 ページで、パイプラインの名前を入力します。
7. イベント Logsのカタログとスキーマを選択します。
8. パイプラインの作成および続行 をクリックします。
9. ソース ページで、取り込むテーブルを選択します。
10. 保存して続行 をクリックします。
11. Destination ページで、宛先テーブルのカタログとスキーマを選択します。
12. 保存して続行 をクリックします。
13. (オプション) [スケジュールと通知] ページで、スケジュールと通知を作成します。
14. パイプラインの保存と実行 をクリックします。

Declarative Automation Bundles

宣言型オートメーションバンドルを使用して、Google ワークスペース パイプラインをコードとして管理します。詳細情報については、「宣言型オートメーションバンドルとは？」をご覧ください。

1. Databricks CLIを使用してバンドルを作成するには、次の手順を実行します。

   Bash

   databricks bundle init

2. resources/google_workspace_pipeline.yml などのパイプライン定義ファイルを追加します。パイプライン.ingestion_definition を参照してください。および Examples。

3. resources/google_workspace_job.ymlなどのジョブ定義ファイルを追加します。

4. パイプラインをデプロイ:

   Bash

   databricks bundle deploy

Databricks notebook

1. 次のノートブックをDatabricksワークスペースにインポートします。

ノートブックを新しいタブで開くOpen in Databricks

2. 1つ目と2つ目のセルはそのままにしておきます。変更しないでください。

3. パイプライン構成の詳細を使用してセル 3 を変更します。パイプライン.ingestion_definition を参照してください。および 例。

4. 必要に応じて高度なパイプライン設定を構成します。管理された取り込みパイプラインの一般的なパターンを参照してください。

5. 「 すべて実行 」をクリックします。

例

Google ワークスペース コネクターにより、default ソーススキーマ内で 35 のソーステーブル（Google ワークスペース アプリケーションごとに 1 つ）を利用できるようになります。個別のテーブル、または必要なテーブルを取り込みます。

特定のテーブルを取り込む

Declarative Automation Bundles

次のパイプライン定義ファイルは、gmailテーブルとloginテーブルを取り込みます:

YAML

resources:
  pipelines:
    google_workspace_pipeline:
      name: google_workspace_pipeline
      catalog: 'main'
      target: 'google_workspace_data'
      ingestion_definition:
        connection_name: google_workspace_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'gmail'
              destination_catalog: 'main'
              destination_schema: 'google_workspace_data'
              destination_table: 'gmail'
          - table:
              source_schema: 'default'
              source_table: 'login'
              destination_catalog: 'main'
              destination_schema: 'google_workspace_data'
              destination_table: 'login'

Databricks notebook

次のパイプライン仕様は、gmail および login テーブルを取り込みます。

Python

pipeline_name = "google_workspace_pipeline"
connection_name = "<google-workspace-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "gmail",
          "destination_catalog": "main",
          "destination_schema": "google_workspace_data",
          "destination_table": "gmail"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "login",
          "destination_catalog": "main",
          "destination_schema": "google_workspace_data",
          "destination_table": "login"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

宣言型オートメーションバンドル ジョブ定義ファイル

次のジョブ定義の例は毎日ランします。

YAML

resources:
  jobs:
    google_workspace_job:
      name: google_workspace_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: google_workspace_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.google_workspace_pipeline.id}

一般的なパターン

高度なパイプライン構成については、管理された取り込みパイプラインの一般的なパターンを参照してください。

次のステップ

パイプラインの起動、スケジュール、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース

• Google ワークスペース コネクタの FAQ
• Google ワークスペース コネクターの制限
• Google ワークスペース コネクタのリファレンス
• Google ワークスペース コネクタのトラブルシューティング