Google Search Console からデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Lakeflow Connect for Google Search Console を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

このページでは、Lakeflow Connect を使用して管理された Google Search Console インジェストパイプラインを作成する方法について説明します。

要件

• 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

  • ワークスペースでUnity Catalogが有効になっている必要があります。

  • ワークスペースで Serverless コンピュートを有効にする必要があります。See Serverless コンピュートの要件.

  • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 権限が必要です。Unity Catalog での権限の管理を参照してください。

    コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

  • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 権限または ALL PRIVILEGES 権限が必要です。

  • ターゲットカタログに対するUSE CATALOG権限が必要です。

  • 既存のスキーマに対する USE SCHEMA 権限と CREATE TABLE 権限、またはターゲットカタログに対する CREATE SCHEMA 権限が必要です。

• Google Search Console から取り込むには、まず Databricks からの認証を構成し、接続を作成します。Google Search Console への認証の構成およびGoogle Search Console 接続の作成を参照してください。

コネクターのオプション

パイプラインスコープのオプションを source_configurations に設定し、テーブルスコープのオプションを個々のオブジェクトに設定します。使用方法については、「Examples」を参照してください。

オプション	スコープ	必須	適用対象	説明
site_urls	パイプライン	はい	すべてのテーブル	取り込む対象の、確認済み Google サーチコンソール プロパティURL（例：https://example.com/ または sc-domain:example.com）。各URLは、Google サーチコンソールで確認済みのプロパティである必要があります。
start_date	パイプライン	No	すべての増分テーブル (search_analytics_*、hourly_search_analytics_*、custom_report)	データを取り込む最も早い日付（yyyy-MM-dd形式）。最初の同期の500日前がdefault。sites または sitemaps には影響しません。
data_state	テーブル	No	毎日の検索パフォーマンス テーブル (search_analytics_*) と custom_report	日次検索パフォーマンス テーブルと custom_report のデータの鮮度。all (default) には、最終データと最新データが含まれます。final には、最終データのみが含まれます。search_analytics_* オブジェクトと custom_report オブジェクトに対してのみ設定します。sites、sitemaps、hourly_search_analytics_* テーブルは、このオプションを受け入れません。
dimensions	テーブル	はい	custom_report のみ	レポートのグループ化に使用するディメンション（例：'["country", "device"]'）。指定可能な値は、date、country、device、page、およびqueryです。コネクタには、一覧に記載されていない場合でもdateが含まれます。
search_types	テーブル	はい	custom_report のみ	レポートをランする検索タイプ（ '["web", "image"]' など）。許可される値は、 web、 image、 video、 news、 discover、およびgoogleNewsです。
aggregation_type	テーブル	No	custom_report のみ	Google Search Consoleがメトリクスをどのように集計するか。auto（default）、byPage、またはbyPropertyのいずれか。byPropertyは、pageディメンション、discover、およびgoogleNews検索タイプをサポートしていません。

オプション	スコープ	必須	適用対象	説明
site_urls	パイプライン	はい	すべてのテーブル	取り込む対象の、確認済み Google サーチコンソール プロパティURL（例：https://example.com/ または sc-domain:example.com）。各URLは、Google サーチコンソールで確認済みのプロパティである必要があります。
start_date	パイプライン	No	すべての増分テーブル (search_analytics_*、hourly_search_analytics_*、custom_report)	データを取り込む最も早い日付（yyyy-MM-dd形式）。最初の同期の500日前がdefault。sites または sitemaps には影響しません。
data_state	テーブル	No	毎日の検索パフォーマンス テーブル (search_analytics_*) と custom_report	日次検索パフォーマンス テーブルと custom_report のデータの鮮度。all (default) には、最終データと最新データが含まれます。final には、最終データのみが含まれます。search_analytics_* オブジェクトと custom_report オブジェクトに対してのみ設定します。sites、sitemaps、hourly_search_analytics_* テーブルは、このオプションを受け入れません。
dimensions	テーブル	はい	custom_report のみ	レポートのグループ化に使用するディメンション（例：'["country", "device"]'）。指定可能な値は、date、country、device、page、およびqueryです。コネクタには、一覧に記載されていない場合でもdateが含まれます。
search_types	テーブル	はい	custom_report のみ	レポートをランする検索タイプ（ '["web", "image"]' など）。許可される値は、 web、 image、 video、 news、 discover、およびgoogleNewsです。
aggregation_type	テーブル	No	custom_report のみ	Google Search Consoleがメトリクスをどのように集計するか。auto（default）、byPage、またはbyPropertyのいずれか。byPropertyは、pageディメンション、discover、およびgoogleNews検索タイプをサポートしていません。

取り込みパイプラインを作成

サポートされているソーステーブルの一覧については、サポートされているソーステーブルをご覧ください。

Databricks UI

1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
2. データの追加 ページの Databricks コネクタ で、 Google Search Console をクリックします。
3. データの取り込みウィザードの 接続 ページで、Google Search Console 資格情報を格納する接続を選択します。メタストアに対する CREATE CONNECTION 特権を持っている場合は、 接続を作成 をクリックし、Google Search Console に対する認証を構成するの資格情報を使用して接続を作成します。
4. 次へ をクリックします。
5. インジェスト設定 ページで、パイプラインの名前を入力します。
6. イベント Logs を書き込むカタログとスキーマを選択します。カタログに対する USE CATALOG および CREATE SCHEMA 特権を持っている場合は、ドロップダウンメニューの スキーマを作成 をクリックしてスキーマを作成します。
7. サイト URL には、インジェストする1つ以上の検証済み Google Search Console プロパティ URL を入力します。オプションで、 開始日 を設定します。コネクターのオプションを参照してください。
8. パイプラインの作成および続行 をクリックします。
9. ソース ページで、取り込むテーブルを選択します。必要に応じて、毎日の検索パフォーマンス テーブル (search_analytics_*) の データの状態 を設定します。
10. 保存して続行 をクリックします。
11. 宛先 ページで、データを読み込むカタログとスキーマを選択します。カタログに対する USE CATALOG および CREATE SCHEMA 特権がある場合は、ドロップダウンメニューの スキーマの作成 をクリックしてスキーマを作成します。
12. 保存して続行 をクリックします。
13. (オプション) スケジュールと通知 ページで、 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
14. (オプション) 通知の追加 をクリックして、パイプラインの操作の成功または失敗の Eメール通知を設定し、 保存してパイプラインをラン をクリックします。

Declarative Automation Bundles

宣言型オートメーションバンドルを使用して、Google Search Console パイプラインをコードとして管理します。バンドルにはジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース（開発、ステージング、本番運用など）で共有および実行できます。詳細については、「宣言型オートメーションバンドルとは？」をご覧ください。

1. Databricks CLIを使用してバンドルを作成するには:

   Bash

   databricks bundle init

2. バンドルに2つの新しいリソースファイルを追加します：

   • パイプライン定義ファイル (例: resources/google_search_console_pipeline.yml)。See パイプライン.ingestion_definition および 「 例 」。
   • データ取り込みの頻度を制御するジョブ定義ファイル（例：resources/google_search_console_job.yml）。

3. Databricks CLIを使用してパイプラインをデプロイします：

   Bash

   databricks bundle deploy

Databricks notebook

1. 次のノートブックをDatabricksワークスペースにインポートします：

ノートブックを新しいタブで開くOpen in Databricks

2. セル1とセル2はそのままにしておきます。変更しないでください。

3. セル3を、パイプラインの構成詳細に合わせて変更します。「パイプライン.ingestion_definition」を参照してください。および 例。

4. 必要に応じて、高度なパイプライン設定を構成します。管理された取り込みパイプラインの一般的なパターンを参照してください。

5. 「 すべて実行 」をクリックします。

例

Google Search Console コネクタは、default ソーススキーマの下で以下のソーステーブルを利用可能にします：

テーブルタイプ	テーブル
サイトテーブル	sites, sitemaps
日次検索パフォーマンスレポートテーブル	search_analytics_all_fields、search_analytics_by_country、search_analytics_by_date、search_analytics_by_device、search_analytics_by_page、search_analytics_by_query、search_analytics_page_report、search_analytics_site_report_by_page、 search_analytics_site_report_by_site
毎時の検索パフォーマンスレポートテーブル	hourly_search_analytics_page_report、hourly_search_analytics_site_report_by_page、 hourly_search_analytics_site_report_by_site
カスタムレポート表	custom_report

テーブルタイプ	テーブル
サイトテーブル	sites, sitemaps
日次検索パフォーマンスレポートテーブル	search_analytics_all_fields、search_analytics_by_country、search_analytics_by_date、search_analytics_by_device、search_analytics_by_page、search_analytics_by_query、search_analytics_page_report、search_analytics_site_report_by_page、 search_analytics_site_report_by_site
毎時の検索パフォーマンスレポートテーブル	hourly_search_analytics_page_report、hourly_search_analytics_site_report_by_page、 hourly_search_analytics_site_report_by_site
カスタムレポート表	custom_report

スキーマの詳細については、サポートされているソーステーブルを参照してください。

検索パフォーマンス レポート テーブルを取り込む

以下の例ではsearch_analytics_all_fieldsを取り込みます。これは、5つのすべてのディメンション（日付、国、デバイス、ページ、クエリー）で集計された日次パフォーマンスデータを返します。

Declarative Automation Bundles

YAML

resources:
  pipelines:
    google_search_console_pipeline:
      name: google_search_console_pipeline
      catalog: 'main'
      target: 'google_search_console_data'
      ingestion_definition:
        connection_name: google_search_console_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                site_urls: '["<site-url>"]'
                start_date: '<start-date>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'search_analytics_all_fields'
              destination_catalog: 'main'
              destination_schema: 'google_search_console_data'
              destination_table: 'search_analytics_all_fields'
              connector_options:
                api_source_connector_options:
                  options:
                    data_state: 'all'

Databricks notebook

Python

pipeline_spec = {
  "name": "<pipeline-name>",
  "catalog": "<catalog-name-for-event-logs>",
  "schema": "<schema-name-for-event-logs>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "site_urls": "[\"<site-url>\"]",
            "start_date": "<start-date>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "search_analytics_all_fields",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "destination_table": "search_analytics_all_fields",
          "connector_options": {
            "api_source_connector_options": {
              "options": {
                "data_state": "all"
              }
            }
          }
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

サイトテーブルを取り込む

次の例では sites を取り込みます。これは、検証済みの Google Search Console プロパティに関するメタデータを返します。サイトテーブルはパイプラインが実行されるたびに完全に更新されるため、start_date はそれらに影響を与えず、data_state も受け付けません。

Declarative Automation Bundles

YAML

resources:
  pipelines:
    google_search_console_pipeline:
      name: google_search_console_pipeline
      catalog: 'main'
      target: 'google_search_console_data'
      ingestion_definition:
        connection_name: google_search_console_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                site_urls: '["<site-url>"]'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'sites'
              destination_catalog: 'main'
              destination_schema: 'google_search_console_data'
              destination_table: 'sites'

Databricks notebook

Python

pipeline_spec = {
  "name": "<pipeline-name>",
  "catalog": "<catalog-name-for-event-logs>",
  "schema": "<schema-name-for-event-logs>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "site_urls": "[\"<site-url>\"]"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "sites",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "destination_table": "sites"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

カスタムレポートを取り込む

次の例では、クエリーと国ごとの日次ウェブおよび画像検索パフォーマンスを集計したカスタムレポートを取り込みます。同じパイプラインで複数のカスタムレポートを取り込むには、各レポートに custom_report オブジェクトを追加します。各オブジェクトは異なる destination_table を持つ必要があります。オプションについては、カスタムレポートを参照してください。

Declarative Automation Bundles

YAML

resources:
  pipelines:
    google_search_console_pipeline:
      name: google_search_console_pipeline
      catalog: 'main'
      target: 'google_search_console_data'
      ingestion_definition:
        connection_name: google_search_console_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                site_urls: '["<site-url>"]'
                start_date: '<start-date>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'custom_report'
              destination_catalog: 'main'
              destination_schema: 'google_search_console_data'
              destination_table: 'search_performance_by_query_and_country'
              connector_options:
                api_source_connector_options:
                  options:
                    dimensions: '["query", "country"]'
                    search_types: '["web", "image"]'
                    aggregation_type: 'auto'
                    data_state: 'final'

Databricks notebook

Python

pipeline_spec = {
  "name": "<pipeline-name>",
  "catalog": "<catalog-name-for-event-logs>",
  "schema": "<schema-name-for-event-logs>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "site_urls": "[\"<site-url>\"]",
            "start_date": "<start-date>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "custom_report",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "destination_table": "search_performance_by_query_and_country",
          "connector_options": {
            "api_source_connector_options": {
              "options": {
                "dimensions": "[\"query\", \"country\"]",
                "search_types": "[\"web\", \"image\"]",
                "aggregation_type": "auto",
                "data_state": "final"
              }
            }
          }
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

サイトおよび検索パフォーマンスのテーブルをまとめて取り込む

次の例では、サイトテーブルと検索パフォーマンスレポートテーブルを 1 つのパイプラインに結合します。

Declarative Automation Bundles

YAML

resources:
  pipelines:
    google_search_console_pipeline:
      name: google_search_console_pipeline
      catalog: 'main'
      target: 'google_search_console_data'
      ingestion_definition:
        connection_name: google_search_console_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                site_urls: '["<site-url>"]'
                start_date: '<start-date>'
        objects:
          # sites does not accept data_state, so it has no connector_options block.
          - table:
              source_schema: 'default'
              source_table: 'sites'
              destination_catalog: 'main'
              destination_schema: 'google_search_console_data'
              destination_table: 'sites'
          - table:
              source_schema: 'default'
              source_table: 'search_analytics_by_page'
              destination_catalog: 'main'
              destination_schema: 'google_search_console_data'
              destination_table: 'search_analytics_by_page'
              connector_options:
                api_source_connector_options:
                  options:
                    data_state: 'final'

Databricks notebook

Python

pipeline_spec = {
  "name": "<pipeline-name>",
  "catalog": "<catalog-name-for-event-logs>",
  "schema": "<schema-name-for-event-logs>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "site_urls": "[\"<site-url>\"]",
            "start_date": "<start-date>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "sites",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "destination_table": "sites"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "search_analytics_by_page",
          "destination_catalog": "<destination-catalog>",
          "destination_schema": "<destination-schema>",
          "destination_table": "search_analytics_by_page",
          "connector_options": {
            "api_source_connector_options": {
              "options": {
                "data_state": "final"
              }
            }
          }
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

宣言型オートメーションバンドルのジョブ定義ファイル

以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

Declarative Automation Bundles

YAML

resources:
  jobs:
    google_search_console_job:
      name: google_search_console_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: google_search_console_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.google_search_console_pipeline.id}

一般的なパターン

高度なパイプライン構成については、「マネージド取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ

パイプラインの起動、スケジュール、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース

• Google Search Console コネクターの FAQ
• Google Search Console コネクタの制限事項
• Google Search Console コネクタ リファレンス
• Google Search Console コネクタのトラブルシューティング