メインコンテンツまでスキップ
に最終更新

Google BigQuery で横串検索を実行する

このページでは、Databricks によって管理されていないBigQueryデータに対して横串検索を実行するためのレイクハウスフェデレーションの設定方法について説明します。レイクハウスフェデレーションの詳細については、レイクハウスフェデレーションとはを参照してください。

レイクハウスフェデレーションを使用してBigQueryデータベースに接続するには、 Databricks Unity Catalogメタストアに次のものを作成する必要があります (2024 年 3 月 6 日以降に作成されたワークスペースには、すでにUnity Catalogメタストア プロビジョニングが自動的に作成されています)。

  • BigQuery データベースへの接続。
  • Unity Catalog のクエリー構文ツールとデータガバナンス ツールを使用してデータベースへの Databricks ユーザー アクセスを管理できるように、Unity Catalog で BigQuery データベースをミラーリングする フォーリンカタログ 。

始める前に​

ワークスペースの要件：

  • Unity Catalogのワークスペースが有効になっています。

コンピュートの要件：

  • Databricks RuntimeクラスターまたはSQLウェアハウスからターゲットデータベースシステムへのネットワーク接続。レイクハウスフェデレーションのネットワーキングに関する推奨事項を参照してください。
  • Databricks クラスターでは、 Databricks Runtime 16.1 以降と標準または専用アクセス モード (以前の共有および単一ユーザー) を使用する必要があります。
  • SQLウェアハウスはProまたはServerlessである必要があります。

必要な権限：

  • 接続を作成するには、ワークスペースにアタッチされたUnity Catalogメタストアに対するCREATE CONNECTION権限が必要です。
  • フォーリンカタログを作成するには、メタストアに対する CREATE CATALOG 権限を持ち、接続の所有者であるか、接続に対する CREATE FOREIGN CATALOG 権限を持っている必要があります。

追加の権限要件は、以下の各タスクベースのセクションに記載しています。

接続を作成する​

接続では、外部データベースシステムにアクセスするためのパスと認証情報を指定します。接続を作成するには、カタログエクスプローラーを使用するか、Databricksノートブックまたは Databricks SQLクエリーエディタで CREATE CONNECTION SQLコマンドを使用できます。

注記

Databricks REST API または Databricks CLI を使用して接続を作成することもできます。 POST /api/2.1/unity-catalog/connections および Unity Catalog コマンドを参照してください。

必要な権限： メタストア管理者またはCREATE CONNECTION権限を持つユーザー。

  1. Databricks ワークスペースで、データアイコン。 カタログ をクリックします。

  2. カタログ パネルの上部にある追加またはプラスアイコンアイコン を追加し 、メニューから 接続の作成を 選択します。

  3. 接続のセットアップ ウィザードの 接続の基本 ページで、わかりやすい 接続名 を入力します。

  4. 接続の種類 で Google BigQuery を選択し、 次へ をクリックします。

  5. 認証 ページで、BigQueryインスタンスの Google サービス アカウント キーJSON を入力します。

    これは、BigQuery プロジェクトを指定し、認証を提供するために使用される未加工の JSON オブジェクトです。この JSON オブジェクトを生成して、Google Cloud のサービス アカウント詳細ページの [KEYS] からダウンロードできます。サービス アカウントには、 BigQuery ユーザー や BigQuery データビューア などの BigQuery で適切な権限が付与されている必要があります。次に例を示します。

    JSON
    {
      "type": "service_account",
      "project_id": "PROJECT_ID",
      "private_key_id": "KEY_ID",
      "private_key": "PRIVATE_KEY",
      "client_email": "SERVICE_ACCOUNT_EMAIL",
      "client_id": "CLIENT_ID",
      "auth_uri": "https://accounts.google.com/o/oauth2/auth",
      "token_uri": "https://accounts.google.com/o/oauth2/token",
      "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
      "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
      "universe_domain": "googleapis.com"
    }

  6. (オプション)BigQuery インスタンスの プロジェクト ID を入力します。

    これは、この接続で実行されるすべてのクエリの請求に使用される BigQuery プロジェクトの名前です。デフォルトをサービス アカウントのプロジェクト ID に設定します。 サービス アカウントには、BigQuery のこのプロジェクトに対する適切な権限( BigQuery ユーザー を含む)が付与されている必要があります。このプロジェクトでは、BigQuery による一時テーブルの保存に使用される追加のデータセットが作成される場合があります。

  7. （オプション）コメントを追加します。

  8. 接続の作成 をクリックします。

  9. カタログの基本 ページで、フォーリンカタログの名前を入力します。フォーリンカタログは、外部データ・システム内のデータベースをミラーリングするため、 Databricks と Unity Catalogを使用して、そのデータベース内のデータへのアクセスをクエリおよび管理できます。

  10. （オプション）[ 接続をテスト ]をクリックして、動作することを確認します。

  11. [ カタログを作成 ] をクリックします。

  12. アクセス ページで、作成したカタログにユーザーがアクセスできるワークスペースを選択します。 すべてのワークスペースにアクセス権がある を選択するか、 ワークスペースに割り当て をクリックし、ワークスペースを選択して 割り当て をクリックします。

  13. カタログ内のすべてのオブジェクトへのアクセスを管理できる 所有者 を変更します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。

  14. カタログに対する 権限を付与 します。[ 許可 ] をクリックします。

    1. カタログ内のオブジェクトにアクセスできる プリンシパル を指定します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。

    2. 各プリンシパルに付与する 権限プリセット を選択します。デフォルトでは、すべてのアカウントユーザーに BROWSE が付与されます。

      • ドロップダウンメニューから「 データ閲覧者 」を選択して、カタログ内のオブジェクトに対する read 権限を付与します。
      • ドロップダウンメニューから「 データエディタ 」を選択して、カタログ内のオブジェクトに対する read 権限と modify 権限を付与します。
      • 付与する権限を手動で選択します。

    3. 付与 をクリックします。

  15. 次へ をクリックします。

  16. [メタデータ] ページで、タグのキーと値のペアを指定します。詳細については、「Unity Catalog セキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。

  17. （オプション）コメントを追加します。

  18. 保存 をクリックします。

フォーリンカタログの作成​

注記

UI を使用してデータソースへの接続を作成する場合は、フォーリンカタログの作成が含まれているため、この手順をスキップできます。

フォーリンカタログは、外部データシステム内のデータベースをミラーリングするため、DatabricksとUnity Catalogを使用して、そのデータベース内のデータへのアクセスを管理できます。フォーリンカタログを作成するには、すでに定義されているデータソースへの接続を使用します。

フォーリンカタログを作成するには、カタログエクスプローラ を使用するか、 Databricks ノートブックまたは Databricks SQL クエリエディタで CREATE FOREIGN CATALOG を使用します。 Databricks REST API または Databricks CLI を使用してカタログを作成することもできます。 POST /api/2.1/unity-catalog/catalogs または Unity Catalog コマンドを参照してください。

必要な権限： メタストアの CREATE CATALOG 権限、接続の所有権または接続の CREATE FOREIGN CATALOG 権限。

  1. Databricks ワークスペースで、データアイコン。 カタログ をクリックしてカタログエクスプローラーを開きます。

  2. カタログ ペインの上部で、追加またはプラスアイコン 追加 アイコンをクリックし、メニューから[ カタログを追加 ]を選択します。

    または、 クイックアクセス ページから[ カタログ ]ボタンをクリックし、[ カタログを作成 ]ボタンをクリックします。

  3. (オプション)次のカタログ・プロパティを入力します。

    データ プロジェクト ID : このカタログにマッピングされるデータを含む BigQuery プロジェクトの名前。デフォルトは、接続レベルで設定された請求プロジェクト ID です。

  4. 「カタログの作成」のフォーリンカタログの作成手順に従います。

  5. （オプション）以下のカタログオプションを指定してください。

    • Materialization Datasetクエリ結果を具体化するために使用する、オプションのBigQueryデータセット名。指定がない場合、必要に応じてマテリアライゼーションデータセットが自動的にプロビジョニングされます。詳細については、 「マテリアライゼーション」を参照してください。
    • BIGNUMERIC Default ScaleBigQuery BIGNUMERIC Spark DecimalTypeにマッピングするためのオプションのスケール値。詳細については、 「データ型マッピング」を参照してください。

物質化​

他のフェデレーションコネクタとは異なり、 BigQueryコネクタはパフォーマンス向上のため、 JDBCではなくBigQueryストレージAPIsを使用します。 Databricksは、ストレージから直接、またはマテリアライズドデータセットを使用して、BigQueryからデータを読み込むことができます。ダイレクト読み取りは、大規模スキャンにおいて優れたパフォーマンスを発揮し、フィルターおよび投影プッシュダウンをサポートします。マテリアライゼーションは、結果をDatabricksにストリーミングする前に、追加の操作 (制限、集計、結合、並べ替え) をBigQueryコンピュートにプッシュします。

ビューと外部テーブルは常にマテリアライズされます。その他の読み取りはすべて、デフォルトではマテリアライズを行わずに直接ストレージを使用します。

高度なプッシュダウンが必要な場合、大規模なデータセットから小さな結果セットを読み取る場合、または地域をまたがるデータを読み取る場合は、マテリアライゼーションを有効にすることを検討してください。マテリアライゼーションには追加のBigQueryコンピュート料金が発生します。 マテリアライゼーションを有効にするには、以下の Spark 設定を行います。

SQL
SET spark.databricks.bigquery.enableMaterialization = true;

デフォルトでは、マテリアライゼーションデータセットは必要に応じて自動的にプロビジョニングされます。フォーリンカタログを作成または変更するときに、 materializationDatasetカタログ オプションを使用してカスタム データ セットを指定できます。 これは、サービスアカウントにデータセットを作成する権限がない場合、または一時的なマテリアライゼーションテーブルの保存場所を制御したい場合に役立ちます。例えば：

SQL
CREATE FOREIGN CATALOG my_catalog USING CONNECTION my_bq_connection
OPTIONS (materializationDataset 'my_materialization_dataset');

既存のカタログを更新するには、以下を実行します。

SQL
ALTER CATALOG my_catalog OPTIONS (materializationDataset 'my_materialization_dataset');

サポートされているプッシュダウン​

以下のプッシュダウンは、具体化なしでサポートされます。

  • フィルター
  • 予測

マテリアライゼーションが有効になっている場合、以下の追加のプッシュダウンがサポートされます。

  • 上限
  • 関数（部分的なサポート、フィルタ式のみ：文字列関数、数学関数、日付、時刻、タイムスタンプ関数、およびエイリアス、キャスト、ソート順などのその他の関数）
  • 集計
  • ソート (制限付きで使用した場合)
  • 結合 (Databricks Runtime 16.1 以降)

次のプッシュダウンはサポートされていません。

  • ウィンドウ機能

データ型マッピング​

次の表は、BigQuery から Spark へのデータ型のマッピングを示しています。

BigQuery タイプ

Spark タイプ

bignumeric, numeric

小数点型*

Int64

LongType

float64

DoubleType

array, geography, interval, json, string, struct

VarcharType

Bytes

BinaryType

bool

BooleanType

DATE

DateType

datetime, time, timestamp

TimestampType/TimestampNTZType

* BigQuery BIGNUMERICは最大 76 桁の精度を持ち、Spark の最大精度DecimalTypeである 38 桁を超えています。デフォルトでは、 BIGNUMERIC DecimalType(38, 38)にマッピングされます。スケールを設定するには、 bigNumericDefaultScaleカタログオプションを使用します。許容される値は [ 0 , 38 ] です。例えば、 bigNumericDefaultScale = '10' BIGNUMERICをDecimalType(38, 10)にマッピングします。BigQuery NUMERICは、宣言された精度とスケールにマッピングされます。

BigQuery から読み取ると、BigQuery Timestamp は Spark TimestampType ( preferTimestampNTZ = false の場合)(デフォルト)にマッピングされます。 BigQuery Timestamp は、preferTimestampNTZ = trueの場合に TimestampNTZType にマッピングされます。

トラブルシューティング​

Error creating destination table using the following query [<query>]​

一般的な原因: 接続で使用されるサービス アカウントに BigQuery ユーザー ロールがありません。

解決：

  1. 接続で使用されるサービス アカウントに BigQuery ユーザー ロールを付与します。このロールは、クエリ結果を一時的に保存するマテリアライゼーション データセットを作成するために必要です。
  2. クエリを再実行します。