Snowflake でフェデレーション クエリを実行する

プレビュー

この機能はパブリックプレビュー段階です。

この記事では、Databricks によって管理されていない Snowflake データに対してフェデレーション クエリを実行するためにレイクハウスフェデレーションを設定する方法について説明します。 レイクハウスフェデレーションの詳細については、 「レイクハウスフェデレーションとは」を参照してください。

レイクハウスフェデレーションを使用してSnowflakeデータベースに接続するには、Databricks Unity Catalogメタストアに以下を作成する必要があります。

• Snowflake データベース への接続 。

• Unity Catalog 内のSnowflakeデータベースをミラーリングする フォーリンカタログ で、 Unity Catalog クエリー構文およびデータガバナンスツールを使用して、データベースへのDatabricksユーザーアクセスを管理できます。

始める前に

ワークスペースの要件:

• ワークスペースで Unity Catalogが有効になっています。

コンピュート 要件:

• Databricks Runtime クラスターまたは SQLウェアハウスからターゲット データベース システムへのネットワーク接続。レイクハウスフェデレーションのネットワークに関する推奨事項を参照してください。

• Databricks クラスターでは、Databricks Runtime 13.3 LTS 以上と共有またはシングルユーザー アクセス モードを使用する必要があります。

• SQLウェアハウスはProまたはサーバーレスであり、2023.40以上を使用する必要があります。

必要な権限:

• 接続を作成するには、メタストア管理者であるか、ワークスペースにアタッチされている Unity Catalog メタストアに対する CREATE CONNECTION 権限を持つユーザーである必要があります。

• フォーリンカタログを作成するには、メタストアに対する CREATE CATALOG 権限を持ち、接続の所有者であるか、接続に対する CREATE FOREIGN CATALOG 権限を持っている必要があります。

追加のアクセス許可要件は、以降の各タスクベースのセクションで指定されています。

• シングル サインオン (SSO) を使用して認証する予定の場合は、Snowflake コンソールでセキュリティ統合を作成します。 詳細については、次のセクションを参照してください。

（オプション）Snowflakeコンソールでセキュリティ統合を作成する

SSO使用して認証する場合は、 Snowflake接続を作成する前に次の手順に従ってください。 代わりにユーザ名とパスワードを使用して認証するには、このセクションをスキップします。

注：

Snowflake のネイティブ OAuth 統合のみがサポートされています。 Okta や Microsoft Entra ID などの外部 OAuth 統合はサポートされていません。

Snowflake コンソールで、 CREATE SECURITY INTEGRATION実行します。 次の値を置き換えます。

• <integration-name>: OAuth 統合の一意の名前。

• <workspace-url>: Databricks ワークスペースの URL。 OAUTH_REDIRECT_URIをhttps://<workspace-url>/login/oauth/snowflake.htmlに設定する必要があります。ここで、 <workspace-url> 、Snowflake 接続を作成する Databricks ワークスペースの一意の URL です。

• <duration-in-seconds>: トークンの更新にかかる時間の長さ。

  重要

  OAUTH_REFRESH_TOKEN_VALIDITY デフォルトで 90 日に設定されているカスタム フィールドです。 更新トークンの有効期限が切れた後は、接続を再認証する必要があります。 フィールドを妥当な時間の長さに設定します。

CREATE SECURITY INTEGRATION <integration-name>
TYPE = oauth
ENABLED = true
OAUTH_CLIENT = custom
OAUTH_CLIENT_TYPE = 'CONFIDENTIAL'
OAUTH_REDIRECT_URI = 'https://<workspace-url>/login/oauth/snowflake.html'
OAUTH_ISSUE_REFRESH_TOKENS = TRUE
OAUTH_REFRESH_TOKEN_VALIDITY = <duration-in-seconds>
OAUTH_ENFORCE_PKCE = TRUE;

接続を作成する

接続では、外部データベース システムにアクセスするためのパスと資格情報を指定します。 接続を作成するには、カタログ エクスプローラーを使用するか、Databricks ノートブックまたは Databricks SQL クエリー エディターで CREATE CONNECTION SQL コマンドを使用できます。

必要な権限: メタストア管理者または CREATE CONNECTION 権限を持つユーザー。

1. Databricks ワークスペースで、[ カタログ] をクリックします 。

2. [ カタログ ] ウィンドウの上部にある [ 追加 ] アイコンをクリックし、メニューから [ 接続の追加 ] を選択します。

   または、クイック アクセスページで[外部データ >]ボタンをクリックし、 [接続]タブに移動して[接続の作成] をクリックします。

3. わかりやすい 接続名を入力します。

4. [接続タイプ] として [Snowflake] を選択します。

5. Snowflakeウェアハウスの次の接続プロパティを入力します。

   • 認証タイプ: OAuth または Username and password

   • ホスト: たとえば、 snowflake-demo.east-us-2.azure.snowflakecomputing.com

   • ポート: たとえば、 443

   • ウェアハウスSnowflake : たとえば、 my-snowflake-warehouse

   • ユーザー: たとえば、 snowflake-user

   • (OAuth)クライアント ID : Snowflake コンソールでSELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security_integration_name>')を実行して、セキュリティ統合のクライアント ID を取得します。

   • (OAuth):クライアント シークレット: Snowflake コンソールでSELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security_integration_name>')を実行して、セキュリティ統合のクライアント シークレットを取得します。

   • (OAuth認証取得) クライアント スコープ: refresh_token session:role:<role-name>. <role-name>で使用する Snowflake ロールを指定します。

   • (ユーザ名とパスワード) パスワード: たとえば、 password123

   (OAuth) SSO 資格情報を使用して Snowflake にサインインするように求められます。

6. (オプション)[ 接続のテスト ] をクリックして、動作することを確認します。

7. (オプション)コメントを追加します。

8. [作成]をクリックします。

ノートブックまたは Databricks SQL クエリー エディターで次のコマンドを実行します。

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user '<user>',
  password '<password>'
);

資格情報などの機密性の高い値には、プレーンテキスト文字列の代わりに Databricks シークレット を使用することをお勧めします。 例えば：

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

シークレットの設定に関する情報については、「 シークレット管理」を参照してください。

フォーリンカタログの作成

フォーリンカタログは、外部データ システム内のデータベースをミラーリングするため、Databricks と Unity Catalogを使用して、そのデータベース内のデータへのアクセスを管理できます。 フォーリンカタログを作成するには、すでに定義されている DATA への接続を使用します。

フォーリンカタログを作成するには、カタログ エクスプローラー、または Databricks ノートブックまたは SQL クエリ エディターのCREATE FOREIGN CATALOG SQL コマンドを使用できます。

必要なアクセス許可: メタストアに対する CREATE CATALOG アクセス許可と、接続の所有権または接続に対する CREATE FOREIGN CATALOG 特権。

1. Databricks ワークスペースで、[カタログ]をクリックしてカタログ・エクスプローラーを開きます。

2. [ カタログ ] ウィンドウの上部にある [ 追加 ] アイコンをクリックし、メニューから [ カタログの追加 ] を選択します。

   または、[ クイック アクセス ] ページで [ カタログ ] ボタンをクリックし、[ カタログの作成 ] ボタンをクリックします。

3. 「カタログの作成」のフォーリンカタログの作成手順に従ってください。

ノートブックまたは SQL クエリ エディターで次の SQL コマンドを実行します。 括弧内の項目はオプションです。 プレースホルダーの値を置き換えます。

• <catalog-name>: Databricksのカタログの名前。

• <connection-name>: データソース、パス、およびアクセス資格情報を指定する 接続オブジェクト 。

• <database-name>: Databricks でカタログとしてミラー化するデータベースの名前。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

大文字と小文字を区別するデータベース識別子

フォーリンカタログのdatabaseフィールドは、Snowflake データベース識別子にマップされます。 Snowflake データベース識別子が大文字と小文字を区別しない場合は、フォーリンカタログ<database-name>で使用する大文字と小文字が保持されます。 ただし、Snowflake データベース識別子が大文字と小文字を区別する場合は、大文字と小文字を保持するためにフォーリンカタログ<database-name>を二重引用符で囲む必要があります。

例：

• database は DATABASE

• "database" は database

• "database""" は database"

  二重引用符をエスケープするには、別の二重引用符を使用します。

• "database"" 二重引用符が正しくエスケープされていないため、エラーが発生します。

詳細については、 ドキュメントの 識別子の要件 Snowflakeを参照してください。

サポートされているプッシュダウン

次のプッシュダウンがサポートされています。

• フィルター

• 予測

• 極限

• 結合

• 集計 (Average, Corr, CovPopulation, CovSample, Count, Max, Min, StddevPop, StddevSamp, Sum, VariancePop, VarianceSamp)

• 関数 (文字列関数、数学関数、データ、時刻、タイムスタンプ関数、およびエイリアス、キャスト、並べ替え順序などの他の関数)

• Windows の機能 (密度ランク、ランク、行番号)

• 分別

データ型マッピング

Snowflake から Spark に読み取ると、データ型は次のようにマップされます。

Snowflake タイプ	Spark タイプ
decimal, number, numeric	DecimalType
bigint, byteint, int, integer, smallint, tinyint	IntegerType
float, float4, float8	FloatType
double, double precision, real	DoubleType
char, character, string, text, time, varchar	StringType
binary	BinaryType
Boolean	BooleanType
date	DateType
datetime, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz	TimestampType

OAuth の制限

OAuth サポートの制限は次のとおりです。

• Snowflake OAuth エンドポイントは、Databricks コントロール プレーン IP からアクセスできる必要があります。 Databricks コントロール プレーンからの送信 IPを参照してください。 Snowflake 、セキュリティ統合レベルでのネットワーク ポリシーの構成をサポートしており、これにより、 Databricksコントロール プレーンからOAuthエンドポイントへの直接接続を可能にして認証を可能にする別のネットワーク ポリシーが可能になります。

• プロキシの使用、プロキシ ホスト、プロキシ ポート、および Snowflake ロール構成オプションはサポートされていません。 OAuth スコープの一部としてSnowflake ロールを指定します。

関連リソース

• Snowflake ドキュメントでカスタム クライアント用に Snowflake OAuth を構成する

• SQL リファレンス: Snowflake ドキュメントの CREATE SECURITY INTEGRATION (Snowflake OAuth)