Snowflakeでフェデレーションクエリを実行する(OAuth アクセストークン)
このページでは、 によって管理されていない データに対して横串検索を実行するためのレイクハウスフェデレーションの設定方法について説明します。SnowflakeDatabricksレイクハウスフェデレーションの詳細については、「 レイクハウスフェデレーションとは」を参照してください。
レイクハウスフェデレーションを使用して Snowflake データベースに接続するには、 Databricks Unity Catalog メタストアに次のものを作成する必要があります。
- Snowflake データベースへの接続。
- Unity Catalog 内のSnowflakeデータベースをミラーリングする フォーリンカタログ で、 Unity Catalog クエリー構文およびデータガバナンスツールを使用して、データベースへのDatabricksユーザーアクセスを管理できます。
このページでは、 OAuth アクセストークンを使用したSnowflakeへの接続について説明します。その他の認証方法については、次のページを参照してください。
始める前に
ワークスペースの要件:
- Unity Catalogのワークスペースが有効になっています。
コンピュートの要件:
- コンピュート・リソースからターゲット・データベース・システムへのネットワーク接続。 レイクハウスフェデレーションのネットワーキングに関する推奨事項を参照してください。
- Databricks コンピュートは、 Databricks Runtime 13.3 LTS 以上、 および標準 または 専用 アクセスモードを使用する必要があります。
- SQLウェアハウスはProまたはServerlessで、2023.40以上を使用している必要があります。
必要な権限:
- 接続を作成するには、メタストア管理者か、ワークスペースに接続されているUnity Catalogメタストアの
CREATE CONNECTION
権限を持つユーザーである必要があります。 - フォーリンカタログを作成するには、メタストアに対する
CREATE CATALOG
権限を持ち、接続の所有者であるか、接続に対するCREATE FOREIGN CATALOG
権限を持っている必要があります。
追加の権限要件は、以下の各タスクベースのセクションに記載しています。
OAuth アクセス トークンを要求する
「How To: Snowflake OAuth を使用してカスタムクライアント用に OAuth トークンを生成して使用する」に従ってください Snowflakeナレッジベースで。
接続を作成する
接続では、外部データベースシステムにアクセスするためのパスと認証情報を指定します。接続を作成するには、カタログエクスプローラーを使用するか、Databricksノートブックまたは Databricks SQLクエリーエディタで CREATE CONNECTION
SQLコマンドを使用できます。
Databricks REST API または Databricks CLI を使用して接続を作成することもできます。 POST /api/2.1/unity-catalog/connections および Unity Catalog コマンドを参照してください。
必要な権限: メタストア管理者またはCREATE CONNECTION
権限を持つユーザー。
-
Databricks ワークスペースで、
カタログ をクリックします。
-
[ カタログ] ペインの上部にある [
追加] アイコンをクリックし、メニューから [ 接続の作成 ] を選択します。
または、「 クイック・アクセス 」ページで、「 外部データ>外部ロケーション 」ボタンをクリックし、「 接続」 タブに移動して、「 接続の作成 」をクリックします。
-
接続のセットアップ ウィザードの 接続の基本 ページで、わかりやすい 接続名 を入力します。
-
[ 接続タイプ] で [ Snowflake] を選択します。
-
[Auth type ] で、ドロップダウンメニューから [
OAuth Access Token
] を選択します。 -
(オプション)コメントを追加します。
-
次へ をクリックします。
-
[ 認証] ページで、次の認証と接続の詳細を入力します。
- ホスト : たとえば、
snowflake-demo.east-us-2.azure.snowflakecomputing.com
です。 - ポート : デフォルト値は
443
です。 - ユーザー : 個人のSnowflakeユーザー名を使用します。
- アクセストークン : OAuthアクセストークンをリクエストするからのアクセストークン。
- (オプション) Expires in secs : Request an OAuth access token (
expires_in
)からのアクセストークンの有効期限(秒単位)。
- ホスト : たとえば、
-
次へ をクリックします。
-
[接続の詳細] ページで、 Snowflakeウェアハウス の名前を入力します。
-
Snowflakeへの接続にプロキシを使用する場合は、 プロキシを使用する ボックスをオンにして、必要な詳細を入力します。
-
接続の作成 をクリックします。
-
カタログの基本 ページで、フォーリンカタログの名前を入力します。
-
[データベース] に、Snowflakeにデータベース名を入力します。フォーリンカタログは、外部データシステム内のデータベースをミラーリングするため、 Databricks と Unity Catalogを使用して、そのデータベース内のデータへのアクセスを照会および管理できます。
-
(オプション)[ 接続をテスト ]をクリックして、動作することを確認します。
-
[ カタログを作成 ] をクリックします。
-
アクセス ページで、作成したカタログにユーザーがアクセスできるワークスペースを選択します。 すべてのワークスペースにアクセス権がある を選択するか、 ワークスペースに割り当て をクリックし、ワークスペースを選択して 割り当て をクリックします。
-
カタログ内のすべてのオブジェクトへのアクセスを管理できる 所有者 を変更します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。
-
カタログに対する 権限を付与 します。[ 許可 ] をクリックします。
-
カタログ内のオブジェクトにアクセスできる プリンシパル を指定します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。
-
各プリンシパルに付与する 権限プリセット を選択します。デフォルトでは、すべてのアカウントユーザーに
BROWSE
が付与されます。- ドロップダウンメニューから「 データ閲覧者 」を選択して、カタログ内のオブジェクトに対する
read
権限を付与します。 - ドロップダウンメニューから「 データエディタ 」を選択して、カタログ内のオブジェクトに対する
read
権限とmodify
権限を付与します。 - 付与する権限を手動で選択します。
- ドロップダウンメニューから「 データ閲覧者 」を選択して、カタログ内のオブジェクトに対する
-
付与 をクリックします。
-
-
次へ をクリックします。
-
[メタデータ] ページで、タグのキーと値のペアを指定します。詳細については、「Unity Catalog セキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。
-
(オプション)コメントを追加します。
-
保存 をクリックします。
大文字と小文字を区別するデータベース識別子
フォーリンカタログのdatabase
フィールドは、Snowflake データベース識別子にマップされます。 Snowflake データベース識別子が大文字と小文字を区別しない場合は、フォーリンカタログ<database-name>
で使用する大文字と小文字が保持されます。 ただし、Snowflake データベース識別子が大文字と小文字を区別する場合は、大文字と小文字を保持するためにフォーリンカタログ<database-name>
を二重引用符で囲む必要があります。
例えば:
-
database
は次のように変換されます。DATABASE
-
"database"
は次のように変換されます。database
-
"database"""
は次のように変換されます。database"
二重引用符をエスケープするには、別の二重引用符を使用します。
-
"database""
二重引用符が正しくエスケープされないため、エラーが発生します。
詳細については、Snowflake ドキュメントの 「識別子の要件 」を参照してください。
サポートされているプッシュダウン
次のプッシュダウンがサポートされています。
- フィルター
- 予測
- 上限
- テーブルのJOIN
- 集計 (Average、Corr、CovPopulation、CovSample、Count、Max、Min、StddevPop、StddevSamp、Sum、VariancePop、VarianceSamp)
- 関数 (文字列関数、数学関数、データ関数、時刻関数、タイムスタンプ関数、およびその他の関数 (Alias、Cast、SortOrder など))
- Windows の機能 (密度ランク、ランク、行番号)
- 分別
データ型マッピング
SnowflakeからSparkに読み取ると、データ型は次のようにマップされます。
Snowflake タイプ | Spark タイプ |
---|---|
decimal, number, numeric | DecimalType |
bigint, byteint, int, integer, smallint, tinyint | IntegerType |
float, float4, float8 | FloatType |
double, double precision, real | DoubleType |
char, character, string, text, time, varchar | StringType |
binary | BinaryType |
boolean | BooleanType |
日付 | DateType |
datetime, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz | TimestampType |
制限
- Snowflake OAuth エンドポイントは、Databricks コントロールプレーン IP からアクセスできる必要があります。「Databricks のサービスと資産の IP アドレスとドメイン」を参照してください。Snowflake は、セキュリティ統合レベルでのネットワーク ポリシーの設定をサポートしており、これにより、 Databricks コントロール プレーンから OAuth エンドポイントへの直接接続を可能にする別のネットワーク ポリシーを使用して承認を行うことができます。
- プロキシの使用 、 プロキシホスト 、 プロキシポート 、およびSnowflakeロール構成オプションはサポートされていません。 Snowflake ロール を OAuth スコープの一部として指定します。
追加のリソース
Snowflakeドキュメンテーションの次の記事をご参照ください。