Microsoft Azure Synapse でフェデレーション クエリを実行する

この記事では、Azure Synapse SQLによって管理されていない ( データウェアハウス) データに対してフェデレーション クエリを実行するようにレイクハウスフェデレーションを設定する方法について説明します。Databricksレイクハウスフェデレーションの詳細については、「 レイクハウスフェデレーションとは」を参照してください。

レイクハウスフェデレーションを使用して Azure Synapse (SQL データウェアハウス) データベースに接続するには、 Databricks Unity Catalog メタストアに次のものを作成する必要があります。

• Azure Synapse(SQL データウェアハウス) データベースへの接続。
• Azure Synapse (SQL データウェアハウス) データベースを Unity Catalog にミラーリングし Unity Catalog クエリー構文とデータガバナンスツールを使用してデータベースへの Databricks ユーザー アクセスを管理できるようにする フォーリンカタログ 。

始める前に

ワークスペースの要件：

• Unity Catalogのワークスペースが有効になっています。

コンピュートの要件：

• コンピュート・リソースからターゲット・データベース・システムへのネットワーク接続。 「レイクハウスフェデレーションのネットワーキングに関する推奨事項」を参照してください。
• Databricks コンピュートは、 Databricks Runtime 13.3 LTS 以上、 および標準 または 専用 アクセスモードを使用する必要があります。
• SQLウェアハウスはProまたはServerlessで、2023.40以上を使用している必要があります。

必要な権限：

• 接続を作成するには、メタストア管理者か、ワークスペースに接続されているUnity Catalogメタストアの CREATE CONNECTION 権限を持つユーザーである必要があります。
• フォーリンカタログを作成するには、メタストアに対する CREATE CATALOG 権限を持ち、接続の所有者であるか、接続に対する CREATE FOREIGN CATALOG 権限を持っている必要があります。

追加の権限要件は、以下の各タスクベースのセクションに記載しています。

接続を作成する

接続では、外部データベースシステムにアクセスするためのパスと認証情報を指定します。接続を作成するには、カタログエクスプローラーを使用するか、Databricksノートブックまたは Databricks SQLクエリーエディタで CREATE CONNECTION SQLコマンドを使用できます。

注記

Databricks REST API または Databricks CLI を使用して接続を作成することもできます。 POST /api/2.1/unity-catalog/connections を参照してください。 および Unity Catalog コマンド。

必要な権限： メタストア管理者またはCREATE CONNECTION権限を持つユーザー。

Catalog Explorer

1. Databricks ワークスペースで、 カタログ をクリックします。

2. [カタログ]ウィンドウの上部にある [ 追加] アイコンをクリックし、メニューから [ 接続の追加] を選択します。

   または、 クイックアクセス ページから 外部データ > ボタンをクリックし、 接続 タブに移動して 接続を作成 をクリックします。

3. 接続のセットアップ ウィザードの 接続の基本 ページで、わかりやすい 接続名 を入力します。

4. [ 接続タイプ ] で [SQLDW] を選択します。

5. （オプション）コメントを追加します。

6. 次へ をクリックします。

7. [ 認証 ] ページで、Azure Synapse インスタンスの次の接続プロパティを入力します。

   • ホスト : たとえば、 sqldws-demo.database.windows.net.
   • ポート : たとえば、 1433
   • ユーザー
   • パスワード
   • 信頼サーバー証明書 : デフォルトでは選択されていません。選択すると、トランスポート層は SSL を使用してチャンネルを暗号化し、証明書チェーンをバイパスして信頼を検証します。 これは、信頼検証をバイパスする特定の必要がない限り、デフォルトのままにします。

8. 接続の作成 をクリックします。

9. [カタログの基本 ] ページで、フォーリンカタログの名前を入力します。フォーリンカタログは、外部データ・システム内のデータベースをミラーリングするため、 Databricks と Unity Catalogを使用して、そのデータベース内のデータへのアクセスをクエリおよび管理できます。

10. （オプション）[ 接続をテスト ]をクリックして、動作することを確認します。

11. [ カタログを作成 ] をクリックします。

12. [ アクセス ] ページで、作成したカタログにユーザーがアクセスできるワークスペースを選択します。[ すべてのワークスペースにアクセス権がある ] を選択するか、[ ワークスペースに割り当て ] をクリックし、ワークスペースを選択して [ 割り当て] をクリックします。

13. カタログ内のすべてのオブジェクトへのアクセスを管理できる 所有者 を変更します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。

14. カタログに対する 権限を付与 します。[ 許可 ] をクリックします。

    1. カタログ内のオブジェクトにアクセスできる プリンシパル を指定します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。

    2. 各プリンシパルに付与する 権限プリセット を選択します。デフォルトでは、すべてのアカウントユーザーに BROWSE が付与されます。

       • ドロップダウンメニューから「 データ閲覧者 」を選択して、カタログ内のオブジェクトに対する read 権限を付与します。
       • ドロップダウンメニューから「 データエディタ 」を選択して、カタログ内のオブジェクトに対する read 権限と modify 権限を付与します。
       • 付与する権限を手動で選択します。

    3. 付与 をクリックします。

15. 次へ をクリックします。

16. [メタデータ] ページで、タグのキーと値のペアを指定します。詳細については、「Unity Catalog セキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。

17. （オプション）コメントを追加します。

18. 保存 をクリックします。

SQL

ノートブックまたはDatabricks SQLクエリーエディタで次のコマンドを実行します。

SQL

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

資格情報などの機密性の高い値には、プレーンテキスト文字列の代わりに Databricks シークレット を使用することをお勧めします。例えば：

SQL

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

シークレットの設定に関する情報については、「 シークレット管理」を参照してください。

フォーリンカタログの作成

注記

UI を使用してデータソースへの接続を作成する場合は、フォーリンカタログの作成が含まれているため、この手順をスキップできます。

フォーリンカタログは、外部データシステム内のデータベースをミラーリングするため、DatabricksとUnity Catalogを使用して、そのデータベース内のデータへのアクセスを管理できます。フォーリンカタログを作成するには、すでに定義されているデータソースへの接続を使用します。

フォーリンカタログを作成するには、Catalog ExplorerCREATE FOREIGN CATALOGSQL を使用するか、Databricks ノートブックまたは クエリSQL エディターの コマンドを使用します。Databricks REST API または Databricks CLI を使用してカタログを作成することもできます。 POST /api/2.1/unity-catalog/catalogs を参照してください。 および Unity Catalog コマンド。

必要な権限： メタストアの CREATE CATALOG 権限、接続の所有権または接続の CREATE FOREIGN CATALOG 権限。

Catalog Explorer

1. Databricks ワークスペースで、[カタログ]をクリックして カタログエクスプローラー を開きます。

2. カタログ ペインの上部で、 追加 アイコンをクリックし、メニューから[ カタログを追加 ]を選択します。

   または、 クイックアクセス ページから[ カタログ ]ボタンをクリックし、[ カタログを作成 ]ボタンをクリックします。

3. 「カタログの作成」のフォーリンカタログの作成手順に従います。

SQL

ノートブックまたは SQL クエリ エディターで次の SQL コマンドを実行します。括弧内の項目はオプションです。プレースホルダーの値を置き換えます。

• <catalog-name>：Databricksのカタログの名前。
• <connection-name>: データソース、パス、およびアクセス認証情報を指定する 接続オブジェクト 。
• <database-name>：Databricksでカタログとしてミラーリングするデータベースの名前。

SQL

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

サポートされているプッシュダウン

次のプッシュダウンがサポートされています。

• フィルター
• 予測
• 上限
• 集計 (Average、Count、Max、Min、StddevPop、StddevSamp、Sum、VarianceSamp)
• 関数（算術関数やその他の雑多な関数、エイリアス、キャスト、ソートオーダーなど）
• 分別

次のプッシュダウンはサポートされていません。

• テーブルのJOIN
• Windows の機能

データ型マッピング

Synapse / SQL データウェアハウスから Sparkに読み込むと、データ型は次のようにマップされます。

Synapse タイプ	Spark タイプ
decimal, money, numeric, smallmoney	DecimalType
smallint	ShortType
tinyint	ByteType
int	IntegerType
bigint	LongType
real	FloatType
float	DoubleType
char、nchar、ntext、nvarchar、テキスト、uniqueidentifier、varchar、xml	StringType
binary, geography, geometry, image, timestamp, udt, varbinary	BinaryType
bit	BooleanType
日付	DateType
datetime, datetime, smalldatetime, time	TimestampType/TimestampNTZType*

※ Synapse / SQL データウェアハウス (SQLDW) から読み込む場合、SQLDW datetimesは Spark TimestampType if preferTimestampNTZ = false (デフォルト) にマッピングされます。 SQLDW datetimesは、preferTimestampNTZ = trueの場合、TimestampNTZType にマップされます。