レイクハウスフェデレーションのネットワーキングに関する推奨事項
この記事では、 Databricks クラスターまたは SQLウェアハウスと、レイクハウスフェデレーションを使用して接続している外部データベース システムとの間に実行可能なネットワーク パスを設定するためのガイダンスを提供します。
レイクハウスフェデレーションのネットワーク接続を設定する際には、以下の点を考慮してください。
- フェデレーションクエリのすべてのネットワークトラフィックは、Databricks クラスター (または SQLウェアハウス) と外部データベースシステムの間で直接行われます。Unity Catalog も Databricks コントロール プレーンもネットワーク パス上にありません。
- OAuthを使用する接続には、追加の要件があります。接続がOAuthで認証されると、OAuthトークンの交換はDatabricksのコントロールプレーンから行われ、コンピュートプレーンからは行われません。コントロールプレーンは、外部システムのOAuthエンドポイントに到達できる必要があります。これらの接続には、コンピュートプレーンのみを許可リストに含めるだけでは不十分です。コネクタ固有のガイダンスについては、関連する接続ページのネットワーキングまたは制限事項のセクション(Snowflakeでフェデレーションクエリを実行する (OAuth)やMicrosoft SQL Serverでフェデレーションクエリを実行するなど)を参照してください。HTTP接続は例外であり、OAuthをコントロールプレーンではなくサーバレスコンピュートプレーンを介してルーティングします。
- Databricks コンピュート (つまり、クラスターと SQLウェアハウス) は常にクラウド上でデプロイされますが、外部データベース システムは、 Databricks コンピュートと外部データベースの間に実行可能なネットワーク パスがある限り、オンプレミスにすることも、任意のクラウド プロバイダーでホストすることもできます。
- Databricksコンピュートまたは外部データベースシステムのいずれかにインバウンドまたはアウトバウンドネットワークの制限がある場合は、実行可能なネットワークパスを作成するのに役立つ一般的なガイダンスについて、次のセクションを参照してください。
Databricksワークスペースのネットワーキングの詳細については、「ネットワーキング」を参照してください。
データベースシステムと Databricks コンピュートはどちらもインターネットからアクセス可能
接続は、構成なしで機能するはずです。
データベース・システムにはネットワーク・アクセス制限があります
外部データベースシステムにインバウンドまたはアウトバウンドのネットワークアクセス制限があり、 Databricks クラスターまたは SQLウェアハウスにインターネットからアクセスできる場合は、次のいずれかのネットワークソリューションを構成して、クラシックコンピュートリソースから接続します。
-
Databricksコンピュート上の安定したエグレスIP。
従来のコンピュートプレーンから、ロードバランサーやNATゲートウェイ、インターネットゲートウェイなどで安定したIPアドレスを設定し、コンピュートがデプロイされているサブネット Databricks つなげます。 これにより、コンピュート リソースは、外部データベース側で許可リストに登録できる安定したパブリック IP アドレスを共有できます。
-
Private サービス Connect (外部データベースが Databricks コンピュートと同じクラウド上にある場合のみ)
クラシック コンピュート プレーンから、データベースがデプロイされているネットワークとコンピュートがデプロイされているネットワークの間にプライベート サービス コネクト接続 Databricks 構成します。
Databricks コンピュートにはネットワーク アクセス制限があります
外部データベースシステムがインターネットからアクセス可能で、 Databricks コンピュートにインバウンドまたはアウトバウンドのネットワークアクセス制限がある場合 (これは、顧客管理ネットワーク上にいる場合のみ可能)、次のいずれかの設定を実行します。
-
外部データベースのホスト名を、 Databricks コンピュートがデプロイされているサブネットのファイアウォールルールに含めます。
ホスト名ではなく外部データベースの IP アドレスを許可リストに登録する場合は、外部データベースに安定した IP アドレスがあることを確認してください。
-
Private サービス Connect (外部データベースがコンピュートと同じクラウド上にある場合 Databricks のみ)
データベースがデプロイされているネットワークと Databricks コンピュートがデプロイされているネットワークとの間に Private サービス Connect 接続を構成します。
Databricks コンピュートにはカスタムDNSサーバーがあります
外部データベース・システムがインターネットからアクセス可能で、 Databricks コンピュートにカスタム DNS サーバーがある場合 (これは、顧客が管理するネットワーク上にいる場合のみ可能)、データベース・システムのホスト名をカスタム DNS サーバーに追加して、解決できるようにします。
Snowflake ネットワークに関する考慮事項
Snowflake は、 プレビュー機能として Private サービス Connect の出力をサポートします。 Snowflakeは 静的IPの提供をサポートしていないため、許可リストを設定することはできません。