Google Cloudインバウンドプライベート サービス接続のDNSを構成する
ベータ版
アカウントレベルのリソースへのプライベートアクセスはベータ版です。 コンテキストベースのイングレス: アカウントポリシー を有効にして起動します。
DatabricksワークスペースおよびアカウントレベルのリソースでインバウンドPrivate Service Connectを使用する場合、ユーザーリクエストがプライベートネットワークを経由するようにDNSを構成してください。このページでは、トランジットVPC(Virtual Private クラウド)におけるCloud DNSプライベートゾーンのDNS解決モデルとステップバイステップのセットアップ手順について説明します。
このページでは、インバウンド Private Service Connect の DNS 構成について説明します。クラシック コンピュート プレーンの Private Service Connect も有効にする場合は、ワークスペース URL とデータ プレーン URL が、クラシック コンピュート リソースをホストする VPC から同じ Private Service Connect Endpoint に一貫して解決されることを確認してください。「ベストプラクティス:クラシック コンピュート プレーン Private Service Connect の一貫した DNS 解決」を参照してください。
アーキテクチャの概要
Google Cloud上のインバウンドPrivate Service Connectは、トランジットVPCからのトラフィックを、DatabricksワークスペースサービスアタッチメントをターゲットとするPrivate Service Connect Endpointにルーティングします。プライベートDNSゾーンは、ワークスペースURL、データプレーンURL、およびブラウザ認証URLを、トランジットVPC内のPrivate Service Connect EndpointのIPアドレスに解決します。
同じリージョン内の複数のワークスペース間で 1 つのトランジット VPC を共有できますが、そのトランジット VPC には、インバウンド Private Service Connect を使用するワークスペースのみ、または使用しないワークスペースのみを含める必要があります。Google Cloud の DNS 解決は、単一のトランジット VPC 内で両方のタイプを混在させることをサポートしていません。
Private Service ConnectによるDNS解決
Private Service Connect を使用しない場合、ワークスペースの URL はリージョンの Databricks フロントエンドを通じてパブリック IP アドレスに解決されます。プライベートアクセス設定オブジェクトをワークスペースにアタッチすると、Databricks は解決チェーンに中間 <region>.psc.gcp.databricks.com ホスト名を追加します。プライベート DNS ゾーンでこのホスト名をオーバーライドし、Private Service Connect Endpoint のプライベート IP を指すようにします。
プライベートDNSゾーンは、3つのレコードをPrivate サービス Connect EndpointのプライベートIPに解決する必要があります。
- ワークスペース URL (
<workspace-id>.<n>.gcp.databricks.com)。トランジット VPC 内のブラウザーやクライアントがワークスペースにアクセスするために使用します。 - クラシック コンピュートおよび一部のコントロール プレーン サービスが使用するデータ プレーン URL (
dp-<workspace-id>.<n>.gcp.databricks.com)。 - Web ブラウザーのログインに必要なブラウザー認証 URL (
<region>.psc-auth.gcp.databricks.com)。REST API のみのアクセスには、このレコードは必要ありません。
これらのURLにおいて、<n>はDatabricksがワークスペースに割り当てる0から9までの1桁の数字であり、リージョンコードではありません。ワークスペースを表示したときにブラウザのアドレスバーに表示される値、またはアカウントコンソールのワークスペースリストにある値をそのまま使用してください。
クラシックコンピュートプレーンまたはインバウンドPrivate サービス Connectを使用するワークスペースの場合、中間Private サービス Connectホスト名は <region>.psc.gcp.databricks.com です。このホスト名は、Private Service Connectが有効なワークスペーストラフィックを他のDatabricksサービスから分離します。
カスタムURL(<my-custom-account-name>.databricks.com)と accounts.gcp.databricks.com は、そのDNS解決チェーンに psc ホスト名を含んでおらず、個別に解決する必要があります。アカウントレベルのリソースとカスタムURLのレコードの追加を参照してください。
前提条件
DNSを構成する前に、以下を確認してください:
- インバウンドPrivate Service ConnectでデプロイされたDatabricksワークスペース、またはアカウントレベルのリソースに登録された一般アクセスEndpoint。ワークスペースのインバウンドPrivate Service Connectの構成およびアカウントレベルのリソースのインバウンドPrivate Service Connectの構成を参照してください。
- お客様のリージョンの
plproxy-psc-endpoint-all-portsサービス アタッチメントに接続された、トランジット VPC 内の Private Service Connect Endpoint。Note the private IP address of the Endpoint. - デプロイされたワークスペースのワークスペースURL。ワークスペースUIのブラウザのアドレスバー、またはアカウントコンソールのワークスペースリストから取得します。
- トランジットVPCをホストするプロジェクトでクラウド DNSゾーンおよびレコードを作成するためのGoogle Cloud権限。
Cloud DNSプライベートゾーンを構成する
gcp.databricks.com ドメインの Cloud DNS プライベートゾーンを作成し、各 Databricks URL を Private Service Connect Endpoint のプライベート IP に解決する A レコードを追加します。
Cloud DNS プライベートゾーンを作成する
- Google Cloud コンソールで、Cloud DNS ゾーンに移動します。
- ゾーンの作成 をクリックします。
- ゾーンタイプ で、 プライベート を選択します。
- DNS名 に
gcp.databricks.comと入力します。 - ネットワーク で、トランジットVPCネットワークを選択します。
- 作成 をクリックします。
ワークスペースURLのAレコードを追加する
新しいゾーンに 3 つの A レコードを追加します。これらはすべて、インバウンド Private サービス Connect Endpoint のプライベート IP を指すようにします。以下の例では、Endpoint IP が 10.0.0.2、ワークスペース ID が 33333333333333.3 であると想定しています。
Record name | Record type | Value |
|---|---|---|
| A |
|
| A |
|
| A |
|
us-east4 リージョンの 33333333333333.3.gcp.databricks.com にあるワークスペースの場合、レコードは次のとおりです。
33333333333333.3.gcp.databricks.com→10.0.0.2dp-33333333333333.3.gcp.databricks.com→10.0.0.2us-east4.psc-auth.gcp.databricks.com→10.0.0.2
If you only need inbound Private Service Connect from the transit network for REST API access (no browser-based logins), you can omit the psc-auth.gcp.databricks.com record. Most deployments require it.
アカウントレベルのリソースとカスタムURLのレコードを追加する
アカウントレベルのリソースとカスタムURLを登録済みの一般アクセスEndpointにルーティングする、以下のレコードを追加します。
-
accounts.gcp.databricks.com:accounts.gcp.databricks.comのAレコードをgcp.databricks.comゾーンに追加し、登録済みGeneral Access EndpointのプライベートIPを指すようにします。gcp.databricks.comプライベートゾーンはドメイン内のすべての名前のパブリックDNS解決を上書きするため、このレコードが必要です。また、プライベート統合ログインも有効になります。統合ログインを使用したインバウンドPrivate Service Connectの構成を参照してください。 -
カスタムURL : カスタムURLを使用する場合に必要です。トランジットVPC内のカスタムURLに対して個別のCloud DNSプライベートゾーンを作成し、登録済みのGeneral Access EndpointのプライベートIPを指すAレコードを追加します。カスタムURLは、あらゆるリージョンのすべてのワークスペースのUIとAPI、およびアカウントレベルのリソースを提供できます。
構成 | Value |
|---|---|
ゾーンタイプ | プライベート |
DNS名 |
|
レコード名 | 空白のままにする |
レコードタイプ | A |
レコード値 |
|
コンソールでレコードを確認します
Cloud DNSゾーンビューで、Aレコードが表示されており、期待されるPrivate サービス Connect Endpoint IPに解決されることを確認します。
構成例
以下の例は、一般的なルーティングパターンを示しています。セキュリティ、コンプライアンス、またはネットワーク要件に適合するルーティングモデルを選択できます。
リージョン内のすべてのワークスペースは <region>.psc-auth.gcp.databricks.com を共有するため、各 Cloud DNS プライベートゾーンはそれを1つのEndpointにしかルーティングできません。ブラウザのログインは、GoogleサインインのレスポンスをワークスペースのURLに返すためにのみこのURLを使用するため、そのEndpointはワークスペースのURLのEndpointと一致する必要はありません。ワークスペースレベルのポリシーで許可する必要もありません。ユーザーが到達可能な任意のEndpointにルーティングします。
例 1: 本番運用、非本番運用、およびアカウントレベルのリソース用の統合Endpoint(単一Endpointアプローチ)
この例では、すべてのワークスペースおよびアカウントレベルのリソースが、単一の一般アクセスEndpoint経由でアクセスされます。
次のルーティングおよびコンテキストベースのイングレスポリシーを構成します。
クラウド DNSレコード | Endpointにルーティングされました | コンテキストベースのイングレス構成 |
|---|---|---|
カスタムURL( | 登録されたEndpoint 1 | アカウントレベルのポリシーで、Endpoint 1 がアカウントレベルのリソースにアクセスするための許可ルールを追加します。 |
すべてのワークスペースのワークスペースレコード(ワークスペースURL、データプレーンURL、および | 登録されたEndpoint 1 | Endpoint1からの受信を許可するワークスペースレベルのポリシーを作成し、すべてのワークスペースに適用します。 |
この構成により、ユーザーはインバウンドプライベート サービス接続経由でアクセスできます。
- カスタムURLを使用するアカウントコンソールやアカウントレベルのGenie Oneなどのアカウントレベルのリソース。
- カスタムURLを使用するすべてのワークスペース
- ワークスペース固有のURLを使用するすべてのワークスペース
例2:本番運用、非本番運用、アカウントレベルのリソース用の個別のEndpoint(マルチEndpointアプローチ)
この例では、本番運用ワークスペース、非本番運用ワークスペース、およびアカウントレベルのリソースが、個別の分離されたEndpointを通じてアクセスされます。
次のルーティングおよびコンテキストベースのイングレスポリシーを構成します。
クラウド DNSレコード | Endpointにルーティングされました | コンテキストベースのイングレス構成 |
|---|---|---|
カスタムURL( | 登録されたEndpoint 1 | アカウントレベルのポリシーで、Endpoint 1 がアカウントレベルのリソースにアクセスするための許可ルールを追加します。 |
本番運用ワークスペースのワークスペースURLおよびデータプレーンURLレコード | 登録されたEndpoint 2 | Endpoint 2からの受信を許可するワークスペースレベルのポリシーを作成し、本番運用ワークスペースにアタッチします。 |
非本番運用ワークスペースのワークスペースURLとデータプレーンURLのレコード | 登録済みEndpoint 3 | Endpoint3からのイングレスを許可するワークスペースレベルのポリシーを作成し、それを非本番運用ワークスペースにアタッチします。 |
| 登録済みEndpoint2または3 | なし。このセクションの冒頭にある注記を参照してください。 |
この構成により、ユーザーはインバウンドプライベート サービス接続経由でアクセスできます。
- カスタムURLを使用するアカウントコンソールやアカウントレベルのGenie Oneなどのアカウントレベルのリソース。
- 本番運用ワークスペース固有のURLを使用する本番運用ワークスペース。
- 非本番運用ワークスペース固有のURLを使用する非本番運用ワークスペース。
例 3: 異なるリージョンのワークスペースとアカウントレベルのリソースに対する個別のEndpoint (マルチEndpointアプローチ)
この例では、リージョンAのワークスペース、リージョンBのワークスペース、およびアカウントレベルのリソースに、個別の分離されたEndpointを通じてアクセスします。
次のルーティングおよびコンテキストベースのイングレスポリシーを構成します。
クラウド DNSレコード | Endpointにルーティングされました | コンテキストベースのイングレス構成 |
|---|---|---|
カスタムURL( | 登録されたEndpoint 1 | アカウントレベルのポリシーで、Endpoint 1 がアカウントレベルのリソースにアクセスするための許可ルールを追加します。 |
地域A内のワークスペースのレコードを含む、 | 登録されたEndpoint 2 | Endpoint 2からのイングレスを許可するワークスペースレベルのポリシーを作成し、地域Aのワークスペースに適用してください。 |
以下を含む、リージョン B のワークスペースのワークスペースレコード | 登録済みEndpoint 3 | Endpoint 3からのイングレスを許可するワークスペースレベルのポリシーを作成し、リージョンBのワークスペースにアタッチします。 |
この構成により、ユーザーはインバウンドプライベート サービス接続経由でアクセスできます。
- カスタムURLを使用するアカウントコンソールやアカウントレベルのGenie Oneなどのアカウントレベルのリソース。
- リージョン A のワークスペースは、ワークスペース固有の URL を使用します。
- ワークスペース固有のURLを使用しているリージョンBのワークスペース。
例 4: 本番運用とアカウントレベルのリソース用の共有Endpoint、非本番運用用の別個のEndpoint(マルチエンドポイントアプローチ)
この例では、本番運用ワークスペースとアカウントレベルのリソースは1つの分離されたEndpointを共有し、非本番運用ワークスペースは別のEndpointを使用します。
次のルーティングおよびコンテキストベースのイングレスポリシーを構成します。
クラウド DNSレコード | Endpointにルーティングされました | コンテキストベースのイングレス構成 |
|---|---|---|
カスタムURL( | 登録されたEndpoint 1 | アカウントレベルのポリシーで、Endpoint 1 がアカウントレベルのリソースにアクセスするための許可ルールを追加します。 |
本番運用ワークスペースのワークスペースURLおよびデータプレーンURLレコード | 登録されたEndpoint 1 | Endpoint1からのイングレスを許可するワークスペースレベルのポリシーも作成し、本番運用ワークスペースにアタッチします。 |
非本番運用ワークスペースのワークスペースURLとデータプレーンURLのレコード | 登録されたEndpoint 2 | Endpoint 2からのイングレスを許可するワークスペースレベルのポリシーを作成し、非本番運用ワークスペースにアタッチします。 |
| 登録されたEndpoint 1 または 2 | なし。このセクションの冒頭にある注記を参照してください。 |
この構成により、ユーザーはインバウンドプライベート サービス接続経由でアクセスできます。
- カスタムURLを使用するアカウントコンソールやアカウントレベルのGenie Oneなどのアカウントレベルのリソース。
- カスタムURLを使用する本番運用ワークスペース。
- 本番運用ワークスペース固有のURLを使用する本番運用ワークスペース。
- 非本番運用ワークスペース固有のURLを使用する非本番運用ワークスペース。
本番運用とアカウントレベルのトラフィックは、別個のEndpointを使用することで、非本番ワークスペースのトラフィックから分離されます。
上記のすべての構成において、必要な accounts.gcp.databricks.com レコードを gcp.databricks.com ゾーンに追加する必要もあります(アカウントレベルのリソースとカスタムURLのレコードの追加を参照してください)。登録された任意の一般アクセスEndpointに解決できます。カスタムURLを使用せずに accounts.gcp.databricks.com 経由でアカウントレベルのリソースにプライベートにアクセスする場合は、次のルーティングおよびコンテキストベースのIngressポリシーを構成してください。
クラウド DNSレコード | Endpointにルーティングされました | コンテキストベースのイングレス構成 |
|---|---|---|
| 登録されたEndpoint 1 | アカウントレベルのポリシーで、Endpoint 1 がアカウントレベルのリソースにアクセスするための許可ルールを追加します。 |
次のガイドラインに注意してください。
- カスタムURL、ワークスペース固有のURL、およびアカウントURLはすべて同じEndpointにルーティングすることも、分離要件に基づいて個別のEndpointにルーティングすることもできます。
- カスタムURLを使用して、ワークスペースとアカウントレベルのリソースの両方にアクセスできます。
- コンテキストベースのイングレスを使用して、登録された各Endpointがアクセスできるワークスペースとアカウントレベルのリソースを制御します。「コンテキストベースのイングレス制御」を参照してください。
認証
DNSレコードを作成した後、トランジットVPC内のクライアントからワークスペースURLがPrivate Service ConnectのEndpoint IPに解決されることを確認します。
- Use nslookup
- Use dig
- Test workspace access
トランジットVPC内のVMから、各URLに対して nslookup を実行します:
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2
$ nslookup accounts.gcp.databricks.com
Address: 10.0.0.2
$ nslookup <my-custom-account-name>.databricks.com
Address: 10.0.0.2
各コマンドは、そのURLをルーティングしたPrivate サービス Connect EndpointのプライベートIPを返す必要があります。
解決に関する詳細情報:
$ dig +short 33333333333333.3.gcp.databricks.com
10.0.0.2
- トランジット VPC 内の VM(または VPN や クラウド Interconnect を経由してルーティングされる企業用ワークステーション)から、Web ブラウザを開きます。
- ワークスペースの URL に移動します。
- サインインしてワークスペースにアクセスできることを確認します。
ワークスペースにアクセスできない場合:
- 3 つの A レコードすべてが存在すること、およびワークスペースの URL とデータプレーンの URL が同じプライベート サービス接続 Endpoint IP に解決されることを確認します。
- トランジット VPC が Private Service Connect Endpoint サブネットに接続できることを確認します。
- ワークスペースにプライベートアクセス設定オブジェクトがアタッチされていることを確認します。プライベートアクセス設定の管理を参照してください。
- クライアントと Private Service Connect Endpoint 間のファイアウォールルールで、ポート 443 での TCP が許可されていることを確認します。
よくある問題
DNS 解決がパブリック IP を返す :Cloud DNS プライベート ゾーンがトランジット VPC に関連付けられていないか、クエリーが到達していません。ゾーンのネットワーク バインディングを確認します。
アカウントコンソールまたはカスタムURLがTransit VPCから読み込まれない : accounts.gcp.databricks.comレコードまたはカスタムURLゾーンがないか、アカウントレベルのコンテキストベースのイングレスポリシーでEndpointが許可されていません。アカウントレベルのリソースとカスタムURLのレコードの追加およびアカウントコンテキストベースのイングレスポリシーの管理を参照してください。
ブラウザのログインのリダイレクトが失敗するかハングします : <region>.psc-auth.gcp.databricks.com レコードが存在しないか、ブラウザが到達できない Endpoint を指しています。レコードを追加または更新します。
クラシック コンピュート プレーンの Private Service Connect を有効にした後にクラスターのStartupが失敗する : ワークスペースURLとデータプレーンURLは、クラシック コンピュート プレーン VPC内から同じ Private Service Connect Endpointに解決される必要があります。それらが異なるEndpointに解決される場合、クラスターノードはコントロールプレーンに一貫して到達できません。ベストプラクティス:一貫したDNS解決を参照してください。
ベストプラクティス:クラシック コンピュート プレーンの Private Service Connect に対する一貫した DNS 解決
インバウンドおよびクラシック コンピュート プレーンの Private Service Connect を両方構成する場合、ワークスペース URL とデータ プレーン URL (dp-<workspace-id>.<n>.gcp.databricks.com) は、それらを使用する各 VPC 内から同じ Private Service Connect Endpoint に解決される必要があります。
コンピュートノードが起動すると、Databricks は両方の URL を使用してコントロールプレーンに到達します。それらが異なる Endpoint に解決される場合、この不一致がプライベートアクセス設定ポリシーと競合し、コンピュートの失敗を引き起こす可能性があります。
確認するには、クラシック コンピュート プレーン VPC 内の VM から以下を実行します。両方のコマンドは同じプライベートIPを返す必要があります:
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com
一致しない場合は、両方のレコードが同じ Private Service Connect Endpoint を指すように、クラシックコンピュートプレーン VPC(またはクラシックコンピュートプレーン VPC を兼ねるトランジット VPC)の Cloud DNS ゾーンを更新してください。
次のステップ
-
- ワークスペースのインバウンドプライベート サービス接続を構成する
- Private Service Connectをまだ設定していない場合。
-
- ワークスペースのPrivate Service Connectを有効にする
- コンピュートプレーンからコントロールプレーンへの Private Service Connect を設定して、プライベート接続のセットアップを完了します。
-
- Private サービス Connect concepts
- Databricks でのプライベート接続に関する概念とアーキテクチャ:AWS PrivateLink、Azure Private Link、および GCP Private Service Connect。
-
- ワークスペースの IP アクセス リストを構成する
- ハイブリッド アクセス デプロイメント用のパブリック IP フィルタリングのレイヤーを追加します。