メインコンテンツまでスキップ

Google Cloudインバウンドプライベート サービス接続のDNSを構成する

Databricks ワークスペースでインバウンド Private Service Connect を使用する際に、ユーザーリクエストをプライベートネットワーク経由でルーティングするように DNS を構成します。このページでは、トランジット Virtual Private Cloud (VPC) 内の Cloud DNS プライベートゾーンの DNS 解決モデルと、ステップバイステップのセットアップ手順について説明します。

注記

このページでは、インバウンド Private Service Connect の DNS 構成について説明します。クラシック コンピュート プレーンの Private Service Connect も有効にする場合は、ワークスペース URL とデータ プレーン URL が、クラシック コンピュート リソースをホストする VPC から同じ Private Service Connect Endpoint に一貫して解決されることを確認してください。「ベストプラクティス:クラシック コンピュート プレーン Private Service Connect の一貫した DNS 解決」を参照してください。

アーキテクチャの概要

Google Cloud上のインバウンドPrivate Service Connectは、トランジットVPCからのトラフィックを、DatabricksワークスペースサービスアタッチメントをターゲットとするPrivate Service Connect Endpointにルーティングします。プライベートDNSゾーンは、ワークスペースURL、データプレーンURL、およびブラウザ認証URLを、トランジットVPC内のPrivate Service Connect EndpointのIPアドレスに解決します。

同じリージョン内の複数のワークスペース間で 1 つのトランジット VPC を共有できますが、そのトランジット VPC には、インバウンド Private Service Connect を使用するワークスペースのみ、または使用しないワークスペースのみを含める必要があります。Google Cloud の DNS 解決は、単一のトランジット VPC 内で両方のタイプを混在させることをサポートしていません。

Private Service ConnectによるDNS解決

Private Service Connect を使用しない場合、ワークスペースの URL はリージョンの Databricks フロントエンドを通じてパブリック IP アドレスに解決されます。プライベートアクセス設定オブジェクトをワークスペースにアタッチすると、Databricks は解決チェーンに中間 psc.gcp.databricks.com ホスト名を追加します。プライベート DNS ゾーンでこのホスト名をオーバーライドし、Private Service Connect Endpoint のプライベート IP を指すようにします。

プライベートDNSゾーンは、3つのレコードをPrivate サービス Connect EndpointのプライベートIPに解決する必要があります。

  • ワークスペース URL (<workspace-id>.<n>.gcp.databricks.com)。トランジット VPC 内のブラウザーやクライアントがワークスペースにアクセスするために使用します。
  • クラシック コンピュートおよび一部のコントロール プレーン サービスが使用するデータ プレーン URL (dp-<workspace-id>.<n>.gcp.databricks.com)。
  • Web ブラウザーのログインに必要なブラウザー認証 URL (<region>.psc-auth.gcp.databricks.com)。REST API のみのアクセスには、このレコードは必要ありません。

これらのURLにおいて、<n>はDatabricksがワークスペースに割り当てる0から9までの1桁の数字であり、リージョンコードではありません。ワークスペースを表示したときにブラウザのアドレスバーに表示される値、またはアカウントコンソールのワークスペースリストにある値をそのまま使用してください。

クラシック コンピュート プレーンまたはインバウンド Private Service Connectのいずれかを使用するワークスペースの場合、中間 Private Service Connectホスト名は <region>.psc.gcp.databricks.com です。このホスト名は、Private Service Connectが有効なワークスペースのトラフィックを、アカウントコンソールなど、Private Service Connectをサポートしていない他のDatabricksサービスから分離します。

前提条件

DNSを構成する前に、以下を確認してください:

  • インバウンド Private Service Connect を使用してデプロイされた Databricks ワークスペース。インバウンド Private Service Connect の構成を参照してください。
  • お客様のリージョンの plproxy-psc-endpoint-all-ports サービス アタッチメントに接続された、トランジット VPC 内の Private Service Connect Endpoint。Note the private IP address of the Endpoint.
  • デプロイされたワークスペースのワークスペースURL。ワークスペースUIのブラウザのアドレスバー、またはアカウントコンソールのワークスペースリストから取得します。
  • トランジットVPCをホストするプロジェクトでクラウド DNSゾーンおよびレコードを作成するためのGoogle Cloud権限。

Cloud DNSプライベートゾーンを構成する

gcp.databricks.com ドメインの Cloud DNS プライベートゾーンを作成し、各 Databricks URL を Private Service Connect Endpoint のプライベート IP に解決する A レコードを追加します。

ステップ 1: Cloud DNS プライベート ゾーンを作成する

  1. Google Cloud コンソールで、Cloud DNS ゾーンに移動します。
  2. ゾーンの作成 をクリックします。
  3. ゾーンタイプ で、 プライベート を選択します。
  4. DNS名gcp.databricks.com と入力します。
  5. ネットワーク で、トランジットVPCネットワークを選択します。
  6. 作成 をクリックします。

ステップ 2: ワークスペースURLのAレコードを追加する

新しいゾーンに 3 つの A レコードを追加します。これらはすべて、インバウンド Private サービス Connect Endpoint のプライベート IP を指すようにします。以下の例では、Endpoint IP が 10.0.0.2、ワークスペース ID が 33333333333333.3 であると想定しています。

レコード名

レコードタイプ

Value

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

レコード名

レコードタイプ

Value

<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

dp-<workspace-id>.<n>.gcp.databricks.com

A

<PL endpoint IP>

<region>.psc-auth.gcp.databricks.com

A

<PL endpoint IP>

us-east4 リージョンの 33333333333333.3.gcp.databricks.com にあるワークスペースの場合、レコードは次のとおりです。

  • 33333333333333.3.gcp.databricks.com10.0.0.2
  • dp-33333333333333.3.gcp.databricks.com10.0.0.2
  • us-east4.psc-auth.gcp.databricks.com10.0.0.2
注記

トランジットネットワークからの REST API アクセスのみにインバウンド Private Service Connect が必要な場合(ブラウザベースのログインは不要)、psc-auth.gcp.databricks.com レコードを省略できます。ほとんどのデプロイメントで必要です。

ステップ 3: コンソールでレコードを確認する

Cloud DNSゾーンビューで、3つのAレコードが表示され、それらが同じPrivate Service Connect Endpoint IPに解決されることを確認してください。

認証

DNSレコードを作成した後、トランジットVPC内のクライアントからワークスペースURLがPrivate Service ConnectのEndpoint IPに解決されることを確認します。

トランジットVPC内のVMから、各URLに対して nslookup を実行します:

Bash
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2

$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2

各コマンドは、インバウンド Private Service Connect Endpoint のプライベート IP を返す必要があります。

よくある問題

DNS 解決がパブリック IP を返す :Cloud DNS プライベート ゾーンがトランジット VPC に関連付けられていないか、クエリーが到達していません。ゾーンのネットワーク バインディングを確認します。

ブラウザログインのリダイレクトが失敗またはハングする : <region>.psc-auth.gcp.databricks.com レコードが存在しないか、ワークスペース URL とは異なる IP を指しています。レコードを追加または更新します。

クラシック コンピュート プレーンの Private Service Connect を有効にした後にクラスターのStartupが失敗する : ワークスペースURLとデータプレーンURLは、クラシック コンピュート プレーン VPC内から同じ Private Service Connect Endpointに解決される必要があります。それらが異なるEndpointに解決される場合、クラスターノードはコントロールプレーンに一貫して到達できません。ベストプラクティス:一貫したDNS解決を参照してください。

ベストプラクティス:クラシック コンピュート プレーンの Private Service Connect に対する一貫した DNS 解決

インバウンドおよびクラシック コンピュート プレーンの Private Service Connect を両方構成する場合、ワークスペース URL とデータ プレーン URL (dp-<workspace-id>.<n>.gcp.databricks.com) は、それらを使用する各 VPC 内から同じ Private Service Connect Endpoint に解決される必要があります。

コンピュートノードが起動すると、Databricks は両方の URL を使用してコントロールプレーンに到達します。それらが異なる Endpoint に解決される場合、この不一致がプライベートアクセス設定ポリシーと競合し、コンピュートの失敗を引き起こす可能性があります。

確認するには、クラシック コンピュート プレーン VPC 内の VM から以下を実行します。両方のコマンドは同じプライベートIPを返す必要があります:

Bash
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com

一致しない場合は、両方のレコードが同じ Private Service Connect Endpoint を指すように、クラシックコンピュートプレーン VPC(またはクラシックコンピュートプレーン VPC を兼ねるトランジット VPC)の Cloud DNS ゾーンを更新してください。

次のステップ