Google Cloudインバウンドプライベート サービス接続のDNSを構成する
Databricks ワークスペースでインバウンド Private Service Connect を使用する際に、ユーザーリクエストをプライベートネットワーク経由でルーティングするように DNS を構成します。このページでは、トランジット Virtual Private Cloud (VPC) 内の Cloud DNS プライベートゾーンの DNS 解決モデルと、ステップバイステップのセットアップ手順について説明します。
このページでは、インバウンド Private Service Connect の DNS 構成について説明します。クラシック コンピュート プレーンの Private Service Connect も有効にする場合は、ワークスペース URL とデータ プレーン URL が、クラシック コンピュート リソースをホストする VPC から同じ Private Service Connect Endpoint に一貫して解決されることを確認してください。「ベストプラクティス:クラシック コンピュート プレーン Private Service Connect の一貫した DNS 解決」を参照してください。
アーキテクチャの概要
Google Cloud上のインバウンドPrivate Service Connectは、トランジットVPCからのトラフィックを、DatabricksワークスペースサービスアタッチメントをターゲットとするPrivate Service Connect Endpointにルーティングします。プライベートDNSゾーンは、ワークスペースURL、データプレーンURL、およびブラウザ認証URLを、トランジットVPC内のPrivate Service Connect EndpointのIPアドレスに解決します。
同じリージョン内の複数のワークスペース間で 1 つのトランジット VPC を共有できますが、そのトランジット VPC には、インバウンド Private Service Connect を使用するワークスペースのみ、または使用しないワークスペースのみを含める必要があります。Google Cloud の DNS 解決は、単一のトランジット VPC 内で両方のタイプを混在させることをサポートしていません。
Private Service ConnectによるDNS解決
Private Service Connect を使用しない場合、ワークスペースの URL はリージョンの Databricks フロントエンドを通じてパブリック IP アドレスに解決されます。プライベートアクセス設定オブジェクトをワークスペースにアタッチすると、Databricks は解決チェーンに中間 psc.gcp.databricks.com ホスト名を追加します。プライベート DNS ゾーンでこのホスト名をオーバーライドし、Private Service Connect Endpoint のプライベート IP を指すようにします。
プライベートDNSゾーンは、3つのレコードをPrivate サービス Connect EndpointのプライベートIPに解決する必要があります。
- ワークスペース URL (
<workspace-id>.<n>.gcp.databricks.com)。トランジット VPC 内のブラウザーやクライアントがワークスペースにアクセスするために使用します。 - クラシック コンピュートおよび一部のコントロール プレーン サービスが使用するデータ プレーン URL (
dp-<workspace-id>.<n>.gcp.databricks.com)。 - Web ブラウザーのログインに必要なブラウザー認証 URL (
<region>.psc-auth.gcp.databricks.com)。REST API のみのアクセスには、このレコードは必要ありません。
これらのURLにおいて、<n>はDatabricksがワークスペースに割り当てる0から9までの1桁の数字であり、リージョンコードではありません。ワークスペースを表示したときにブラウザのアドレスバーに表示される値、またはアカウントコンソールのワークスペースリストにある値をそのまま使用してください。
クラシック コンピュート プレーンまたはインバウンド Private Service Connectのいずれかを使用するワークスペースの場合、中間 Private Service Connectホスト名は <region>.psc.gcp.databricks.com です。このホスト名は、Private Service Connectが有効なワークスペースのトラフィックを、アカウントコンソールなど、Private Service Connectをサポートしていない他のDatabricksサービスから分離します。
前提条件
DNSを構成する前に、以下を確認してください:
- インバウンド Private Service Connect を使用してデプロイされた Databricks ワークスペース。インバウンド Private Service Connect の構成を参照してください。
- お客様のリージョンの
plproxy-psc-endpoint-all-portsサービス アタッチメントに接続された、トランジット VPC 内の Private Service Connect Endpoint。Note the private IP address of the Endpoint. - デプロイされたワークスペースのワークスペースURL。ワークスペースUIのブラウザのアドレスバー、またはアカウントコンソールのワークスペースリストから取得します。
- トランジットVPCをホストするプロジェクトでクラウド DNSゾーンおよびレコードを作成するためのGoogle Cloud権限。
Cloud DNSプライベートゾーンを構成する
gcp.databricks.com ドメインの Cloud DNS プライベートゾーンを作成し、各 Databricks URL を Private Service Connect Endpoint のプライベート IP に解決する A レコードを追加します。
ステップ 1: Cloud DNS プライベート ゾーンを作成する
- Google Cloud コンソールで、Cloud DNS ゾーンに移動します。
- ゾーンの作成 をクリックします。
- ゾーンタイプ で、 プライベート を選択します。
- DNS名 に
gcp.databricks.comと入力します。 - ネットワーク で、トランジットVPCネットワークを選択します。
- 作成 をクリックします。
ステップ 2: ワークスペースURLのAレコードを追加する
新しいゾーンに 3 つの A レコードを追加します。これらはすべて、インバウンド Private サービス Connect Endpoint のプライベート IP を指すようにします。以下の例では、Endpoint IP が 10.0.0.2、ワークスペース ID が 33333333333333.3 であると想定しています。
レコード名 | レコードタイプ | Value |
|---|---|---|
| A |
|
| A |
|
| A |
|
us-east4 リージョンの 33333333333333.3.gcp.databricks.com にあるワークスペースの場合、レコードは次のとおりです。
33333333333333.3.gcp.databricks.com→10.0.0.2dp-33333333333333.3.gcp.databricks.com→10.0.0.2us-east4.psc-auth.gcp.databricks.com→10.0.0.2
トランジットネットワークからの REST API アクセスのみにインバウンド Private Service Connect が必要な場合(ブラウザベースのログインは不要)、psc-auth.gcp.databricks.com レコードを省略できます。ほとんどのデプロイメントで必要です。
ステップ 3: コンソールでレコードを確認する
Cloud DNSゾーンビューで、3つのAレコードが表示され、それらが同じPrivate Service Connect Endpoint IPに解決されることを確認してください。
認証
DNSレコードを作成した後、トランジットVPC内のクライアントからワークスペースURLがPrivate Service ConnectのEndpoint IPに解決されることを確認します。
- Use nslookup
- Use dig
- Test workspace access
トランジットVPC内のVMから、各URLに対して nslookup を実行します:
$ nslookup 33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup dp-33333333333333.3.gcp.databricks.com
Address: 10.0.0.2
$ nslookup us-east4.psc-auth.gcp.databricks.com
Address: 10.0.0.2
各コマンドは、インバウンド Private Service Connect Endpoint のプライベート IP を返す必要があります。
解決に関する詳細情報:
$ dig +short 33333333333333.3.gcp.databricks.com
10.0.0.2
- トランジット VPC 内の VM(または VPN や クラウド Interconnect を経由してルーティングされる企業用ワークステーション)から、Web ブラウザを開きます。
- ワークスペースの URL に移動します。
- サインインしてワークスペースにアクセスできることを確認します。
ワークスペースにアクセスできない場合:
- 3 つの A レコードすべてが存在し、同じ Private Service Connect Endpoint IP に解決されることを確認してください。
- トランジット VPC が Private Service Connect Endpoint サブネットに接続できることを確認します。
- ワークスペースにプライベートアクセス設定オブジェクトがアタッチされていることを確認します。プライベートアクセス設定の管理を参照してください。
- クライアントと Private Service Connect Endpoint 間のファイアウォールルールで、ポート 443 での TCP が許可されていることを確認します。
よくある問題
DNS 解決がパブリック IP を返す :Cloud DNS プライベート ゾーンがトランジット VPC に関連付けられていないか、クエリーが到達していません。ゾーンのネットワーク バインディングを確認します。
ブラウザログインのリダイレクトが失敗またはハングする : <region>.psc-auth.gcp.databricks.com レコードが存在しないか、ワークスペース URL とは異なる IP を指しています。レコードを追加または更新します。
クラシック コンピュート プレーンの Private Service Connect を有効にした後にクラスターのStartupが失敗する : ワークスペースURLとデータプレーンURLは、クラシック コンピュート プレーン VPC内から同じ Private Service Connect Endpointに解決される必要があります。それらが異なるEndpointに解決される場合、クラスターノードはコントロールプレーンに一貫して到達できません。ベストプラクティス:一貫したDNS解決を参照してください。
ベストプラクティス:クラシック コンピュート プレーンの Private Service Connect に対する一貫した DNS 解決
インバウンドおよびクラシック コンピュート プレーンの Private Service Connect を両方構成する場合、ワークスペース URL とデータ プレーン URL (dp-<workspace-id>.<n>.gcp.databricks.com) は、それらを使用する各 VPC 内から同じ Private Service Connect Endpoint に解決される必要があります。
コンピュートノードが起動すると、Databricks は両方の URL を使用してコントロールプレーンに到達します。それらが異なる Endpoint に解決される場合、この不一致がプライベートアクセス設定ポリシーと競合し、コンピュートの失敗を引き起こす可能性があります。
確認するには、クラシック コンピュート プレーン VPC 内の VM から以下を実行します。両方のコマンドは同じプライベートIPを返す必要があります:
nslookup <workspace-url>
nslookup dp-<workspace-id>.<n>.gcp.databricks.com
一致しない場合は、両方のレコードが同じ Private Service Connect Endpoint を指すように、クラシックコンピュートプレーン VPC(またはクラシックコンピュートプレーン VPC を兼ねるトランジット VPC)の Cloud DNS ゾーンを更新してください。
次のステップ
- インバウンド Private Service Connect を有効にする : Private Service Connect をまだ設定していない場合は、インバウンド Private Service Connect の構成を参照してください。
- クラシック コンピュート プレーンの Private サービス Connect を有効にする : コンピュート プレーンからコントロール プレーンへの Private サービス Connect を構成して、プライベート接続のセットアップを完了します。「ワークスペースの Private Service Connect を有効にする」を参照してください。
- Private Service Connectの概念を確認する :Private Service Connectの概念を参照してください。
- IPアクセスリスト :ハイブリッドアクセスデプロイメント向けに、パブリックIPフィルタリングのレイヤーを追加します。ワークスペースの IP アクセス リストの構成を参照してください。