Private Service Connect の概念
このページでは、Databricks on Google CloudにおけるPrivate Service Connectの概要を説明します。Private Service Connectは、DatabricksリソースとGoogle Cloudサービス間にプライベートで安全な接続を作成し、ネットワークトラフィックがパブリックインターネットに公開されないようにします。
Databricksは、Google Cloud上で以下のタイプのPrivate Service Connect接続をサポートしています：
- インバウンド : ユーザーからワークスペースへの接続を保護します
- Outbound (Serverless) : Databricks Serverless コンピュートからお客様の仮想プライベートクラウド (VPC) 内のリソースへの接続を保護します
- クラシック コンピュート プレーン : クラシック コンピュートからコントロール プレーンへの接続を保護します
インバウンド接続とクラシックコンピュートプレーン接続が一般提供されています。サービス添付ファイルを通じた顧客管理リソースへのServerless送信接続も一般的に利用可能です。これには、Googleマネージドサービスは含まれません。
プライベート接続の概要
Private Service Connect を使用すると、Google Cloud VPC ネットワークおよびオンプレミスネットワークから Databricks サービスへの安全なプライベート接続が可能になり、トラフィックをパブリックインターネットから分離した状態に保つことができます。エンドツーエンドのプライベートネットワーキングは、セキュリティおよびコンプライアンス要件を満たすのに役立ち、データ流出のリスクを軽減します。
セキュリティおよびコンプライアンス要件に応じて、インバウンドおよびクラシック コンピュート プレーンの Private Service Connect 接続を個別に、または一緒に有効にすることができます。両方を有効にするとユーザーとクラシック コンピュートのトラフィック パスが非公開になりますが、それだけでワークスペースへのパブリック アクセスがブロックされるわけではありません。パブリック アクセスをブロックするには、プライベート アクセス設定オブジェクトでパブリック アクセスを無効にします。代わりにパブリック アクセスを有効にしたままにする場合は、IP アクセス リストを使用して、ワークスペースにアクセスできるパブリック IP アドレスを制御できます。「ワークスペースのインバウンド プライベート サービス接続を構成する」を参照してください。
Private Service Connect を使用すると、次のことが可能です。
- Databricks Web アプリケーションまたはAPIsを使用するときは、許可されていないネットワークまたはパブリック インターネットからのデータ アクセスをブロックします。
- ネットワーク公開を承認されたプライベート エンドポイントのみに制限することで、データ流出のリスクを軽減します。
用語
以下の Google Cloud および Databricks の用語は、Private Service Connect の構成について説明しています。
期間 | 説明 |
|---|---|
Google Cloud Private Service Connect | VPCネットワークとGoogle Cloudサービス間のプライベート接続を提供するGoogle Cloudの機能。Databricksは、お客様のVPCとDatabricksサービス間のプライベート接続にPrivate Service Connectを使用します。 |
ホストプロジェクト | 共有VPCセットアップにおいて、VPCが作成されるGoogle Cloudプロジェクト。クラシックコンピュートプレーンVPCとトランジットVPCの両方に使用されます。 |
サービスプロジェクト | 共有 VPC セットアップにおいて、ワークスペースのコンピュートリソースを含む Google Cloud プロジェクト。 |
Private Service Connect endpoint (VPC endpoint) | VPC ネットワークとサービスアタッチメント間のプライベート接続。受信接続およびクラシックコンピュートプレーンの接続では、VPC 内の Endpoint が Databricks によって公開されたサービスに接続します。For Serverless のアウトバウンド接続では、Databricks はサービスアタッチメントに接続する Endpoint を作成します。 |
トランジットVPC | インバウンドの Private Service Connect Endpoint をホストし、クライアントから Databricks へのトラフィックをルーティングする VPC ネットワーク。Google Cloud の用語では、これは通常、インバウンドの Private Service Connect Endpoint に使用される VPC です。 |
クラシックコンピュートプレーン VPC | DatabricksワークスペースのコンピュートリソースをホストするVPCネットワーク。Google Cloudの用語では、これは通常、クラシックコンピュートプレーンのPrivate Service Connectに使用されるVPCを指します。 |
サービスアタッチメント | コンシューマーにサービスを公開する Google Cloud リソース。Databricksは、インバウンドおよびクラシックコンピュートプレーン接続用のリージョンサービスアタッチメントを公開しています。Serverlessアウトバウンド接続の場合、VPCでサービスアタッチメントを公開すると、Databricksがそこに接続します。 |
プライベートワークスペース | クラシック コンピュート プレーンの VM がパブリック IP アドレスを持たないワークスペース。Google Cloud 上では、Databricks はdefaultでパブリック IP を持たないクラスターを作成します。 |
適切な Private サービス Connect 実装を選択する
ニーズに合った実装を判断するには、このガイドを使用してください。
考慮 | インバウンドのみ | クラシックコンピュートプレーンのみ | 完全なプライベート隔離 |
|---|---|---|---|
主なセキュリティ目標 | 承認された個人のみが Databricks リソースにアクセスできます。 | 従来のコンピュートプレーンをロックダウン | 最大限の分離（すべてを保護） |
ユーザー接続 | 私立か公立か | パブリック（インターネット） | プライベートのみ |
コントロールプレーンへのクラスター接続 | パブリック（標準のセキュアパス） | プライベート（必須） | プライベート（必須） |
前提条件 | Enterprise プラン、顧客管理VPC | Enterprise プラン、顧客管理VPC | Enterprise プラン、顧客管理VPC |
必要なサービスアタッチメント | 一般アクセスEndpoint ( | 一般アクセスEndpointおよび SCC リレーEndpoint ( | 汎用アクセスEndpointおよびSCCリレーEndpoint |
相対コスト | エンドポイントとデータ転送あたりのコスト | エンドポイントとデータ転送あたりのコスト | 高コスト（すべての Endpoint） |
アウトバウンド（Serverless）Private サービス Connect は、上記のどの構成にも重ねて使用できる、個別の追加機能です。「アウトバウンド接続（Serverless）」を参照してください。
インバウンド接続
インバウンド Private Service Connect は、ユーザーから Databricks ワークスペースへの接続を保護します。トラフィックは、パブリック IP ではなく、トランジット VPC 内の Private Service Connect Endpoint を経由してルーティングされます。インバウンド Private Service Connect は、以下への安全なアクセスを提供します：
- Databricks Webアプリケーション
- REST API
- Databricks Connect API
- Databricksのパフォーマンス重視サービス
インバウンド Private Service Connect の構成を参照してください。
パフォーマンス集約型サービスへのインバウンドプライベート接続
パフォーマンス集約型サービスへのインバウンドプライベート接続
パフォーマンス重視のサービス向けのPrivate Service Connectは、次のサービスへのプライベート接続を提供します。
- Zerobus Ingest
- Lakebaseオートスケール
アウトバウンド接続 (Serverless)
アウトバウンド Private Service Connect を使用すると、Databricks Serverless コンピュートから VPC 内のリソースへのプライベート接続が可能になります。Databricks への接続を保護するインバウンドおよびクラシック コンピュート プレーンの Private Service Connect とは異なり、アウトバウンド Private Service Connect は Serverless コンピュートからお客様のリソースへの接続を保護します。
アウトバウンド Private Service Connect は、ネットワーク接続構成（NCC）を使用します。これは、プライベート Endpoint の作成を大規模に管理するための、アカウントレベルのリージョン構造です。NCCは、同じリージョン内の複数のワークスペースにアタッチできます。
Databricks on Google Cloud は、内部ロードバランサーを前面に配置した顧客管理の Google Cloud サービスアタッチメントを介して、VPC 内のリソースへの Serverless なアウトバウンド Private Service Connect をサポートしています。VPC 内のリソースへのプライベート接続を構成するを参照してください。
この一般利用可能な機能には、Google マネージドサービスは含まれません。Google APIs へのプライベート接続はベータ版です。「Google APIs へのプライベート接続を構成する」を参照してください。
アウトバウンド接続の主要な概念
アウトバウンド接続の主要概念
- ネットワーク接続構成（NCC） ：プライベートエンドポイントを管理し、Serverless コンピュートが顧客リソースにアクセスする方法を制御する、アカウントレベルのリージョン構造。
- Private Endpoint rule : 特定のサービスアタッチメントと、Serverless コンピュートがそれに到達するために使用するドメイン名を定義する NCC 上のルール。
- カスタマーサービスアタッチメント ：VPC 内に作成し、内部ロードバランサーを前面に配置する Google Cloud サービスアタッチメント。Databricks は、このサービスアタッチメントに接続する Private Service Connect Endpoint を作成します。
- ワークスペース接続モデル ：NCCは同一リージョン内の最大50のワークスペースに接続可能です。
- 制限と割り当て :
- アカウント/リージョンごとに最大 20 個の NCC
- リージョンごとに最大 10 個のプライベートEndpointオブジェクト
- NCC あたり最大 50 のワークスペース
- プライベートEndpointルールごとに最大100個のドメイン名
クラシック コンピュート プレーンのプライベート接続
クラシック コンピュート プレーンの Private Service Connect は、Databricks クラスターからコントロール プレーンへの接続を保護します。クラスターは、REST API およびセキュアなクラスター接続リレーのためにコントロール プレーンに接続します。
クラシック コンピュート プレーンの Private Service Connect アドレス：
- コンプライアンス要件 : すべての内部クラウド トラフィックをプライベート ネットワーク上に維持することを要求する、厳格な規制および企業のコンプライアンス要件を満たすのに役立ちます。
- ネットワーク境界の強化 : クラシック コンピュート プレーンの Private Service Connect を Google APIs 用の VPC Service Controls と併用して実装することで、クラスターからパブリック インターネットへのパスが削除され、データ流出のリスクが軽減されます。
「クラシック コンピュート プレーンの Private Service Connect を構成する」を参照してください。
クラシック コンピュート プレーンのプライベート接続は個別に設定できます。インバウンド接続やServerless接続は必要ありません。
プライベート接続のための仮想プライベートクラウド
プライベート接続では、2つのVPCネットワークを使用します。
- Transit VPC : ユーザー接続のハブとして機能します。ワークスペースへのクライアントアクセスに必要なインバウンド Private Service Connect Endpoint が含まれています。
- クラシックコンピュートプレーン VPC : Databricks ワークスペースとクラシックコンピュートプレーンの Private Service Connect Endpoint をホストする顧客管理VPC。
シングルネットワークトポロジでは、1つのVPCが両方の機能を果たせます。その場合、VPCからのすべてのクライアントアクセスは、インバウンドの Private Service Connect 接続を経由する必要があります。詳細については、ワークスペースの Private Service Connect を有効にするを参照してください。
同じトランジット VPC 内で、インバウンド Private Service Connect を使用するワークスペースと使用しないワークスペースを混在させることはできません。トランジット VPC 内のすべてのワークスペースは、同じタイプである必要があります。これは Google Cloud DNS 解決の制約です。
サブネットの割り当てとサイズ設定
ワークスペースのデプロイと併せて Private サービス Connect Endpoint をサポートするために、各 VPC 内のサブネットを計画してください。
- トランジットVPC : インバウンドPrivate Service Connect Endpoint専用のサブネットを割り当てます。
- クラシックコンピュートプレーン VPC ：
- ワークスペースサブネット : Databricks ワークスペースには独自のサブネットが必要です。顧客管理VPCの設定を参照してください。
- Private Service Connect Endpoint subnet : クラシック コンピュート プレーンのPrivate Service Connect Endpoint用の個別のサブネット（例:
/28）。EndpointのIP範囲は、ワークスペースのサブネット範囲と重複することはできません。
Databricks Private サービス Connect Endpoint
Databricksは、VPCから接続する3つのリージョンサービスアタッチメントを公開しています：
- 汎用アクセスEndpoint ：サービス添付サフィックス
plproxy-psc-endpoint-all-ports。これはワークスペースとの間のトラフィックを保護するためのプライマリEndpointであり、二重の役割を担っています。クラシック コンピュート プレーン Private サービス Connect は、REST APIsのコントロール プレーンに到達するためにそれを使用します。インバウンド Private サービス Connect は、トランジット VPC ワークスペース Web アプリケーションと REST APIsに接続するためにそれを使用します。 - SCC relay Endpoint : サービス アタッチメントのサフィックス
ngrok-psc-endpoint。このEndpointを使用するのはクラシック コンピュート プレーンの Private Service Connect のみであり、セキュア クラスター接続 (SCC) リレーに使用されます。 - サービス Direct Endpoint : サービス アタッチメントの接尾辞
regional-plproxy-psc-endpoint-all-ports。このEndpointは、パフォーマンスを集中的に使用するサービスにアクセスするために必要です。
リージョン別のサービスアタッチメント URI については、「Private Service Connect (PSC) 添付ファイル URI とプロジェクト番号」を参照してください。
VPC内の同じリージョン内では、DatabricksはEndpointタイプごとに最大1つのEndpointを推奨しています。VPCを使用するすべてのワークスペースで1つの全般アクセスEndpointを共有し、そのVPCからのすべての従来のコンピュートプレーン接続に1つのSCCリレーEndpointを共有します。
For Private Service Connect Endpointについては、以下に注意してください。
- 共有Endpoint : 一般アクセスEndpointは、任意のリージョンの複数のワークスペース間で共有できます。クラシック コンピュート プレーンの接続では、単一の Private サービス Connect Endpoint セットを使用して、その VPC とリージョンにデプロイされているすべてのワークスペースにサービスを提供できます。
- リージョン固有 ：Private Service Connect Endpointはリージョン固有のリソースです。Service DirectおよびSCCリレーEndpointについては、異なるリージョンのワークスペースごとに、個別のPrivate Service Connect Endpoint構成が必要です。コンテキストベースのイングレスプライベートアクセス ポリシーを使用して許可リストに追加するGeneral Access Endpointについては、異なるリージョンのワークスペース間で、任意のリージョンにある単一のEndpointを共有できます。
- クォータ : リージョンおよびホストプロジェクトごとに最大10個の各タイプのPrivate サービス Connect Endpoint（一般アクセス、SCCリレー、サービスダイレクト）。この制限はVPCごとではなく、ホストプロジェクト（VPCが作成されるGoogle Cloudプロジェクト）ごとに適用されます。これが制約となる場合は、アカウントチームにお問い合わせください。
重要な考慮事項
Private Service Connect を構成する前に、次の点に注意してください。
- 顧客管理VPCが必要です : Databricks管理のVPCでは Private Service Connect を使用できません。
- クラシックコンピュートプレーン Private サービス Connect のリージョン間接続はありません : クラシックコンピュートプレーン Private サービス Connect コンポーネントは、クラシックコンピュートプレーン VPC、ワークスペース、 Private サービス Connect Endpoint、 Private サービス Connect Endpoint サブネットなど、ワークスペースと同じリージョンにある必要があります。インバウンド Private サービス Connect の場合、コンテキストベースのイングレスプライベートアクセスポリシーで許可リストに追加すると、任意のリージョンの汎用アクセスEndpointを任意のリージョンのワークスペースで使用できます。
- DNS 解決 : インバウンド Private Service Connect では、トランジット VPC 内にプライベート DNS レコードが必要です。Google Cloud インバウンド Private Service Connect の DNS を構成するを参照してください。
- VPC Service Controls の統合 : Private Service Connect と VPC Service Controls を組み合わせることで、Databricks プロジェクトから Google APIs および Cloud Storage へのアクセスをさらに制限できます。For Serverless コンピュート, the NCC は VPC Service Controls のイングレスルールに追加する安定した Google Cloud プロジェクト番号を公開します。「Private Service Connect (PSC) 添付ファイル URI とプロジェクト番号」を参照してください。
- ファイアウォールの影響 : クラシック コンピュート プレーン VPC は、defaultではパブリック インターネットにアクセスできません。ファイアウォールを使用してエグレスを制御する場合は、Databricks が必要とする URL を許可するか、パッケージリポジトリおよびメタストア用に クラウド NAT またはプライベートミラーを提供する必要があります。ファイアウォールを使用してワークスペースのネットワークエグレスを制限するを参照してください。
- コンテキストベースのイングレス制御 ：コンテキストベースのイングレス制御を使用して、ID、リクエストタイプ、ネットワークソースに基づいてパブリックおよびプライベートアクセスを制限します。プライベートアクセスには、ワークスペースごとに特定の登録済み一般アクセスEndpointを許可または拒否できます。コンテキストベースのイングレス制御を参照してください。