Private Service Connect の概念
このページでは、Databricks on Google CloudにおけるPrivate Service Connectの概要を説明します。Private Service Connectは、DatabricksリソースとGoogle Cloudサービス間にプライベートで安全な接続を作成し、ネットワークトラフィックがパブリックインターネットに公開されないようにします。
Databricksは、Google Cloud上で以下のタイプのPrivate Service Connect接続をサポートしています：
- インバウンド : ユーザーからワークスペースへの接続を保護します
- Outbound (Serverless) : Databricks Serverless コンピュートからお客様の仮想プライベートクラウド (VPC) 内のリソースへの接続を保護します
- クラシック コンピュート プレーン : クラシック コンピュートからコントロール プレーンへの接続を保護します
AWS PrivateLinkやAzure Private Linkとは異なり、Databricks on Google Cloudは現在、パフォーマンス重視のサービス（Zerobus Ingest、Lakebase オートスケール）に対するインバウンドのPrivate Service Connectをサポートしていません。一般的なインバウンド接続およびクラシック コンピュート プレーン接続は一般提供されていますが、Serverlessのアウトバウンド接続はプライベートプレビュー段階です。
プライベート接続の概要
Private Service Connect を使用すると、Google Cloud VPC ネットワークおよびオンプレミスネットワークから Databricks サービスへの安全なプライベート接続が可能になり、トラフィックをパブリックインターネットから分離した状態に保つことができます。エンドツーエンドのプライベートネットワーキングは、セキュリティおよびコンプライアンス要件を満たすのに役立ち、データ流出のリスクを軽減します。
セキュリティおよびコンプライアンスの要件に応じて、インバウンドおよびクラシック コンピュート プレーンの Private Service Connect 接続を個別に、または組み合わせて有効にすることができます。両方を有効にすると、ユーザーとクラシック コンピュートのトラフィックパスがプライベート化されますが、それ自体ではワークスペースへのパブリックアクセスはブロックされません。パブリックアクセスをブロックするには、プライベートアクセス設定オブジェクトでパブリックアクセスを無効にします。代わりにパブリックアクセスを有効のままにする場合は、IP アクセス リストを使用して、どのパブリック IP アドレスがワークスペースに到達できるかを制御できます。「インバウンド Private Service Connect の構成」を参照してください。
Private Service Connect を使用すると、次のことが可能です。
- Databricks Web アプリケーションまたはAPIsを使用するときは、許可されていないネットワークまたはパブリック インターネットからのデータ アクセスをブロックします。
- ネットワーク公開を承認されたプライベート エンドポイントのみに制限することで、データ流出のリスクを軽減します。
用語
以下の Google Cloud および Databricks の用語は、Private Service Connect の構成について説明しています。
期間 | 説明 |
|---|---|
Google Cloud Private Service Connect | VPCネットワークとGoogle Cloudサービス間のプライベート接続を提供するGoogle Cloudの機能。Databricksは、お客様のVPCとDatabricksサービス間のプライベート接続にPrivate Service Connectを使用します。 |
ホストプロジェクト | 共有VPCセットアップにおいて、VPCが作成されるGoogle Cloudプロジェクト。クラシックコンピュートプレーンVPCとトランジットVPCの両方に使用されます。 |
サービスプロジェクト | 共有 VPC セットアップにおいて、ワークスペースのコンピュートリソースを含む Google Cloud プロジェクト。 |
Private Service Connect endpoint (VPC endpoint) | VPC ネットワークから Databricks によって公開されたサービスへのプライベート接続。Endpointは、コンシューマー VPC ネットワーク内に内部 IP アドレスを持ち、そのネットワーク内のクライアントからアクセス可能です。 |
トランジットVPC | インバウンドの Private Service Connect Endpoint をホストし、クライアントから Databricks へのトラフィックをルーティングする VPC ネットワーク。Google Cloud の用語では、これは通常、インバウンドの Private Service Connect Endpoint に使用される VPC です。 |
クラシックコンピュートプレーン VPC | DatabricksワークスペースのコンピュートリソースをホストするVPCネットワーク。Google Cloudの用語では、これは通常、クラシックコンピュートプレーンのPrivate Service Connectに使用されるVPCを指します。 |
サービスアタッチメント | コンシューマーにサービスを公開する Google Cloud リソース。Databricks は、お客様の VPC から接続するリージョンごとのサービスアタッチメントを公開しています。 |
プライベートワークスペース | クラシック コンピュート プレーンの VM がパブリック IP アドレスを持たないワークスペース。Google Cloud 上では、Databricks はdefaultでパブリック IP を持たないクラスターを作成します。 |
適切な Private サービス Connect 実装を選択する
ニーズに合った実装を判断するには、このガイドを使用してください。
考慮 | インバウンドのみ | クラシックコンピュートプレーンのみ | 完全なプライベート隔離 |
|---|---|---|---|
主なセキュリティ目標 | 承認された個人のみが Databricks リソースにアクセスできます。 | 従来のコンピュートプレーンをロックダウン | 最大限の分離（すべてを保護） |
ユーザー接続 | 私立か公立か | パブリック（インターネット） | プライベートのみ |
コントロールプレーンへのクラスター接続 | パブリック（標準のセキュアパス） | プライベート（必須） | プライベート（必須） |
前提条件 | Enterprise プラン、顧客管理VPC | Enterprise プラン、顧客管理VPC | Enterprise プラン、顧客管理VPC |
必要なサービスアタッチメント | ワークスペース Endpoint ( | ワークスペース Endpoint および SCC リレー Endpoint ( | ワークスペース Endpoint およびSCCリレー Endpoint |
相対コスト | エンドポイントとデータ転送あたりのコスト | エンドポイントとデータ転送あたりのコスト | 高コスト（すべての Endpoint） |
アウトバウンド（Serverless）Private サービス Connect は、上記のどの構成にも重ねて使用できる、個別の追加機能です。「アウトバウンド接続（Serverless）」を参照してください。
インバウンド接続
インバウンド Private Service Connect は、ユーザーから Databricks ワークスペースへの接続を保護します。トラフィックは、パブリック IP ではなく、トランジット VPC 内の Private Service Connect Endpoint を経由してルーティングされます。インバウンド Private Service Connect は、以下への安全なアクセスを提供します：
- Databricks Webアプリケーション
- REST API
- Databricks Connect API
インバウンド Private Service Connect の構成を参照してください。
アウトバウンド接続 (Serverless)
アウトバウンド Private Service Connect を使用すると、Databricks Serverless コンピュートから VPC 内のリソースへのプライベート接続が可能になります。Databricks への接続を保護するインバウンドおよびクラシック コンピュート プレーンの Private Service Connect とは異なり、アウトバウンド Private Service Connect は Serverless コンピュートからお客様のリソースへの接続を保護します。
アウトバウンド Private Service Connect は、ネットワーク接続構成 (NCC) を使用します。これは、プライベートEndpointの作成を大規模に管理するアカウントレベルのリージョン構造です。NCC は、同じリージョン内の複数のワークスペースにアタッチできます。
プレビュー
この機能は プライベート プレビュー段階です。試用については、Databricksの連絡先にお問い合わせください。
Databricks on Google Cloud は、内部ロードバランサーを前面に配置した顧客管理の Google Cloud サービスアタッチメントを介して、VPC 内のリソースへの Serverless なアウトバウンド Private Service Connect をサポートしています。VPC 内のリソースへのプライベート接続を構成するを参照してください。
Google Cloud 上のサーバーレスコンピュートプレーンは、Google マネージドサービスへの Private Service Connect 接続をサポートしていません。Serverless コンピュートは、限定公開 Google アクセスを通じて、Google Cloud Storage や BigQuery などの Google APIs に到達します。VPC Service Controls がそのアクセスをブロックする場合は、代わりにクラシックコンピュートプレーンを使用してください。
アウトバウンド接続の主要な概念
アウトバウンド接続の主要概念
- ネットワーク接続構成 (NCC) : プライベート エンドポイントを管理し、サーバーレス コンピュートが顧客リソースにアクセスする方法を制御するアカウント レベルの地域構造。
- Private Endpoint rule : 特定のサービスアタッチメントと、Serverless コンピュートがそれに到達するために使用するドメイン名を定義する NCC 上のルール。
- カスタマーサービスアタッチメント ：VPC 内に作成し、内部ロードバランサーを前面に配置する Google Cloud サービスアタッチメント。Databricks は、このサービスアタッチメントに接続する Private Service Connect Endpoint を作成します。
- ワークスペース接続モデル ：NCCは同一リージョン内の最大50のワークスペースに接続可能です。
- 制限とクォータ（プライベートプレビュー） ：
- アカウントおよびリージョンごとに最大 10 個の NCC
- リージョンごとに最大 10 個のプライベートEndpointオブジェクト
- NCC あたり最大 50 のワークスペース
クラシック コンピュート プレーンのプライベート接続
クラシック コンピュート プレーンの Private Service Connect は、Databricks クラスターからコントロール プレーンへの接続を保護します。クラスターは、REST API およびセキュアなクラスター接続リレーのためにコントロール プレーンに接続します。
クラシック コンピュート プレーンの Private Service Connect アドレス：
- コンプライアンス要件 : すべての内部クラウド トラフィックをプライベート ネットワーク上に維持することを要求する、厳格な規制および企業のコンプライアンス要件を満たすのに役立ちます。
- ネットワーク境界の強化 : クラシック コンピュート プレーンの Private Service Connect を Google APIs 用の VPC Service Controls と併用して実装することで、クラスターからパブリック インターネットへのパスが削除され、データ流出のリスクが軽減されます。
「クラシック コンピュート プレーンの Private Service Connect を構成する」を参照してください。
クラシック コンピュート プレーンのプライベート接続は個別に設定できます。インバウンド接続やServerless接続は必要ありません。
プライベート接続のための仮想プライベートクラウド
プライベート接続では、2つのVPCネットワークを使用します。
- Transit VPC : ユーザー接続のハブとして機能します。ワークスペースへのクライアントアクセスに必要なインバウンド Private Service Connect Endpoint が含まれています。
- クラシックコンピュートプレーン VPC : Databricks ワークスペースとクラシックコンピュートプレーンの Private Service Connect Endpoint をホストする顧客管理VPC。
シングルネットワークトポロジでは、1つのVPCが両方の機能を果たせます。その場合、VPCからのすべてのクライアントアクセスは、インバウンドの Private Service Connect 接続を経由する必要があります。詳細については、ワークスペースの Private Service Connect を有効にするを参照してください。
同じトランジット VPC 内で、インバウンド Private Service Connect を使用するワークスペースと使用しないワークスペースを混在させることはできません。トランジット VPC 内のすべてのワークスペースは、同じタイプである必要があります。これは Google Cloud DNS 解決の制約です。
サブネットの割り当てとサイズ設定
ワークスペースのデプロイと併せて Private サービス Connect Endpoint をサポートするために、各 VPC 内のサブネットを計画してください。
- トランジットVPC : インバウンドPrivate Service Connect Endpoint専用のサブネットを割り当てます。
- クラシックコンピュートプレーン VPC ：
- ワークスペースサブネット : Databricks ワークスペースには独自のサブネットが必要です。顧客管理VPCの設定を参照してください。
- Private Service Connect Endpoint subnet : クラシック コンピュート プレーンのPrivate Service Connect Endpoint用の個別のサブネット（例:
/28）。EndpointのIP範囲は、ワークスペースのサブネット範囲と重複することはできません。
Databricks Private サービス Connect Endpoint
Databricks は、VPC から接続する 2 つのリージョン サービス アタッチメントを公開しています。
- ワークスペース Endpoint : サービス アタッチメントのサフィックス
plproxy-psc-endpoint-all-ports。このEndpointには 2 つの役割があります。クラシック コンピュート プレーンの Private Service Connect は、これを使用して REST APIs のコントロール プレーンに到達します。インバウンド Private Service Connect は、これを使用してトランジット VPC をワークスペース Web アプリケーションおよび REST APIs に接続します。 - SCC relay Endpoint : サービス アタッチメントのサフィックス
ngrok-psc-endpoint。このEndpointを使用するのはクラシック コンピュート プレーンの Private Service Connect のみであり、セキュア クラスター接続 (SCC) リレーに使用されます。
リージョン別のサービスアタッチメント URI については、「Private Service Connect (PSC) 添付ファイル URI とプロジェクト番号」を参照してください。
VPC内の同じリージョンにおいて、DatabricksではEndpointタイプごとに最大1つのEndpointを配置することを推奨しています。VPCを使用するすべてのワークスペース間で1つのワークスペースEndpointを共有し、そのVPCからのすべてのクラシックコンピュートプレーン接続に対して1つのSCCリレーEndpointを共有してください。
For Private Service Connect Endpointについては、以下に注意してください。
- 共有Endpoint ：同じVPCを使用する複数のワークスペースは、Private Service Connect EndpointがVPCレベルのリソースであるため、これらを共有できます。
- リージョン固有 : Private Service Connect Endpoint はリージョン固有です。異なるリージョンのワークスペースには、個別の Private Service Connect Endpoint 構成が必要です。
- クォータ : リージョンごと、ホストプロジェクトごとに、各タイプのPrivate Service Connect Endpoint（ワークスペースEndpointおよびSCCリレーEndpoint）を最大10個まで、合計で最大20個まで作成できます。この制限はVPCごとではなく、ホストプロジェクト（VPCが作成されるGoogle Cloudプロジェクト）ごとに適用されます。これが制約となる場合は、アカウントチームにお問い合わせください。
重要な考慮事項
Private Service Connect を構成する前に、次の点に注意してください。
- 顧客管理VPCが必要です : Databricks管理のVPCでは Private Service Connect を使用できません。
- クロスリージョン接続なし : トランジット VPC、クラシック コンピュート プレーン VPC、ワークスペース、Private Service Connect Endpoint、Private Service Connect Endpoint サブネットなど、すべての Private Service Connect コンポーネントは、ワークスペースと同じリージョンにある必要があります。
- DNS 解決 : インバウンド Private Service Connect では、トランジット VPC 内にプライベート DNS レコードが必要です。Google Cloud インバウンド Private Service Connect の DNS を構成するを参照してください。
- VPC Service Controls の統合 : Private Service Connect と VPC Service Controls を組み合わせることで、Databricks プロジェクトから Google APIs および Cloud Storage へのアクセスをさらに制限できます。For Serverless コンピュート, the NCC は VPC Service Controls のイングレスルールに追加する安定した Google Cloud プロジェクト番号を公開します。「Private Service Connect (PSC) 添付ファイル URI とプロジェクト番号」を参照してください。
- ファイアウォールの影響 : クラシック コンピュート プレーン VPC は、defaultではパブリック インターネットにアクセスできません。ファイアウォールを使用してエグレスを制御する場合は、Databricks が必要とする URL を許可するか、パッケージリポジトリおよびメタストア用に クラウド NAT またはプライベートミラーを提供する必要があります。ファイアウォールを使用してワークスペースのネットワークエグレスを制限するを参照してください。
- コンテキストベースのイングレス制御 : インバウンドのPrivate Service Connectと併用してパブリックアクセスを有効にしたままにする場合は、コンテキストベースのイングレス制御を使用して、ID、リクエストタイプ、ネットワークソースに基づいてアクセスを制限します。コンテキストベースのイングレス制御を参照してください。
- パフォーマンス重視のサービスへの非対応 : Databricks on Google Cloudは現在、Zerobus IngestやLakebase オートスケールなどのパフォーマンス重視のサービスに対するインバウンドのPrivate Service Connectをサポートしていません。