プライベートリンクの概念
このページでは、Databricks の Private Link の概要を説明します。Private Link は、 DatabricksリソースとAWSサービスおよびサーバーレス リソースの間にプライベートで安全な接続を作成し、ネットワーク トラフィックがパブリック インターネットに公開されないようにします。
Databricks は、次の 3 種類の Private Link 接続をサポートしています。
- インバウンド（フロントエンド）：ユーザーからワークスペースおよびアカウントレベルのリソース（たとえば、アカウントコンソールやアカウントレベルのGenie）への接続を保護します
- アウトバウンド (サーバレス)：Databricks サーバレスコンピュートからお客様のリソースへの接続を保護します。
- クラシック (バックエンド)：クラシックコンピュートからコントロールプレーンへの接続を保護します。
プライベート接続の概要
Private Link を使用すると、AWS VPC およびオンプレミス ネットワークから AWS サービスへの安全でプライベートな接続が可能になり、トラフィックがパブリックインターネットから分離された状態が維持されます。この機能は、エンドツーエンドのプライベート ネットワーキングを可能にし、データ流出のリスクを最小限に抑えることで、組織がセキュリティとコンプライアンスの要件に対応できるように設計されています。
セキュリティおよびコンプライアンス要件に応じて、インバウンド（フロントエンド）、アウトバウンド（サーバレス）、またはクラシックコンピュート（バックエンド）のPrivate Link接続を個別に、あるいは3つの組み合わせで有効にできます。例えば、すべてのパブリックネットワーク接続を自動的に拒否しながら、Databricksリソースへのプライベート接続を強制できます。この組み合わせたアプローチにより、包括的なネットワーク分離が実現され、攻撃対象領域が減少し、機密性の高いワークロードのコンプライアンスがサポートされます。
Private Link を使用すると、次のことが可能になります。
- Databricks Web アプリケーションまたはAPIsを使用するときは、許可されていないネットワークまたはパブリック インターネットからのデータ アクセスをブロックします。
- ネットワーク公開を承認されたプライベート エンドポイントのみに制限することで、データ流出のリスクを軽減します。
適切なプライベートリンク実装を選択する
このガイドを使用して、ニーズに最適な実装を決定します。
考慮 | インバウンド（フロントエンド）のみ | アウトバウンド（サーバレス）のみ | クラシック コンピュート プレーン (バックエンド) のみ | 完全なプライベート隔離 |
|---|---|---|---|---|
主なセキュリティ目標 | 承認された個人のみが Databricks リソースにアクセスできます。 | サーバレスからの安全なデータアクセス | 従来のコンピュートプレーンをロックダウン | 最大限の分離（すべてを保護） |
ユーザー接続 | 私立か公立か | パブリック（インターネット） | パブリック（インターネット） | プライベートのみ |
サーバーレスデータアクセス | パブリック（インターネット） | プライベート（顧客リソース向け） | パブリック（インターネット） | プライベート（顧客リソース向け） |
コントロールプレーンへのクラスター接続 | パブリック（標準のセキュアパス） | パブリック（標準のセキュアパス） | プライベート（必須） | プライベート（必須） |
前提条件 | エンタープライズプラン | エンタープライズプラン | エンタープライズプラン、カスタマー管理VPC 、SCC | エンタープライズプラン、カスタマー管理VPC 、SCC |
相対コスト | エンドポイントとデータ転送あたりのコスト | エンドポイントおよび処理データあたりのコスト | エンドポイントとデータ転送あたりのコスト | コストが高くなる可能性がある（データ転送と処理を含むすべてのエンドポイント） |
インバウンド接続（フロントエンド）
インバウンド Private Link は、ユーザーからDatabricksワークスペースおよびアカウントレベルのリソースへの接続を保護します。トラフィックは、パブリックIPではなく、お客様のトランジットVPC内のVPCインターフェースエンドポイントを経由します。インバウンドPrivate Linkは、以下への安全なアクセスを提供します：
- Databricks Webアプリケーション
- REST API
- Databricks Apps
- Databricks Connect API
- Databricksのパフォーマンス重視サービス
- アカウントレベルのGenie One
「フロントエンド Private Link の構成」を参照してください。
パフォーマンス集約型サービスへのインバウンドプライベート接続
パフォーマンス集約型サービスへのインバウンドプライベート接続パフォーマンス集約型サービスへのインバウンドプライベート接続
パフォーマンス重視のサービス向けの Private Link は、次のサービスへのプライベート接続を提供します。
- Zerobus Ingest
- Lakebaseオートスケール
パフォーマンス重視のサービス向け受信プライベートリンクの設定については、「パフォーマンス重視のサービス向け受信プライベートリンクの設定」を参照してください。
アウトバウンド接続 (サーバレス)
アウトバウンド プライベート リンクにより、 Databricksサーバーレス コンピュート リソースからAWSリソースへのプライベート接続が可能になります。 Databricksへの接続を保護する受信およびクラシック コンピュート プレーンの Private Link とは異なり、送信 Private Link はサーバーレス コンピュートから顧客リソースへの接続を保護します。
サーバーレス Private Link は、大規模なプライベート エンドポイントの作成を管理するアカウント レベルの地域構成要素であるネットワーク接続構成 (NCC) を使用します。 NCC は同じリージョン内の複数のワークスペースに接続できます。
S3バケットへのプライベート接続
S3バケットへのプライベート接続S3バケットへのプライベート接続
Preview
Private connectivity to S3 buckets is in Public Preview. To join this preview, contact your Databricks account team.
サーバレス コンピュートが公共のインターネットを経由せずに、 AWS Private Link 経由でリージョン内のS3バケットにアクセスできるようにします。 データトラフィックは完全に AWS ネットワーク内に留まります。
「AWS S3 ストレージバケットへのプライベート接続を構成する」を参照してください。
VPC リソースへのプライベート接続
VPC リソースへのプライベート接続VPC リソースへのプライベート接続
サーバーレス コンピュートがプライベート エンドポイント経由でデータベースや内部サービスなどのVPC内のリソースにアクセスできるようにします。
VPC 内のリソースへのプライベート接続を構成するを参照してください。
アウトバウンド接続の主要概念
アウトバウンド接続の主要概念アウトバウンド接続の主要概念
- ネットワーク接続構成 (NCC)：プライベートエンドポイントを管理し、サーバレスコンピュートが顧客リソースにアクセスする方法を制御する、アカウントレベルのリージョン構造です。
- プライベートエンドポイントルール：サーバレスコンピュートがプライベートにアクセスできる特定のリソースを定義します。
- ワークスペースアタッチメントモデル: NCC は、同じリージョン内の最大 50 のワークスペースにアタッチできます。
- 制限とクォータ：
- アカウントごとに地域ごとに最大 10 個の NCC
- S3 のリージョンあたり 30 個のプライベート エンドポイント (NCC 全体に分散)
- VPC リソース用のリージョンあたり 100 個のプライベート エンドポイント (NCC 全体に分散)
- NCC あたり最大 50 のワークスペース
クラシック コンピュート プレーンのプライベート接続
クラシック コンピュート プレーンのプライベート接続 Private Link は、 Databricksクラスターからコントロール プレーンへの接続を保護します。 クラスターはREST APIsのコントロール プレーンに接続し、クラスター接続リレーを保護します。
クラシック コンピュート プレーン接続プライベート リンク アドレス:
- コンプライアンス要件：すべての内部クラウドトラフィックがプライベートネットワークに留まることを要求する、厳格な規制および企業コンプライアンス要件を満たすのに役立ちます。
- ネットワーク境界の強化：クラシックコンピュートプレーンのPrivate LinkをAWSサービス（S3、STS、Kinesisなど）のVPCエンドポイントと併せて実装することで、VPCからインターネットゲートウェイを削除できます。これにより、データ処理クラスターがパブリックインターネット上の不正なサービスや宛先にアクセスできないようにすることで、データ流出のリスクが軽減されます。
「バックエンドのプライベート リンクを構成する」を参照してください。
クラシック コンピュート プレーンのプライベート接続を個別にセットアップできます。受信接続やサーバレス接続は必要ありません。
プライベート接続のための仮想プライベートクラウド
プライベート接続では、2 つの異なる仮想プライベート クラウド (VPC) が使用されます。
- トランジットVPC：このVPCは、ユーザー接続の中心ハブとして機能し、クライアントがワークスペースにアクセスするために必要なインバウンドVPCエンドポイントを含みます。トランジットVPCを複数持つことができます。
- コンピュートプレーン VPC: これは、Databricks ワークスペースとクラシック VPC エンドポイントをホストするために作成する VPC です。
一部のデプロイメントでは、インバウンド、アウトバウンド、および従来のプレーン Private Link に同じREST API /WebApp エンドポイントを再利用することで、単一のVPC両方の機能を提供できます。
サブネットの割り当てとサイズ設定
プライベート接続とデプロイメントをサポートするために、各 VPC 内のサブネットを計画します。
-
トランジット VPC サブネット：
- インバウンドVPCエンドポイントサブネット：インバウンドVPCエンドポイントのIPアドレスを割り当てます。
-
コンピュートプレーン VPC サブネット：
- ワークスペースサブネット：Databricksワークスペースのデプロイには、異なるアベイラビリティゾーンに少なくとも2つのサブネットが必要です。ワークスペースサブネットに関するサイジング情報については、サブネットを参照してください。
- VPCエンドポイントサブネット：従来のコンピュートプレーンのプライベート接続用にVPCエンドポイントをホストするために、追加のサブネットが推奨されます。
Databricks VPCエンドポイント
Databricksは、トラフィックをプライベート化するために、異なる種類のVPCエンドポイントを使用します。正しく実装するために、それぞれの異なる役割を理解してください。
- 一般アクセスエンドポイント：これは、ワークスペースおよびアカウントレベルのリソースとの間のトラフィックを保護するための主要なVPCエンドポイントです。インバウンドおよびクラシックコンピュートプレーンプライベートリンクの両方に対するREST API呼び出しを処理します。
- SCC リレーエンドポイント: この VPC エンドポイントは、コンピュートプレーンとコントロールプレーン間のセキュアなクラスター接続 (SCC) 専用です。クラシック コンピュート プレーン PrivateLink には、このエンドポイントが必要です。「セキュアなクラスター接続とは？」を参照してください。
- サービスダイレクトエンドポイント: このエンドポイントは、パフォーマンス重視のサービスにアクセスするために必要です。
同じVPC内では、Databricksはエンドポイントの種類ごとに最大1つのエンドポイントを推奨しています。すべてのワークスペースおよびアカウントレベルのアクセスには1つの一般アクセスエンドポイントを、そのVPCからのすべてのSCCリレーアクセスには1つのSCCリレーエンドポイントを共有します。
VPC エンドポイントについては、次の点に注意してください。
- 共有エンドポイント：VPCエンドポイントは、General Accessのために、どのリージョンでも複数のワークスペースとアカウントレベルのリソース間で共有できます。クラシックコンピュートプレーンの接続性には、単一のVPCエンドポイントセットがそのVPCとリージョンにデプロイされたすべてのワークスペースにサービスを提供できます。
- リージョン固有：VPCエンドポイントはリージョン固有のリソースです。Service-DirectおよびSCCリレーエンドポイントの場合、異なるリージョンのワークスペースでは個別のVPCエンドポイント構成が必要です。一般アクセスエンドポイントの場合、異なるリージョンのワークスペースは、任意のリージョンで単一のエンドポイントを共有できます。
重要な考慮事項
プライベート接続を構成する前に、次の点に注意してください。
- ネットワーク ACL 要件：Databricks では、
0.0.0.0/0を許可リストに追加するために、サブネットレベルのネットワーク ACL が必要です。エグレス トラフィックを制御するには、エグレス ファイアウォールまたはプロキシ アプライアンスを使用し、ほとんどのトラフィックをブロックしますが、Databricks が接続する必要がある URL を許可します。ファイアウォールとアウトバウンドアクセスを構成するを参照してください。 - ポート3306 metastore接続（レガシーHMSのみ）：このポートは、非推奨のHive Metastoreを使用しているレガシーワークスペースにのみ適用されます。新しいワークスペースでは、レガシーHive Metastoreがデフォルトで無効になっています。レガシーワークスペースの場合、ポート3306は、コントロールプレーンへの接続にPrivate Linkを使用しません。コンピュートプレーンとコントロールプレーン間のメタストア接続では、トラフィックは暗号化された接続を使用して、公開ルーティング可能なネットワーク空間を通過します。HMSをホストするDatabricksがホストするRDSインスタンスの、パブリックに解決可能なFQDNは、レガシーHive metastoreのRDSアドレスで入手できます。
- セキュリティグループのベストプラクティス：VPCエンドポイント専用のセキュリティグループを作成することにより、最小権限の原則に従ってください。
- コンピュートクラスターセキュリティグループ：必要なポート（443、3306、6666など）で、VPCエンドポイントセキュリティグループへのアウトバウンドTCPトラフィックを許可する必要があります。セキュリティグループを参照してください。
- VPCエンドポイントセキュリティグループ：コンピュートクラスターセキュリティグループからのインバウンドTCPトラフィックを同じポートで許可する必要があります。