プライベートリンクの概念
このページでは、Databricks の Private Link の概要を説明します。Private Link は、 DatabricksリソースとAWSサービスおよびサーバーレス リソースの間にプライベートで安全な接続を作成し、ネットワーク トラフィックがパブリック インターネットに公開されないようにします。
Databricks は、次の 3 種類の Private Link 接続をサポートしています。
- インバウンド（フロントエンド）：ユーザーからワークスペースおよびアカウントレベルのリソース（たとえば、アカウントコンソールやアカウントレベルのGenie）への接続を保護します
- アウトバウンド (サーバレス)：Databricks サーバレスコンピュートからお客様のリソースへの接続を保護します。
- クラシック (バックエンド)：クラシックコンピュートからコントロールプレーンへの接続を保護します。
プライベート接続の概要
Private Link は、AWS VPC およびオンプレミスネットワークから AWS サービスへの安全なプライベート接続を可能にし、トラフィックがパブリックインターネットから分離された状態を維持します。エンドツーエンドのプライベートネットワーキングは、セキュリティおよびコンプライアンス要件を満たすのに役立ち、データ流出のリスクを軽減します。
セキュリティおよびコンプライアンス要件に応じて、インバウンド（フロントエンド）、アウトバウンド（サーバレス）、またはクラシックコンピュート（バックエンド）のPrivate Link接続を個別に、あるいは3つの組み合わせで有効にできます。例えば、すべてのパブリックネットワーク接続を自動的に拒否しながら、Databricksリソースへのプライベート接続を強制できます。この組み合わせたアプローチにより、包括的なネットワーク分離が実現され、攻撃対象領域が減少し、機密性の高いワークロードのコンプライアンスがサポートされます。
Private Link を使用すると、次のことが可能になります。
- Databricks Web アプリケーションまたはAPIsを使用するときは、許可されていないネットワークまたはパブリック インターネットからのデータ アクセスをブロックします。
- ネットワーク公開を承認されたプライベート エンドポイントのみに制限することで、データ流出のリスクを軽減します。
適切なプライベートリンク実装を選択する
このガイドを使用して、ニーズに最適な実装を決定します。
考慮 | インバウンド（フロントエンド）のみ | アウトバウンド（サーバレス）のみ | クラシック コンピュート プレーン (バックエンド) のみ | 完全なプライベート隔離 |
|---|---|---|---|---|
主なセキュリティ目標 | 承認された個人のみが Databricks リソースにアクセスできます。 | サーバレスからの安全なデータアクセス | 従来のコンピュートプレーンをロックダウン | 最大限の分離（すべてを保護） |
ユーザー接続 | 私立か公立か | パブリック（インターネット） | パブリック（インターネット） | プライベートのみ |
サーバーレスデータアクセス | パブリック（インターネット） | プライベート（顧客リソース向け） | パブリック（インターネット） | プライベート（顧客リソース向け） |
コントロールプレーンへのクラスター接続 | パブリック（標準のセキュアパス） | パブリック（標準のセキュアパス） | プライベート（必須） | プライベート（必須） |
前提条件 | エンタープライズプラン | エンタープライズプラン | エンタープライズプラン、カスタマー管理VPC 、SCC | エンタープライズプラン、カスタマー管理VPC 、SCC |
相対コスト | エンドポイントとデータ転送あたりのコスト | エンドポイントおよび処理データあたりのコスト | エンドポイントとデータ転送あたりのコスト | コストが高くなる可能性がある（データ転送と処理を含むすべてのエンドポイント） |
インバウンド接続（フロントエンド）
インバウンド Private Link は、ユーザーからDatabricksワークスペースおよびアカウントレベルのリソースへの接続を保護します。トラフィックは、パブリックIPではなく、お客様のトランジットVPC内のVPCインターフェースエンドポイントを経由します。インバウンドPrivate Linkは、以下への安全なアクセスを提供します：
- Databricks Webアプリケーション
- REST API
- Databricks Apps
- Databricks Connect API
- Databricksのパフォーマンス重視サービス
- アカウントレベルのGenie One
「フロントエンド Private Link の構成」を参照してください。
パフォーマンス集約型サービスへのインバウンドプライベート接続
パフォーマンス集約型サービスへのインバウンドプライベート接続パフォーマンス集約型サービスへのインバウンドプライベート接続
パフォーマンス重視のサービス向けの Private Link は、次のサービスへのプライベート接続を提供します。
- Zerobus Ingest
- Lakebaseオートスケール
パフォーマンス重視のサービス向け受信プライベートリンクの設定については、「パフォーマンス重視のサービス向け受信プライベートリンクの設定」を参照してください。
アウトバウンド接続 (サーバレス)
アウトバウンド プライベート リンクにより、 Databricksサーバーレス コンピュート リソースからAWSリソースへのプライベート接続が可能になります。 Databricksへの接続を保護する受信およびクラシック コンピュート プレーンの Private Link とは異なり、送信 Private Link はサーバーレス コンピュートから顧客リソースへの接続を保護します。
サーバーレス Private Link は、大規模なプライベート エンドポイントの作成を管理するアカウント レベルの地域構成要素であるネットワーク接続構成 (NCC) を使用します。 NCC は同じリージョン内の複数のワークスペースに接続できます。
AWS 管理リソースへのプライベート接続
AWS 管理リソースへのプライベート接続AWS管理リソースへのプライベート接続
Preview
Private connectivity to S3 buckets is in Public Preview. To join this preview, contact your Databricks account team.
パブリックインターネットを経由せずに、AWS Private Link を通じてワークスペースリージョン内の AWS 管理リソースにServerlessコンピュートがアクセスできるようにします。データトラフィックは完全に AWS ネットワーク内に留まります。
AWS 管理リソースへのプライベート接続を構成するを参照してください。
VPC リソースへのプライベート接続
VPC リソースへのプライベート接続VPC リソースへのプライベート接続
サーバーレス コンピュートがプライベート エンドポイント経由でデータベースや内部サービスなどのVPC内のリソースにアクセスできるようにします。
VPC 内のリソースへのプライベート接続を構成するを参照してください。
アウトバウンド接続の主要概念
アウトバウンド接続の主要概念アウトバウンド接続の主要概念
- ネットワーク接続構成 (NCC)：プライベートエンドポイントを管理し、サーバレスコンピュートが顧客リソースにアクセスする方法を制御する、アカウントレベルのリージョン構造です。
- プライベートエンドポイントルール：サーバレスコンピュートがプライベートにアクセスできる特定のリソースを定義します。
- ワークスペースアタッチメントモデル: NCC は、同じリージョン内の最大 50 のワークスペースにアタッチできます。
- 制限とクォータ：
- アカウントごとに地域ごとに最大 10 個の NCC
- S3 のリージョンあたり 30 個のプライベート エンドポイント (NCC 全体に分散)
- VPC リソース用のリージョンあたり 100 個のプライベート エンドポイント (NCC 全体に分散)
- NCC あたり最大 50 のワークスペース
クラシック コンピュート プレーンのプライベート接続
クラシック コンピュート プレーンのプライベート接続 Private Link は、 Databricksクラスターからコントロール プレーンへの接続を保護します。 クラスターはREST APIsのコントロール プレーンに接続し、クラスター接続リレーを保護します。
クラシック コンピュート プレーン接続プライベート リンク アドレス:
- コンプライアンス要件：すべての内部クラウドトラフィックがプライベートネットワークに留まることを要求する、厳格な規制および企業コンプライアンス要件を満たすのに役立ちます。
- ネットワーク境界の強化：クラシックコンピュートプレーンのPrivate LinkをAWSサービス（S3、STS、Kinesisなど）のVPCエンドポイントと併せて実装することで、VPCからインターネットゲートウェイを削除できます。これにより、データ処理クラスターがパブリックインターネット上の不正なサービスや宛先にアクセスできないようにすることで、データ流出のリスクが軽減されます。
「バックエンドのプライベート リンクを構成する」を参照してください。
クラシック コンピュート プレーンのプライベート接続を個別にセットアップできます。受信接続やサーバレス接続は必要ありません。
プライベート接続のための仮想プライベートクラウド
プライベート接続では、2 つの異なる仮想プライベート クラウド (VPC) が使用されます。
- トランジットVPC：このVPCは、ユーザー接続の中心ハブとして機能し、クライアントがワークスペースにアクセスするために必要なインバウンドVPCエンドポイントを含みます。トランジットVPCを複数持つことができます。
- コンピュートプレーン VPC: これは、Databricks ワークスペースとクラシック VPC エンドポイントをホストするために作成する VPC です。
一部のデプロイメントでは、インバウンド、アウトバウンド、および従来のプレーン Private Link に同じREST API /WebApp エンドポイントを再利用することで、単一のVPC両方の機能を提供できます。
サブネットの割り当てとサイズ設定
プライベート接続とデプロイメントをサポートするために、各 VPC 内のサブネットを計画します。
-
トランジット VPC サブネット：
- インバウンドVPCエンドポイントサブネット：インバウンドVPCエンドポイントのIPアドレスを割り当てます。
-
コンピュートプレーン VPC サブネット：
- ワークスペースサブネット：Databricksワークスペースのデプロイには、異なるアベイラビリティゾーンに少なくとも2つのサブネットが必要です。ワークスペースサブネットに関するサイジング情報については、サブネットを参照してください。
- VPCエンドポイントサブネット：従来のコンピュートプレーンのプライベート接続用にVPCエンドポイントをホストするために、追加のサブネットが推奨されます。
Databricks VPCエンドポイント
Databricksは、トラフィックをプライベート化するために、異なる種類のVPCエンドポイントを使用します。正しく実装するために、それぞれの異なる役割を理解してください。
- 一般アクセスエンドポイント：これは、ワークスペースおよびアカウントレベルのリソースとの間のトラフィックを保護するための主要なVPCエンドポイントです。インバウンドおよびクラシックコンピュートプレーンプライベートリンクの両方に対するREST API呼び出しを処理します。
- SCC リレーエンドポイント: この VPC エンドポイントは、コンピュートプレーンとコントロールプレーン間のセキュアなクラスター接続 (SCC) 専用です。クラシック コンピュート プレーン PrivateLink には、このエンドポイントが必要です。「セキュアなクラスター接続とは？」を参照してください。
- サービスダイレクトエンドポイント: このエンドポイントは、パフォーマンス重視のサービスにアクセスするために必要です。
同じVPC内では、Databricksはエンドポイントの種類ごとに最大1つのエンドポイントを推奨しています。すべてのワークスペースおよびアカウントレベルのアクセスには1つの一般アクセスエンドポイントを、そのVPCからのすべてのSCCリレーアクセスには1つのSCCリレーエンドポイントを共有します。
VPC エンドポイントについては、次の点に注意してください。
- 共有エンドポイント：VPCエンドポイントは、General Accessのために、どのリージョンでも複数のワークスペースとアカウントレベルのリソース間で共有できます。クラシックコンピュートプレーンの接続性には、単一のVPCエンドポイントセットがそのVPCとリージョンにデプロイされたすべてのワークスペースにサービスを提供できます。
- リージョン固有：VPCエンドポイントはリージョン固有のリソースです。Service-DirectおよびSCCリレーエンドポイントの場合、異なるリージョンのワークスペースでは個別のVPCエンドポイント構成が必要です。一般アクセスエンドポイントの場合、異なるリージョンのワークスペースは、任意のリージョンで単一のエンドポイントを共有できます。
重要な考慮事項
プライベート接続を構成する前に、次の点に注意してください。
- ネットワーク ACL の要件 : Databricks では、
0.0.0.0/0許可リストに追加するためにサブネット レベルのネットワーク ACL が必要です。出力トラフィックを制御するには、出力ファイアウォールまたはプロキシ アプライアンスを使用して、ほとんどのトラフィックをブロックしますが、Databricks が接続する必要がある URL は許可します。「ファイアウォールと送信アクセスを構成する」を参照してください。 - ポート 3306 メタストア接続 (レガシーHMSのみ) : このポートは、非推奨のHive metastoreを使用するレガシー ワークスペース にのみ適用されます。 新しいワークスペースでは、従来のHive metastore自動的に無効になっています。 従来のワークスペースの場合、ポート 3306 はコントロール プレーンへの接続に Private Link を使用しません。コンピュートとコントロール プレーン間のメタストア接続では、トラフィックは暗号化された接続を使用して、パブリックにルーティング可能なネットワーク空間を通過します。 HMSを収容する、 Databricksがホストする RDS インスタンスのパブリックに解決可能な FQDN は、従来のHive metastoreの RDS アドレスで利用できます。
- セキュリティ グループのベスト プラクティス : VPCエンドポイントに専用のセキュリティ グループを作成して、最小特権の原則に従います。
- コンピュート クラスター セキュリティ グループ : 必要なポート (443、3306、6666 など) でVPCエンドポイント セキュリティ グループへのアウトバウンド TCP トラフィックを許可する必要があります。 セキュリティグループを参照
- VPCエンドポイント セキュリティ グループ : 同じポート上でコンピュート クラスター セキュリティ グループからの受信 TCP トラフィックを許可する必要があります。