メインコンテンツまでスキップ
に最終更新

PrivateLinkのコンセプト

このページでは、Databricks の PrivateLink の概要を説明します。PrivateLink は、 DatabricksリソースとAWSサービスおよびサーバーレス リソースの間にプライベートで安全な接続を作成し、ネットワーク トラフィックがパブリック インターネットに公開されないようにします。

Databricks は、次の 3 種類の PrivateLink 接続をサポートしています。

  • インバウンド（フロントエンド） : ユーザーからワークスペースへの接続を保護します
  • アウトバウンド (サーバレス) : Databricksサーバレス コンピュートから顧客リソースへの接続を保護します
  • クラシック (バックエンド) : クラシック コンピュートからコントロール プレーンへの接続を保護します

プライベート接続の概要​

PrivateLink は、AWS VPC およびオンプレミスネットワークから AWS サービスへの安全でプライベートな接続を可能にし、トラフィックがパブリックインターネットから分離された状態を保証します。この機能は、エンドツーエンドのプライベート ネットワーキングを可能にし、データ流出のリスクを最小限に抑えることで、組織がセキュリティとコンプライアンスの要件に対応できるように設計されています。

セキュリティとコンプライアンスの要件に応じて、インバウンド (フロントエンド)、アウトバウンド (サーバレス)、またはクラシック コンピュート (バックエンド) PrivateLink 接続を個別に有効にすることも、3 つの組み合わせを有効にすることもできます。 また、ワークスペースにプライベート接続を強制して、Databricks がすべてのパブリック ネットワーク接続を自動的に拒否するようにすることもできます。この組み合わせたアプローチにより、包括的なネットワーク分離が実現し、攻撃対象領域が縮小され、機密性の高いワークロードのコンプライアンスがサポートされます。

PrivateLink を使用すると、次のことが可能になります。

  • Databricks Web アプリケーションまたはAPIsを使用するときは、許可されていないネットワークまたはパブリック インターネットからのデータ アクセスをブロックします。
  • ネットワーク公開を承認されたプライベート エンドポイントのみに制限することで、データ流出のリスクを軽減します。

適切なPrivateLink実装を選択する​

このガイドを使用して、ニーズに最適な実装を決定します。

考慮

インバウンド（フロントエンド）のみ

アウトバウンド（サーバレス）のみ

クラシック コンピュート プレーン (バックエンド) のみ

完全なプライベート隔離

主なセキュリティ目標

承認された個人のみが Databricks リソースにアクセスできます。

サーバレスからの安全なデータアクセス

従来のコンピュートプレーンをロックダウン

最大限の分離（すべてを保護）

ユーザー接続

私立か公立か

パブリック（インターネット）

パブリック（インターネット）

プライベートのみ

サーバーレスデータアクセス

パブリック（インターネット）

プライベート（顧客リソース向け）

パブリック（インターネット）

プライベート（顧客リソース向け）

コントロールプレーンへのクラスター接続

パブリック（標準のセキュアパス）

パブリック（標準のセキュアパス）

プライベート（必須）

プライベート（必須）

前提条件

エンタープライズプラン、カスタマー管理VPC 、SCC

エンタープライズプラン

エンタープライズプラン、カスタマー管理VPC 、SCC

エンタープライズプラン、カスタマー管理VPC 、SCC

相対コスト

エンドポイントとデータ転送あたりのコスト

エンドポイントおよび処理データあたりのコスト

エンドポイントとデータ転送あたりのコスト

コストが高くなる可能性がある（データ転送と処理を含むすべてのエンドポイント）

インバウンド接続（フロントエンド）​

Inbound PrivateLink は、ユーザーから Databricks ワークスペースへの接続を保護します。トラフィックは、パブリック IP ではなく、トランジット VPC 内の VPC インターフェース エンドポイントを介してルーティングされます。Inbound PrivateLink は、次のものへの安全なアクセスを提供します。

  • Databricks Webアプリケーション
  • REST API
  • Databricks Connect API

「フロントエンド PrivateLink の構成」を参照してください。

インバウンドプライベート接続

パフォーマンス集約型サービスへのインバウンドプライベート接続

備考

Beta

This feature is in Beta. Workspace admins can control access to this feature from the Previews page. See Manage Databricks previews.

Service-Direct PrivateLink は、パフォーマンスを重視するサービスへのプライベート接続を提供します。

  • Zerobus Ingest
  • Lakebaseオートスケール

「Service-Direct PrivateLink の構成」を参照してください。

アウトバウンド接続 (サーバレス)​

Outbound PrivateLink により、 Databricksレス コンピュート リソースからAWSへのプライベート接続が可能になります。 Databricksへの接続を保護する受信プレーンおよび従来のコンピュート プレーン PrivateLink とは異なり、送信 PrivateLink は、サーバーレス コンピュートから顧客リソースへの接続を保護します。

サーバーレス PrivateLink は、大規模なプライベート エンドポイントの作成を管理するアカウント レベルの地域構成要素であるネットワーク接続構成 (NCC) を使用します。 NCC は同じリージョン内の複数のワークスペースに接続できます。

S3バケットへのプライベート接続

備考

Preview

Private connectivity to S3 buckets is in Public Preview. To join this preview, contact your Databricks account team.

サーバレス コンピュートが公共のインターネットを経由せずに、 AWS PrivateLink 経由でリージョン内のS3バケットにアクセスできるようにします。 データトラフィックは完全に AWS ネットワーク内に留まります。

「AWS S3 ストレージバケットへのプライベート接続を構成する」を参照してください。

AWS S3 ストレージバケットへのプライベート接続。

VPC リソースへのプライベート接続

サーバーレス コンピュートがプライベート エンドポイント経由でデータベースや内部サービスなどのVPC内のリソースにアクセスできるようにします。

VPC 内のリソースへのプライベート接続を構成するを参照してください。

VPC 内のリソースへのプライベート接続。

アウトバウンド接続の主要概念​

  • ネットワーク接続構成 (NCC) : プライベート エンドポイントを管理し、サーバーレス コンピュートが顧客リソースにアクセスする方法を制御するアカウント レベルの地域構造。
  • プライベート エンドポイント ルール : サーバレス コンピュートがプライベートにアクセスできる特定のリソースを定義します。
  • ワークスペース接続モデル ：NCCは同一リージョン内の最大50のワークスペースに接続可能です。
  • 制限と割り当て :
    • アカウントごとに地域ごとに最大 10 個の NCC
    • S3 のリージョンあたり 30 個のプライベート エンドポイント (NCC 全体に分散)
    • VPC リソース用のリージョンあたり 100 個のプライベート エンドポイント (NCC 全体に分散)
    • NCC あたり最大 50 のワークスペース

クラシック コンピュート プレーンのプライベート接続​

クラシック コンピュート プレーンのプライベート接続 PrivateLink は、 Databricksクラスターからコントロール プレーンへの接続を保護します。 クラスターはREST APIsのコントロール プレーンに接続し、クラスター接続リレーを保護します。

クラシック コンピュート プレーン接続 PrivateLink のアドレス:

  • コンプライアンス要件 : すべての内部クラウド トラフィックをプライベート ネットワーク上に維持することを要求する、厳格な規制および企業のコンプライアンス要件を満たすのに役立ちます。
  • ネットワーク境界の強化 : AWSサービス ( S3 、STS、 Kinesisなど) のVPCエンドポイントと並行してクラシック コンピュート プレーン PrivateLink を実装すると、 VPCからインターネット ゲートウェイを削除できます。 これにより、データ処理クラスターがパブリック インターネット上の許可されていないサービスや宛先にアクセスできるパスがなくなるため、データの流出リスクが軽減されます。

バックエンド PrivateLink の構成を参照してください。

従来のプライベート接続

注記

クラシック コンピュート プレーンのプライベート接続を個別にセットアップできます。受信接続やサーバレス接続は必要ありません。

プライベート接続のための仮想プライベートクラウド​

プライベート接続では、2 つの異なる仮想プライベート クラウド (VPC) が使用されます。

  • トランジット VPC : この VPC は、ユーザー接続の中央ハブとして機能し、ワークスペースへのクライアント アクセスに必要なインバウンド VPC エンドポイントが含まれています。複数のトランジット VPC を持つことができます。
  • コンピュート Plane VPC : これは、 DatabricksワークスペースとクラシックVPCエンドポイントをホストするために作成するVPCです。

一部のデプロイメントでは、インバウンド、アウトバウンド、およびクラシック プレーン PrivateLink に同じREST API /WebApp エンドポイントを再利用することで、単一のVPC両方の機能を提供できます。

サブネットの割り当てとサイズ設定​

プライベート接続とデプロイメントをサポートするために、各 VPC 内のサブネットを計画します。

  • トランジット VPC サブネット :

    • インバウンド VPC エンドポイント サブネット : インバウンド VPC エンドポイントに IP アドレスを割り当てます。

  • コンピュート プレーンVPCサブネット :

    • ワークスペースのサブネット : Databricksワークスペースの展開には、別々のアベイラビリティーゾーンに少なくとも 2 つのサブネットが必要です。 ワークスペース サブネットに関連するサイズ情報については、 「サブネット」を参照してください。
    • VPCエンドポイント サブネット : クラシック コンピュート プレーンのプライベート接続用のVPCエンドポイントをホストするには、追加のサブネットが推奨されます。

Databricks VPCエンドポイント​

Databricks は、トラフィックをプライベート化するために 2 つの異なるタイプの VPC エンドポイントを使用します。それぞれの異なる役割を理解して正しく実装します。

  • ワークスペース エンドポイント : これは、ワークスペースとの間のトラフィックを保護するためのプライマリVPCエンドポイントです。 インバウンドとクラシック コンピュート プレーン PrivateLink の両方のREST API呼び出しを処理します。
  • SCC リレー エンドポイント : このVPCエンドポイントは、特にコンピュート プレーンとコントロール プレーン間のセキュア クラスター接続 (SCC) 用です。 クラシック コンピュート プレーン PrivateLink にはこのエンドポイントが必要です。 「セキュアなクラスター接続とは何ですか?」を参照してください。
ヒント

同じ VPC 内では、Databricks ではエンドポイント タイプごとに最大 1 つのエンドポイントを推奨します。すべてのワークスペース アクセスで 1 つのワークスペース エンドポイントを共有し、その VPC からのすべての SCC リレー アクセスに対して 1 つの SCC リレー エンドポイントを共有します。

VPC エンドポイントについては、次の点に注意してください。

  • 共有エンドポイント : VPCエンドポイントはVPCレベルのリソースであるため、同じ顧客管理VPC使用する複数のワークスペース間で共有できます。 1 セットの VPC エンドポイントで、その VPC とリージョンにデプロイされたすべてのワークスペースにサービスを提供できます。
  • リージョン固有 : VPC エンドポイントはリージョン固有のリソースです。異なるリージョンのワークスペースには、個別の VPC エンドポイント構成が必要です。

重要な考慮事項​

プライベート接続を構成する前に、次の点に注意してください。

  • ネットワーク ACL の要件 : Databricks では、 0.0.0.0/0許可リストに追加するためにサブネット レベルのネットワーク ACL が必要です。出力トラフィックを制御するには、出力ファイアウォールまたはプロキシ アプライアンスを使用して、ほとんどのトラフィックをブロックしますが、Databricks が接続する必要がある URL は許可します。「ファイアウォールと送信アクセスを構成する」を参照してください。
  • ポート 3306 メタストア接続 (レガシーHMSのみ) : このポートは、非推奨のHive metastoreを使用するレガシー ワークスペース にのみ適用されます。 新しいワークスペースでは、従来のHive metastore自動的に無効になっています。 従来のワークスペースの場合、ポート 3306 はコントロール プレーンへの接続に PrivateLink を使用しません。コンピュートとコントロール プレーン間のメタストア接続では、トラフィックは暗号化された接続を使用して、パブリックにルーティング可能なネットワーク空間を通過します。 HMSを収容する、 Databricksがホストする RDS インスタンスのパブリックに解決可能な FQDN は、従来のHive metastoreの RDS アドレスで利用できます。
  • セキュリティ グループのベスト プラクティス : VPCエンドポイントに専用のセキュリティ グループを作成して、最小特権の原則に従います。
    • コンピュート クラスター セキュリティ グループ : 必要なポート (443、3306、6666 など) でVPCエンドポイント セキュリティ グループへのアウトバウンド TCP トラフィックを許可する必要があります。 セキュリティグループを参照
    • VPCエンドポイント セキュリティ グループ : 同じポート上でコンピュート クラスター セキュリティ グループからの受信 TCP トラフィックを許可する必要があります。