ネットワーキング

この記事では、Databricks アカウントとワークスペースのデプロイと管理のためのネットワーク構成を紹介します。

注：

2024 年 10 月 7 日より、 Databricks は、サーバレスコンピュートリソースが外部リソースに接続することで発生するネットワーク費用を顧客に請求します。今後数か月の間に、サーバレスネットワーク請求は段階的に展開されますが、その結果、請求が徐々に変更される可能性があります。課金の詳細については、「 Databricks 価格」を参照してください。

Databricksアーキテクチャの概要

Databricks は、 コントロール プレーンと コンピュートプレーンで動作します。

コントロールプレーンには、Databricks アカウントで Databricks が管理するバックエンドサービスが含まれます。Web アプリケーションはコントロールプレーンにあります。
コンピュートプレーンは、データが処理される場所です。コンピュートプレーンには、使用するコンピュートに応じて 2 つのタイプがあります。
- Databricksクラシックコンピュートの場合、コンピュートリソースは、クラシックAWS コンピュート平面と呼ばれるアカウントにあります。これは、AWS アカウントのネットワークとそのリソースを指します。クラシックコンピュートプランリソースは、ワークスペースがあるリージョンにあります。
- サーバレスコンピュートの場合、サーバレスコンピュートリソースは、お客様の Databricksアカウントのサーバレスコンピュート plane で実行されます。サーバレスコンピュート plan リソースは、ワークスペースのクラシックコンピュートプレーンと同じクラウドリージョンにあります。このリージョンは、ワークスペースの作成時に選択します。

クラシックコンピュートとサーバレスコンピュートの詳細については、コンピュートの種類を参照してください。その他のアーキテクチャ情報については、「 Databricks アーキテクチャの概要」を参照してください。

安全なネットワーク接続

Databricks は既定でセキュリティで保護されたネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。

ユーザーとアプリケーションから Databricks へ: アクセスを制御し、ユーザーとその Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。「ユーザーから Databricks へのネットワーク」を参照してください。
コントロールプレーンとクラシックコンピュートプレーン: クラスターなどのクラシックコンピュートリソースは AWS アカウントにデプロイされ、コントロールプレーンに接続します。クラシックネットワーク接続機能を使用して、独自の仮想プライベートクラウドにクラシックコンピュートプレーンリソースを展開し、クラスターからコントロールプレーンへのプライベート接続を有効にすることができます。「クラシックコンピュートプレーンネットワーキング」を参照してください。
サーバーレスコンピュートプレーンとストレージ: Databricks サーバーレスコンピュートプレーンからのアクセスを許可するように、リソース上でファイアウォールを構成できます。「サーバレスコンピュートプレーンネットワーキング」を参照してください。

AWS ストレージネットワーキング機能を設定して、クラシックコンピュートプレーンと S3 間の接続を保護できます。詳細については、「Databricks S3 コミットサービス関連の設定を構成する」および「レイクハウスフェデレーションのネットワークに関する推奨事項」を参照してください。

コントロールプレーンとサーバレスコンピュートプレーン間の接続は、パブリックインターネットではなく、常にクラウドネットワークバックボーンを介して行われます。