ネットワーキング

この記事では、Databricks アカウントとワークスペースのデプロイと管理のためのネットワーク構成を紹介します。

注:

現在、サーバーレス機能にはネットワーク料金はかかりません。 今後のリリースでは、課金される可能性があります。 Databricks は、ネットワーク価格の変更について事前に通知します。

Databricksアーキテクチャの概要

Databricks は、 コントロール プレーンと コンピュート プレーンで動作します。

  • コントロール プレーンには、Databricks アカウントで Databricks が管理するバックエンド サービスが含まれます。Web アプリケーションはコントロール プレーンにあります。

  • コンピュートプレーンは、データが処理される場所です。コンピュートプレーンには、使用するコンピュートに応じて 2 つのタイプがあります。

    • 従来の Databricks コンピュートの場合、コンピュートリソースは、 クラシックコンピュートプレーンと呼ばれる AWS アカウントにあります。 これは、AWS アカウントのネットワークとそのリソースを指します。

    • サーバレスコンピュートの場合、サーバレスコンピュートリソースはDatabricksアカウントの サーバレスコンピュートプレーンで実行されます。

アーキテクチャの詳細については、「 Databricks アーキテクチャの概要」を参照してください。

安全なネットワーク接続

Databricks は既定でセキュリティで保護されたネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。

ネットワーク接続の概要図
  1. ユーザーとアプリケーションから Databricks へ: アクセスを制御し、ユーザーとその Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。 「ユーザーから Databricks へのネットワーク」を参照してください。

  2. コントロール プレーンとクラシック コンピュート プレーン: クラスターなどのクラシック コンピュート リソースは AWS アカウントにデプロイされ、コントロール プレーンに接続します。 クラシック ネットワーク接続機能を使用して、独自の仮想プライベート クラウドにクラシック コンピュート プレーン リソースを展開し、クラスターからコントロール プレーンへのプライベート接続を有効にすることができます。 「クラシック コンピュート プレーン ネットワーキング」を参照してください。

  3. サーバーレス コンピュート プレーンとストレージ: Databricks サーバーレス コンピュート プレーンからのアクセスを許可するように、リソース上でファイアウォールを構成できます。 「サーバレス コンピュート プレーン ネットワーキング」を参照してください。

AWS ストレージ ネットワーキング機能を設定して、クラシック コンピュート プレーンと S3 間の接続を保護できます。 詳細については、 「Databricks S3 コミット サービス関連の設定を構成する」および「レイクハウスフェデレーションのネットワークに関する推奨事項」を参照してください。

コントロールプレーンとサーバレスコンピュートプレーン間の接続は、パブリックインターネットではなく、常にクラウドネットワークバックボーンを介して行われます。