ネットワーキング
この記事では、Databricks アカウントとワークスペースのデプロイと管理のためのネットワーク構成について説明します。
注記
2024 年 10 月 7 日より、 Databricks は、サーバレス コンピュート リソースが外部リソースに接続することで発生するネットワーク費用を顧客に請求するようになりました。 サーバレス ネットワーク請求は段階的に展開されているため、請求が徐々に変更される可能性があります。 課金の詳細については、「 Databricks 価格」を参照してください。
Databricks アーキテクチャの概要
Databricks は、 コントロールプレーン と コンピュートプレーン から動作します。
- コントロールプレーン には、DatabricksアカウントでDatabricksが管理するバックエンドサービスが含まれます。 Webアプリケーションはコントロールプレーンにあります。
- コンピュートプレーン は、データが処理される場所です。 使用するコンピュートに応じた2 種類のコンピュートプレーンが存在します。
- Databricksクラシック コンピュートの場合、コンピュート リソースは 、クラシックAWS コンピュート平面 と呼ばれる アカウントにあります。これは、AWS アカウント のネットワークとそのリソースを指します。 クラシック コンピュート プラン リソース は、ワークスペースがあるリージョンにあります。
- サーバレス コンピュートの場合、サーバレス コンピュート リソース は、お客様のDatabricksアカウントの サーバレス コンピュート plane で実行されます。サーバレス コンピュート plan リソースは、ワークスペースのクラシック コンピュート平面と同じクラウド リージョンにあります。 このリージョンは、ワークスペースの作成時に選択します。
クラシック コンピュートとサーバレス コンピュートの詳細については、 コンピュートの種類を参照してください。 その他のアーキテクチャ情報については、「 Databricks アーキテクチャの概要」を参照してください。
安全なネットワーク接続
Databricks はデフォルトで安全なネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。
- Databricks へのユーザーとアプリケーション : アクセスを制御し、ユーザーと Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。 「Databricks ネットワークへのユーザー」を参照してください。
- コントロールプレーンとクラシックコンピュートプレーン : クラシックコンピュートリソース、クラスターなど、にデプロイされているのは、コントロールプレーンに接続する AWS アカウント内にあります。 クラシック ネットワーク接続機能を使用して、クラシック コンピュート プレーン リソースを独自の仮想プライベート クラウドにデプロイし、クラスターからコントロール プレーンへのプライベート接続を有効にすることができます。 「クラシック コンピュート プレーン ネットワーク」を参照してください。
- サーバレス コンピュート プレーンとストレージ :リソースでファイアウォールを設定して、サーバレス コンピュート プレーンからのアクセスを許可 Databricks 。 サーバレス コンピュート plane networkingを参照してください。
AWSストレージネットワーク機能を設定して、従来のコンピュートプレーンとS3の間の接続を保護できます。詳細については、「Databricks S3 コミット サービス関連の設定を構成する」および「レイクハウスフェデレーションのネットワークに関する推奨事項」を参照してください。
コントロール プレーンとサーバレス コンピュート プレーン間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。