Databricksアーキテクチャの概要

この記事では、AWSと組み合わせたエンタープライズアーキテクチャを含むDatabricksアーキテクチャの概要を説明します。

ハイレベルのアーキテクチャ

Databricks 、コントロールプレーンとコンピュートプレーンから動作します。

コントロールプレーンには、Databricks アカウントで Databricks が管理するバックエンドサービスが含まれます。 Web アプリケーションはコントロールプレーンにあります。
コンピュートプレーンはデータが処理される場所です。使用するコンピュートに応じて、2 種類のコンピュートプレーンがあります。
- サーバレスコンピュートの場合、サーバレスコンピュートリソースは Databricksアカウントのサーバレスコンピュートプレーンで実行されます。
- Databricksクラシックコンピュートの場合、コンピュートリソースは、AWS クラシックコンピュートプレーンと呼ばれるアカウントにあります。これは、AWS アカウント内のネットワークとそのリソースを指します。

次の図は、Databricks の全体的なアーキテクチャを示しています。

サーバーレスコンピュートプレーンでは、 DatabricksコンピュートリソースはDatabricksアカウント内のコンピュートレイヤーで実行されます。 Databricks 、ワークスペースのクラシックコンピュートプレーンと同じAWSリージョンにサーバーレスコンピュートプレーンを作成します。

サーバーレスコンピュートプレーン内の顧客データを保護するために、サーバーレスコンピュートはワークスペースのネットワーク境界内で実行され、さまざまなセキュリティレイヤーを使用して、同じ顧客のクラスター間で異なるDatabricksワークスペースと追加のネットワーク制御を分離します。

従来のコンピュートプレーンでは、 DatabricksコンピュートリソースがAWSアカウントで実行されます。顧客のAWSアカウント内の各ワークスペースの仮想ネットワーク内に新しいコンピュートリソースが作成されます。

従来のコンピュートプレーンは、各顧客独自のAWSアカウントで実行されるため、自然な分離が実現されます。クラシックコンピュートプレーンでのネットワークの詳細については、「クラシックコンピュートプレーンのネットワーク」を参照してください。

リージョンサポートについては、「Databricksのクラウドとリージョン」を参照してください。