Databricksアーキテクチャの概要
この記事では、AWSと組み合わせたエンタープライズアーキテクチャを含むDatabricksアーキテクチャの概要を説明します。
ハイレベルのアーキテクチャ
Databricks は、コントロールプレーンとコンピュートプレーンから動作します。
コントロールプレーンには、DatabricksアカウントでDatabricksが管理するバックエンドサービスが含まれます。 Webアプリケーションはコントロールプレーンにあります。
コンピュートプレーンは、データが処理される場所です。 使用するコンピュートに応じた2 種類のコンピュートプレーンが存在します。
サーバレスコンピュートの場合、サーバレスコンピュートリソースはDatabricksアカウントの サーバレスコンピュートプレーンで実行されます。
Databricksクラシックコンピュートの場合、コンピュートリソースは、AWS クラシック コンピュート プレーンと呼ばれるアカウントに存在します。これは、AWS アカウント内のネットワークとそのリソースを指します。
クラシック コンピュートとサーバレス コンピュートの詳細については、 コンピュートの種類を参照してください。
各 Databricks ワークスペースには、ワークスペース ストレージ バケットと呼ばれる関連付けられたストレージ バケットがあります。 ワークスペース ストレージ バケットは AWS アカウント内にあります。
次の図は、Databricks の全体的なアーキテクチャを示しています。
サーバレスコンピュートプレーン
サーバレス コンピュート プレーンで、Databricks アカウント内のコンピュート レイヤーでコンピュート リソースDatabricks実行します。Databricks 、ワークスペースの従来のコンピュート平面と同じ AWS 領域にサーバレス コンピュート平面を作成します。 このリージョンは、ワークスペースの作成時に選択します。
サーバーレスコンピュートプレーン内の顧客データを保護するために、サーバーレスコンピュートはワークスペースのネットワーク境界内で実行され、さまざまなセキュリティレイヤーを使用して、同じ顧客のクラスター間で異なるDatabricksワークスペースと追加のネットワーク制御を分離します。
サーバレスコンピュートプレーンでのネットワークの詳細については、 「サーバレスコンピュートプレーンのネットワーク」を参照してください。
クラシックコンピュートプレーン
クラシックコンピュートプレーンでは、 DatabricksコンピュートリソースがAWSアカウントで実行されます。 顧客のAWSアカウント内の各ワークスペースの仮想ネットワーク内に新しいコンピュートリソースが作成されます。
クラシックコンピュートプレーンは、各カスタマー独自のAWSアカウントで実行されるため、自然な分離が実現されます。 クラシックコンピュートプレーンにおけるネットワークの詳細については、「クラシックコンピュートプレーンのネットワーク」を参照してください。
リージョンサポートについては、「Databricksのクラウドとリージョン」を参照してください。
ワークスペースストレージバケット
ワークスペースを作成するときに、ワークスペース ストレージ バケットとして使用する S3 バケットとプレフィックスを指定します。
ワークスペース ストレージ バケットには次のものが含まれます。
ワークスペース システム データ:ワークスペース システム データは、ノートブックの作成などのさまざまな Databricks 機能を使用すると生成されます。 このバケットには、ノートブックのリビジョン、ジョブ実行の詳細、コマンドの結果、Spark ログが含まれます。
DBFS: DBFS (Databricks ファイル システム) は、
dbfs:/
名前空間でアクセスできる Databricks 環境の分散ファイル システムです。 DBFSルートとDBFSマウントは両方ともdbfs:/
名前空間にあります。 DBFSルートまたはDBFSマウントを使用してデータを保存およびアクセスすることは非推奨のパターンであり、 Databricksでは推奨されていません。 詳細については、 「 DBFSとは?」を参照してください。 。Unity Catalog ワークスペース カタログ:ワークスペースが Unity Catalog に対して自動的に有効になっている場合、ワークスペース ストレージ バケットにはデフォルトのワークスペース カタログが含まれます。 ワークスペース内のすべてのユーザーは、このカタログのデフォルト スキーマでアセットを作成できます。 「Unity Catalog のセットアップと管理」を参照してください。