メインコンテンツまでスキップ

高レベルのアーキテクチャ

この記事では、AWSと組み合わせたエンタープライズアーキテクチャを含むDatabricksアーキテクチャの概要を説明します。

高レベルのアーキテクチャ​

Databricks は、 コントロールプレーン と コンピュートプレーン から動作します。

  • コントロールプレーン には、DatabricksアカウントでDatabricksが管理するバックエンドサービスが含まれます。 Webアプリケーションはコントロールプレーンにあります。

  • コンピュートプレーン は、データが処理される場所です。 使用するコンピュートに応じた2 種類のコンピュートプレーンが存在します。

    • サーバレスコンピュートの場合、サーバレスコンピュートリソースはDatabricksアカウントの サーバレスコンピュートプレーン で実行されます。
    • Databricksクラシック コンピュートの場合、コンピュート リソースは 、クラシックAWS コンピュートプレーン と呼ばれる アカウントにあります。これは、AWS アカウント内のネットワークとそのリソースを指します。

    classic コンピュートとサーバレス コンピュートの詳細については、「 コンピュート」を参照してください。

各 Databricks ワークスペースには、 ワークスペース ストレージ バケット と呼ばれるストレージ バケットが関連付けられています。ワークスペースストレージバケットは AWS アカウントにあります。

次の図は、Databricks アーキテクチャ全体を示しています。

図: Databricks アーキテクチャ

サーバレス コンピュート プレーン​

サーバレス コンピュート プレーンで、Databricks アカウント内のコンピュート レイヤーでコンピュート リソースDatabricks実行します。Databricksは、ワークスペースの従来のコンピュートプレーンと同じ AWS リージョンにサーバレス コンピュートプレーンを作成します。 このリージョンは、ワークスペースの作成時に選択します。

サーバーレスコンピュートプレーン内の顧客データを保護するために、サーバーレスコンピュートはワークスペースのネットワーク境界内で実行され、さまざまなセキュリティレイヤーを使用して、同じ顧客のクラスター間で異なるDatabricksワークスペースと追加のネットワーク制御を分離します。

サーバレス コンピュート プレーンでのネットワークの詳細については、 サーバレス コンピュート プレーン ネットワークを参照してください。

クラシックコンピュートプレーン​

従来のコンピュートプレーンでは、あなたのAWS アカウントでDatabricksコンピュート リソースを実行します 。新しいコンピュート リソースは、各ワークスペースの仮想ネットワーク内の顧客の AWS アカウント内に作成されます。

従来のコンピュート プレーンは、各顧客自身の AWS アカウントで実行されるため、自然に分離されています。 クラシック コンピュート プレーンでのネットワークの詳細については、「 クラシック コンピュート プレーン ネットワーク」を参照してください。

リージョンのサポートについては、「 Databricks のクラウドとリージョン」を参照してください。

ワークスペースストレージバケット​

ワークスペースを作成するときは、ワークスペースストレージバケットとして使用する S3 バケットとプレフィックスを指定します。

ワークスペースストレージバケットには、次のものが含まれます。

  • ワークスペース システム データ: ワークスペース システム データは、ノートブックの作成など、さまざまな Databricks 機能を使用すると生成されます。このバケットには、ノートブックのリビジョン、ジョブ実行の詳細、コマンド結果、Spark ログが含まれます

  • DBFS: DBFS(Databricks File System)は、 dbfs:/ ネームスペースでアクセス可能なDatabricks環境の分散ファイルシステムです。 DBFSルート マウントと DBFS マウントはどちらも dbfs:/ 名前空間にあります。 DBFSルート マウントまたは DBFS マウントを使用したデータの格納とアクセスは非推奨のパターンであり、Databricksでは推奨されません。詳細については、DBFSとはを参照してください。

  • Unity Catalog ワークスペース カタログ: ワークスペースが自動的にUnity Catalogを有効にしている場合、ワークスペース ストレージ バケットには、デフォルト ワークスペース カタログが含まれます。ワークスペース内のすべてのユーザーは、このカタログのデフォルトスキーマでアセットを作成できます。「 Unity Catalog の概要」を参照してください。

注記

ワークスペースで自動的に Unity Catalog が有効になっている場合、 Databricks 外部ロケーションとストレージ資格情報によってサポートされるワークスペースカタログを自動的にプロビジョニングします。 このストレージ資格情報は、ワークスペース カタログの特定のパスにのみアクセスするように制限されており、ワークスペース ストレージ アカウント内の他の制限されたパス ( DBFSルートやワークスペース システム データなど) にはアクセスできません。 これは、セキュリティを確保し、機密性の高いワークスペース データへの不正アクセスを防ぐためです。

に最終更新