暗号化用の顧客管理キー
この記事では、暗号化用の顧客管理キーの概要について説明します。
この機能には、Enterprise 価格レベルが必要です。
暗号化用に顧客管理キーを構成するには、「 暗号化用に顧客管理キーを構成する」を参照してください。
暗号化用の顧客管理キーの概要
一部のサービスやデータでは、暗号化されたデータへのアクセスを保護および制御するために、顧客管理キーの追加がサポートされています。 クラウドのキー管理サービスを使用して、顧客管理の暗号化キーを維持できます。
Databricks には、さまざまな種類のデータと場所を含む 2 つの顧客管理の主要なユースケースがあります。
- マネージドサービス : Databricks コントロール プレーン内のデータ (ノートブック、シークレット、Databricks SQL クエリ データ)。
- ワークスペース ストレージ: ワークスペースストレージバケット ( DBFSルートを含む) と、従来のコンピュート平面内のコンピュートリソースの EBS ボリューム。
Unity Catalog は、KMS 暗号化が有効になっている S3 バケットの読み取りと書き込みの機能もサポートしています。 「AWS S3 に接続するためのストレージ認証情報を作成する」を参照してください
ワークスペース ストレージの顧客管理キーを構成するには、「 暗号化用の顧客管理キーの構成」を参照してください。
マネージドサービスの顧客管理キー
Databricks コントロール プレーン内のマネージド サービス データは、保存時に暗号化されます。マネージドサービスに顧客管理キーを追加すると、次のタイプの暗号化データへのアクセスを保護および制御できます。
- Databricks コントロール プレーン内のノートブック ソース。
- ノートブック コントロールプレーンに格納されている対話型 (ジョブとしてではない) 実行のノートブック結果。 デフォルトでは、より大きな結果もワークスペースのルートバケットに保存されます。 すべての 対話型ノートブックの結果をクラウドアカウントに保存するように Databricks を構成できます。
- Databricks シークレットに格納されているシークレット。
- AI/BI ダッシュボード。
- Databricks SQL クエリとクエリ履歴。
- 個人用アクセス トークン (PAT) または Databricks Git フォルダーとの Git 統合を設定するために使用されるその他の資格情報。
- ベクトル検索のインデックスとメタデータ。
マネージドサービスの顧客管理キーを構成するには、「 暗号化用の顧客管理キーの構成」を参照してください。
2024 年 11 月 1 日以降に作成された AI/BI ダッシュボードのみが暗号化され、顧客管理キーと互換性があります。
ワークスペース ストレージの顧客管理キー
ワークスペースストレージに顧客管理キーを追加して、次のタイプの暗号化データへのアクセスを保護および制御できます。
- ワークスペース ストレージ バケット : ワークスペース ストレージ暗号化キーを追加すると、Databricks は、ワークスペースのセットアップ時に指定した AWS アカウントの Amazon S3 バケット (ワークスペース ストレージ バケットと呼ばれます) のデータを暗号化します。このバケットには、FileStore エリア、 モデル、DBFS ルートMLflow DBFS(DBFS マウントではない) の DLT データを含む ルート が含まれています。バケットには、ジョブの結果、Databricks SQL の結果、ノートブックのリビジョン、その他のワークスペースデータを含むワークスペースシステムデータも含まれます。詳細については、「 ワークスペースデプロイ用の S3 バケットを作成する」を参照してください。
- クラスターの EBS ボリューム (オプション): Databricks Runtimeクラシック コンピュート平面内の クラスターノードおよびその他のコンピュートリソースの場合、オプションでキーを使用して VM のリモート EBS ボリュームを暗号化できます。
この機能は DBFSルートに影響しますが、追加の DBFS マウントでデータを暗号化するためには使用されません。S3 DBFS マウントの場合、他の方法を使用して、キーを使用して暗号化されたデータを書き込むことができます。 詳細については、「S3 バケット内のデータを暗号化する」を参照してください。マウントは、従来のアクセス パターンです。 Databricks では、すべてのデータ アクセスの管理に Unity Catalog を使用することをお勧めします。 「Unity Catalog を使用してクラウド オブジェクト ストレージとサービスに接続する」を参照してください。
顧客管理キーのユースケースの比較
次の表は、カスタマーマネージドキー機能がどのタイプのデータに使用されるかを示しています。
データのタイプ | 場所 | 使用するカスタマーマネージドキー機能 |
|---|---|---|
AI/BIダッシュボード | コントロールプレーン | マネージドサービス |
ノートブックのソースとメタデータ | コントロールプレーン | マネージドサービス |
個人用アクセス トークン (PAT) または Git と Databricks Git フォルダーの統合に使用されるその他の資格情報 | コントロールプレーン | マネージドサービス |
コントロールプレーン | マネージドサービス | |
Databricks SQL クエリとクエリ履歴 | コントロールプレーン | マネージドサービス |
サーバレス コンピュート plane | マネージドサービス | |
Databricks Runtimeクラスターノードおよびその他のコンピューティングリソース用のリモートEBSボリューム 。 | クラシックコンピュート平面を AWS アカウントで。 リモート EBS ボリュームの顧客管理キーは、 AWS アカウントのクラシック コンピュート プレーンのコンピュート リソースにのみ適用されます。 サーバレス コンピュートと顧客管理キーを参照してください。 | ワークスペースストレージ |
DBFSルート in your ワークスペース storage bucket in your AWS account .これには、FileStore 領域も含まれます。 | ワークスペースストレージ | |
ジョブ 結果 | AWS アカウントのワークスペースストレージバケット | ワークスペースストレージ |
Databricks SQL クエリ結果 | AWS アカウントのワークスペースストレージバケット | ワークスペースストレージ |
AWS アカウントのワークスペースストレージバケット | ワークスペースストレージ | |
DBFSルートでDBFSパスを使用する場合、これはAWSアカウントのワークスペースストレージバケットに保存されます。これは、他のデータソースへのマウントポイントを表すDBFSパスには適用されません。 | ワークスペースストレージ | |
デフォルトでは、ノートブックを (ジョブとしてではなく) インタラクティブに実行すると、結果はパフォーマンスのためにコントロールプレーンに保存され、一部の大きな結果は AWS アカウントのワークスペースストレージバケットに保存されます。 すべての インタラクティブノートブックの結果を AWS アカウントに保存するように Databricks を設定することを選択できます。 | コントロールプレーンで部分的な結果を得るには、マネージドサービスに顧客管理のキーを使用します。 ワークスペースストレージバケットの結果 (すべての結果ストレージに対して 設定 可能) については、ワークスペースストレージに顧客管理キーを使用します。 |
サーバレス コンピュート and 顧客管理キー
Databricks SQL サーバレスは、次のものをサポートします。
- Databricks SQLクエリとクエリ履歴のためのマネージドサービスの顧客管理キー。
- ワークスペース ストレージ バケットの顧客管理キー (DBFS Databricks SQL結果用の ルート ストレージを含む)。
サーバレス SQLウェアハウスは、コンピュート ノードでの EBS ストレージの暗号化に顧客管理キーを使用しません。これは、ワークスペース ストレージの顧客管理キーを設定するオプション部分です。 サーバレス コンピュート リソースのディスクは有効期間が短く、サーバレス ワークロードのライフサイクルに関連付けられています。 コンピュート リソースを停止またはスケールダウンすると、VM とそのストレージは破棄されます。
モデルサービング
リソース for モデルサービング, a サーバレス コンピュート フィーチャーは、一般的に次の 2 つのカテゴリに分類されます。
- モデル用に作成したリソースは、ワークスペースのS3バケットにあるワークスペースのDBFSルートに保存されます。これには、モデルのアーティファクトとバージョンのメタデータが含まれます。ワークスペースモデルレジストリとMLflowの両方がこのストレージを使用します。このストレージは、カスタマーマネージドキーを使用するように設定できます。
- Databricksがユーザーに代わって直接作成するリソースには、モデルイメージと一時的なサーバレスコンピューティングストレージが含まれます。これらはDatabricksが管理するキーで暗号化されており、カスタマーマネージドキーはサポートされていません。
EBS ストレージの顧客管理キーは、顧客管理ワークスペースストレージ機能のオプション部分であり、サーバレス コンピュート リソース には適用されません 。 サーバレス コンピュート リソースのディスクは有効期間が短く、サーバレス ワークロードのライフサイクルに関連付けられています。 コンピュート リソースを停止またはスケールダウンすると、VM とそのストレージは破棄されます。