デフォルトのストレージ
プレビュー
この機能は プライベート プレビュー 段階であり、プライベート プレビューに登録されている サーバレス ワークスペース またはアカウントでのみ使用できます。 プレビューへのアクセスをリクエストするには、 このフォーム に記入するか、Databricks の担当者にお問い合わせください。
デフォルト ストレージのプライベート プレビューでは、 Unity Catalog カタログ用のフルマネージド ストレージの場所が提供されるため、 Unity Catalogでストレージ資格情報や外部ロケーションを構成せずにマネージドテーブルとボリュームを作成できます。
デフォルト ストレージによってサポートされる新しいカタログを、既存の Unity Catalog 対応ワークスペースに追加できます。
プライベート プレビュー期間中は、 Databricks は、本番運用データや機密データをデフォルト ストレージに保存したり、デフォルト ストレージを使用して本番運用ワークロードを実行したりすることはお勧めしません。
Enable デフォルト storage for your Databricks アカウント
アカウント管理者は、 Databricks アカウント コンソールでデフォルト ストレージを有効にする必要があります。 このオプションは、Databricks がプライベート プレビューへの参加リクエストを承認した場合にのみ使用できます。
アカウント管理者に次の手順を完了してもらいます。
- アカウントコンソールにログインします。
提供されているリンクを使用すると、アカウント管理者以外のユーザーには、アカウントコンソールではなくワークスペース選択画面が表示されます。
-
「 プレビュー 」をクリックします。
-
[デフォルトのストレージ ] を [オン] にします。
デフォルトストレージ オプションはDatabricksこのプライベートプレビューに対してアカウントが有効になっている場合にのみ表示されます。デフォルトのストレージは、アカウントに関連付けられているすべてのワークスペースで有効になっていますが、追加の要件が適用されます。
マネージドテーブルとマネージドボリュームがデフォルトのストレージでデータを保存できるようにするには、デフォルトのストレージでカタログを作成する必要があります。
必要条件
-
デフォルト ストレージは Databricks on AWSでのみサポートされています。
-
デフォルト ストレージにアクセスするには、サーバレス コンピュートを使用する必要があります。
-
デフォルトのストレージをサポートするのは、次のリージョンのみです。
us-east-1
us-east-2
us-west-2
eu-west-1
-
この機能を使用するには、デフォルト ストレージのプライベート プレビューに登録する必要があります。
-
ワークスペースはUnity Catalogが有効になっていなければなりません。
Unity Catalog を初めて有効にする場合、Databricks では、マネージド ストレージの S3 バケットを指定せずにメタストアをデプロイすることをお勧めします。 Unity Catalog の有効化に関するドキュメントの省略可能な手順は無視してください。
デフォルトのストレージでカタログを作成する
プライベート プレビュー期間中は、ワークスペース UI のカタログ エクスプローラーを使用して、デフォルト ストレージを含むカタログを作成する必要があります。 SQL コマンド CREATE CATALOG catalog_name
を使用して、デフォルト・ストレージでカタログを作成することはできません。
デフォルトのストレージでカタログを作成するには、 CREATE CATALOG
権限が必要です。 「Unity Catalog の特権とセキュリティ保護可能なオブジェクト」を参照してください。
以下のステップを実行して、デフォルト・ストレージを使用して新規カタログを作成します。
- サイドバー
カタログ をクリックします。カタログエクスプローラが表示されます。
- [ カタログを作成 ] をクリックします。 [新しいカタログの作成 ] ダイアログが表示されます。
- アカウント内で一意の カタログ名 を指定します。
- 「デフォルトストレージを使用する 」オプションを選択します。
- 作成 をクリックします。
デフォルトのストレージで作業する
デフォルトストレージとのすべてのインタラクションには、サーバレス, Unity Catalog-enabled コンピュートが必要です。
デフォルト storage に支えられたリソースは、 Unity Catalogの他のオブジェクトと同じ特権モデルを使用します。 データ・オブジェクトを作成、表示、問合せまたは変更するための十分な権限が必要です。 「Unity Catalog の特権とセキュリティ保護可能なオブジェクト」を参照してください。
デフォルトでは、デフォルトのストレージに基づくカタログは、同じリージョン内のすべてのワークスペースに表示されます。 この動作を無効にするには、カタログを 1 つのワークスペースにバインドします。 「 カタログへのアクセスを特定のワークスペースに制限する」を参照してください。
デフォルトストレージを操作するには、デフォルトストレージに支えられたマネージドテーブルとマネージドボリュームを作成し、操作します。 「マネージドテーブルの操作」および「Unity Catalogボリュームとは」を参照してください。
デフォルトのストレージに保存されているデータオブジェクトを操作するには、Catalog Explorer、ノートブック、クエリエディタ、ダッシュボードを使用できます。
以下は、デフォルトのストレージで完了できるタスクの例です。
- ローカル・ファイルを管理対象ボリュームにアップロードするか、マネージド・テーブルを作成します。 「Unity Catalog ボリュームへのファイルのアップロード」と「ファイルのアップロードを使用してテーブルを作成または変更する」を参照してください。
- ノートブックでデータをクエリします。「チュートリアル: ノートブックからのデータのクエリと視覚化」を参照してください。
- ダッシュボードを作成します。 「ダッシュボードの作成」を参照してください。
- SQLを使用してデータをクエリし、SQLクエリをスケジュールします。 「SQL エディターでのクエリの記述とデータの探索」を参照してください。
- 外部ボリュームからマネージドテーブルにデータを取り込みます。 での の使用Auto Loader Unity Catalogを参照してください。
- Fivetranを使用してマネージドテーブルにデータを取り込みます。Fivetranへの接続を参照してください。
- BIツールを使用して、マネージドテーブルを探索します。「Tableau と Databricks の接続」および「Power BI を Databricks に接続する」を参照してください。
- 実行 サーバレス ノートブック. ノートブックについては、サーバレス コンピュートを参照してください。
- 実行 サーバレス ジョブ. ワークフローについては、サーバレス コンピュートを使用して Databricks ジョブを実行 を参照してください。
- 実行 モデルサービング endpoints. Mosaic AI Model Servingを使用したモデルのデプロイを参照してください。
- 実行 サーバレス DLT パイプライン. サーバレス DLT パイプラインの設定を参照してください。
- テーブルで予測的最適化を使用します。 Unity Catalog マネージドテーブルの予測的最適化を参照してください。
制限
プライベート プレビュー期間中は、 Databricks は、本番運用データや機密データをデフォルト ストレージに保存したり、デフォルト ストレージを使用して本番運用ワークロードを実行したりすることはお勧めしません。 次の制限が適用されます。
- 多くの地域はサポートされていません。 「要件」を参照してください。
- クラシック コンピュート (サーバレス以外のコンピュート) は、デフォルト ストレージ内のデータ資産と対話できません。
- Delta Sharing では、同じ Databricks アカウント内でのデータ資産の共有がサポートされていますが、他の Databricks アカウントや開いている Delta Sharing クライアントとは共有できません。
- 外部リーダーとライターは、デフォルト・ストレージにアクセスできません。
- デフォルト ストレージは、高度なネットワーク構成や顧客管理のキーと互換性がありません。
CREATE CATALOG catalog_name
SQL コマンドを使用して、デフォルト・ストレージに新しいカタログを作成することはできません。