Unity Catalog によるデータガバナンス

このガイドでは、Databricks でデータと AI オブジェクトへのアクセスを管理する方法を説明します。 Databricks のセキュリティに関する情報については、「セキュリティとコンプライアンスガイド」を参照してください。 Databricks は、Unity Catalog と Delta Sharing を使用してデータと AI の一元的なガバナンスを提供します。

Unity Catalog を使用したアクセス制御の一元化

Unity Catalog は、Databricks プラットフォーム上のデータと AI のためのきめ細かなガバナンスソリューションです。データと AI 資産へのアクセスを一元的に管理および監査する場所を提供することで、データと AI 資産のセキュリティとガバナンスを簡素化します。

ほとんどのアカウントでは、ワークスペースの作成時にUnity Catalogがデフォルトで有効になります。詳細については、 Unity Catalogの自動有効化」を参照してください。

Unity Catalog を効果的に使用する方法については、「Unity Catalog のベストプラクティス」を参照してください。

Unity Catalog を使用してデータリネージを追跡する

Unity Catalog使用すると、 DatabricksクラスターまたはSQLウェアハウスで実行される任意の言語のクエリ全体でランタイムデータリネージをキャプチャできます。リネージは列レベルまでキャプチャされ、クエリに関連するノートブック、ジョブ、ダッシュボードが含まれます。詳細については、 Unity Catalogを使用したデータリネージのキャプチャと表示」を参照してください。

カタログエクスプローラを使用したデータの検出

Databricks Catalog Explorer には、スキーマ (データベース)、テーブル、ボリューム (表形式以外のデータ)、登録済みの機械学習モデルなど、データと AI 資産を、資産のアクセス許可、データ所有者、外部ロケーション、資格情報と共に探索および管理するための UI が用意されています。カタログエクスプローラーの [知見 ] タブを使用して、Unity Catalog に登録されている任意のテーブルの最も頻繁な最近のクエリとユーザーを表示できます。

監査ログを構成する

Databricks は、Databricks ユーザーが実行したアクティビティの監査ログへのアクセスを提供し、企業が詳細な Databricks の使用パターンを監視できるようにします。

Unity Catalog使用すると、システムテーブル (パブリックプレビュー) を使用して、監査ログ、課金利用、リネージなどのアカウントの運用データに簡単にアクセスしてクエリを実行できます。

IDを構成する

すべての優れたデータガバナンスのストーリーは、強力なアイデンティティの基盤から始まります。 Databricks で ID を最適に構成する方法については、「ID のベストプラクティス」を参照してください。

レガシーデータガバナンスソリューション

Databricks は、次のレガシーガバナンスモデルも提供します。

テーブルアクセスコントロールは、ワークスペースの組み込み Hive metastoreによって管理されるオブジェクトへのアクセスをプログラムで許可および取り消すことができる従来のデータガバナンスモデルです。 Databricks では、テーブルアクセスコントロールの代わりに Unity Catalog を使用することをお勧めします。 Unity Catalog は、アカウント内の複数のワークスペースにわたるデータアクセスを管理および監査するための一元的な場所を提供することで、データのセキュリティとガバナンスを簡素化します。

IAMロール認証情報パススルーは、ユーザーが Databricks へのログインに使用する ID を使用して、Databricks クラスターから S3 バケットに対して自動的に認証できるようにするレガシーデータガバナンス機能でもあります。 Databricks では、代わりに Unity Catalog を使用することをお勧めします。