Unity Catalog によるデータガバナンス
Unity Catalog は、データレイクハウスの統合データガバナンス モデルを提供します。 SAP Databricks 管理者は、チームと個人の権限を管理できます。権限は、ユーザーフレンドリーなUIまたはSQL構文を使用してアクセス制御リスト(ACL)で管理されます。
このページでは、SAP Databricksのデータガバナンスに関する具体的なガイダンスについて詳しく説明します。
SAP Databricks は、規制対象業界の固有のデータ セキュリティとコンプライアンスのニーズを満たすための制御を導入しています。詳細については、 Databricksデータ処理契約」を参照してください。
特徴量
SAP Databricksには、以下のデータガバナンス機能が含まれています。
Unity Catalog
Unity Catalog は、Databricks 上のデータと AI アセットの統合ガバナンスソリューションです。Unity Catalog は、 Databricks ワークスペース全体で一元的なアクセス制御、監査、リネージ、およびデータディスカバリー機能を提供します。 Unity Catalog オブジェクト モデルの詳細については、「 SAP Databricks のデータベース オブジェクト」を参照してください。
Unity Catalog を使用したアクセス制御の一元化
Unity Catalog は、Databricks プラットフォーム上のデータと AI のためのきめ細かなガバナンスソリューションです。データと AI 資産へのアクセスを一元的に管理および監査する場所を提供することで、データと AI 資産のセキュリティとガバナンスを簡素化するのに役立ちます。
Catalog Explorer を使用したデータの検出
DatabricksCatalog ExplorerAI は、スキーマ (データベース)、テーブル、ボリューム (表形式以外のデータ)、登録済みのML モデルなどのデータと アセットを探索および管理するための UI と、アセットのアクセス許可、データ所有者、外部ロケーション、および資格情報を提供します。Catalog Explorer の [知見 ] タブを使用して、 Unity Catalogに登録されている任意のテーブルで最も頻繁に使用される最近のクエリとユーザーを表示できます。 「カタログエクスプローラとは」を参照してください。
Unity Catalogを使用してデータリネージを追跡
Unity Catalog使用すると、SAP DatabricksクラスターまたはSQLウェアハウスで実行される任意の言語のクエリ全体でランタイム データ リネージをキャプチャできます。 リネージは列レベルまでキャプチャされ、クエリに関連するノートブック、ジョブ、ダッシュボードが含まれます。 Unity Catalogを使用したデータリネージのキャプチャと表示」を参照してください。
OpenSharing を通じてデータ共有を受信する
OpenSharingは、使用するコンピューティングプラットフォームに関係なく、他の組織または組織内の他のチームと安全にデータとAIアセットを共有するための、Databricks社によって開発されたオープンプロトコルです。SAP DatabricksでOpenSharing共有を受け取ることができます。
データプロファイリング
データプロファイリングを使用すると、アカウント内のすべてのテーブルのデータの統計プロパティと品質を監視できます。詳細については、「データプロファイリングによるデータとAIアセットの監視」をご覧ください。モニターを作成するには、Databricks UIを使用したモニターの作成を参照してください。
外部データへの接続
Unity Catalogで外部ロケーションを構成したら、外部ロケーション内のディレクトリに外部テーブルとボリュームを作成できます。その後、Unity Catalogを使用して、これらのテーブルとボリュームへのユーザーおよびグループのアクセスを管理できます。これにより、特定のユーザーまたはグループに特定のディレクトリとクラウド上のストレージバケットにあるファイルへのアクセスを提供できます。
外部ロケーションを読み取り専用にすることで、データ流出を防ぎます。