Databricks Clean Rooms とは何ですか?

プレビュー

この機能はパブリックプレビュー段階です。アクセスをリクエストするには、Databricks の担当者に連絡してください。

この記事では、Databricksの機能であるClean Roomsについて紹介します。Clean Roomsは、Delta Sharingとサーバーレスコンピューティングを使用して、複数の関係者がお互いのデータに直接アクセスすることなく、機密性の高い企業データについて共同で作業できる安全でプライバシー保護された環境を提供します。

要件

クリーンルームを利用するには、以下の条件を満たす必要があります。

クリーンルームの仕組み

クリーンルームを作成するときは、次のものを作成します。

  • Unity Catalogメタストア内のセキュアブルなクリーンルームオブジェクト。

  • Databricksが管理する隔離されたエフェメラル環境である「中央」クリーンルーム。

  • 共同作業者のUnity Catalogメタストア内のセキュリティ保護可能なクリーン ルーム オブジェクト。

クリーンルームで共同作業者のどちらかが共有するテーブル、ボリューム（表以外のデータ）、ノートブックは、Delta Sharingを使って、中央のクリーンルームでのみ共有されます。

共同作業者は他の共同作業者のテーブルやボリューム内のデータを表示できませんが、列名と列の種類を表示でき、テーブルとボリュームに対して動作する承認済みノートブック コードを実行できます。 ノートブックのコードは中央クリーン ルームで実行されます。

クリーンルーム:シンプルなアーキテクチャと流れ

クリーンルームはどのようにしてノー・トラスト環境を確保しますか?

Databricks Clean Roomsのモデルは「ノー・トラスト」です。 トラストなしのクリーンルームのすべての協力者は、クリーンルームの作成者を含め、同等の特権を持っています。 クリーンルームは、不正なコードの実行やデータの不正な共有を防ぐように設計されています。 ノートブックを実行するには、コラボレーター全員がノートブックを承認する必要があります。この信頼は、共同作業者が自分で作成したノートブックを実行できないようにすることで暗黙的に適用されます。実行できるのは、他の共同作業者が作成したノートブックのみです。

追加の保護措置または制限

上記の暗黙的なノートブック承認プロセスに加えて、次の安全対策が実施されています。

  • クリーンルームが作成されると、新しい共同作業者がクリーンルームに参加できないようにロックダウンされます。

  • 共同作業者がクリーンルームを削除すると、中央クリーンルームは無効となり、どのユーザーもクリーンルームタスクを実行できなくなります。

  • パブリックプレビュー期間中、各クリーンルームは2人のコラボレーターに制限されます。

  • クリーンルームの名前を変更することはできません。

    クリーンルーム名は、すべてのコラボレーターが同じクリーンルームを明確に参照できるように、すべてのコラボレーターのメタストアで一意である必要があります。

  • 各共同作業者のワークスペースでセキュリティ保護可能なクリーン ルームに関するコメントは、他の共同作業者に伝播されません。

他の共同作業者と共有する内容

  • クリーンルーム名

  • 中央クリーンルームのクラウドとリージョン

  • 組織名 (任意の名前を選択できます)

  • Unity Catalogメタストア共有識別子 (グローバルメタストア ID)

  • 共有テーブルまたはボリュームのエイリアス

  • 列メタデータ (列の名前またはエイリアスと型)

  • ノートブック (読み取り専用)

  • クリーンルーム イベントシステムテーブル

  • 以下のような実行履歴：

    • 実行中のノートブックの名前

    • ノートブックを実行した共同作業者 (ユーザーではありません)。

    • ノートブックの実行状態。

    • ノートブック実行の開始時刻。

中央クリーンルームとの共有は？

  • 前のセクションに記載されているすべてのもの

  • 読み取り専用のテーブル、ボリューム、ノートブック

    テーブルとボリュームは、指定されたエイリアスとともに中央クリーンルームのメタストアに登録されます。テーブル、ボリューム、ノートブックは、クリーンルームのライフサイクル全体を通じて共有されます。

制限事項

パブリックレビュー期間中は、次の制限が適用されます。

  • 悪意のあるコードがデータを外部に漏洩するのを防ぐために、クリーン ルームでインターネットをオフにすることはサポートされていません。

  • 必要な Databricks Runtime バージョンにはサービス資格情報 Scala ライブラリが含まれていません。

リソースクォータ

Databricks は、すべての Clean Room セキュリティ保護可能なオブジェクトにリソース クォータを適用します。 これらのクォータは、「 リソース制限」に記載されています。 これらのリソース制限を超えることが予想される場合は、Databricks アカウント チームにお問い合わせください。

クォータの使用状況は、 Unity Catalog リソース クォータ APIsを使用して監視できます。 「Unity Catalog のリソース クォータの使用状況を監視する」を参照してください。