Databricks Clean Rooms とは何ですか?
プレビュー
この機能はパブリックプレビュー段階です。
この記事では、Databricksの機能であるClean Roomsについて紹介します。Clean Roomsは、Delta Sharingとサーバーレスコンピューティングを使用して、複数の関係者がお互いのデータに直接アクセスすることなく、機密性の高い企業データについて共同で作業できる安全でプライバシー保護された環境を提供します。
要件
クリーンルームを利用するには、以下の条件を満たす必要があります。
サーバレスコンピュートが有効なアカウントを持っていること。 「サーバレスコンピュートを有効にする」を参照してください。
Unity Catalogが有効になっているワークスペースを用意します。 「Unity Catalog のワークスペースを有効にする」を参照してください。
クリーンルームの仕組み
クリーンルームを作成するときは、次のものを作成します。
Unity Catalogメタストア内のセキュアブルなクリーンルームオブジェクト。
Databricksが管理する隔離されたエフェメラル環境である「中央」クリーンルーム。
共同作業者のUnity Catalogメタストア内のセキュリティ保護可能なクリーン ルーム オブジェクト。
いずれかの共同作業者がクリーンルームで共有するテーブル、ボリューム (表形式以外のデータ)、およびノートブックは、Delta Sharing を使用して中央のクリーンルームとのみ共有されます。
コラボレーターは、他のコラボレーターのテーブルやボリュームのデータを見ることはできませんが、列名と列タイプを見ることはでき、テーブルやボリュームを操作する承認済みのノートブックコードを実行することができます。 ノートブックのコードは、中央のクリーンルームで実行されます。 ノートブックでは、共同作業者が読み取り専用の出力を Unity Catalog メタストアに一時的に保存して、ワークスペースで作業できるようにする 出力テーブル を生成することもできます。
クリーンルームはどのようにしてノー・トラスト環境を確保しますか?
Databricksクリーンルームモデルは「no-trust」です。トラストなしのクリーンルームのすべての協力者は、クリーンルームの作成者を含め、同等の特権を持っています。 クリーンルームは、不正なコードの実行やデータの不正な共有を防ぐように設計されています。 たとえば、ノートブックを実行する前に、すべての共同作業者がノートブックを承認する必要があります。 この信頼は、コラボレーターが自分で作成したノートブックを実行できないようにすることで暗黙的に適用されます。つまり、他のコラボレーターが作成したノートブックのみを実行できます。
追加の保護措置または制限
上記の暗黙的なノートブック承認プロセスに加えて、次の安全対策が実施されています。
クリーンルームが作成されると、新しい共同作業者がクリーンルームに参加できないようにロックダウンされます。
共同作業者がクリーンルームを削除すると、中央クリーンルームは無効となり、どのユーザーもクリーンルームタスクを実行できなくなります。
パブリックプレビュー期間中、各クリーンルームは2人のコラボレーターに制限されます。
クリーンルームの名前を変更することはできません。
クリーンルーム名は、すべてのコラボレーターが同じクリーンルームを明確に参照できるように、すべてのコラボレーターのメタストアで一意である必要があります。
各共同作業者のワークスペースでセキュリティ保護可能なクリーン ルームに関するコメントは、他の共同作業者に伝播されません。
リソースクォータ
Databricks は、すべての Clean Room セキュリティ保護可能なオブジェクトにリソース クォータを適用します。 これらのクォータは、「 リソース制限」に記載されています。 これらのリソース制限を超えることが予想される場合は、Databricks アカウント チームにお問い合わせください。
クォータの使用状況は、 Unity Catalog リソース クォータ APIsを使用して監視できます。 「Unity Catalog のリソース クォータの使用状況を監視する」を参照してください。