Delta Sharing オープン共有プロトコルを使用してデータを共有する (プロバイダー向け)
この記事では、プロバイダーが Delta Sharing オープン共有プロトコルを使用して、Unity Catalog対応の Databricks ワークスペースのデータを、任意のコンピューティング プラットフォーム上の任意の場所のすべてのユーザーと共有する方法の概要について説明します。
データ受信者 (データが共有されているユーザーまたはユーザーのグループ) の場合は、 代わりに「Delta Sharing を使用して共有されたデータにアクセスする (受信者用)」を参照してください。
Delta Sharing オープン共有プロトコルはどのような場合に使用すべきですか?
Delta Sharingを使用してデータを共有する方法は3つあります。
-
この記事で取り上げる Databricks のオープン共有プロトコルを使用すると 、Unity Catalog 対応の Databricks ワークスペースで管理するデータを、任意のコンピューティング プラットフォームのユーザーと共有できます。
このアプローチでは、Databricksに組み込まれているDelta Sharingサーバーを使用します。Unity Catalogを使用してデータを管理していて、Databricksを使用していないユーザーやUnity Catalog対応のDatabricksワークスペースにアクセスできないユーザーとデータを共有したい場合に便利です。プロバイダー側でのUnity Catalogとの統合により、プロバイダーのセットアップとガバナンスが簡素化されます。
-
オープンソースの Delta Sharing サーバーの顧客管理実装により 、Databricks の有無にかかわらず、任意のプラットフォームから任意のプラットフォームに共有できます。
github.com/delta-io/delta-shareingを参照してください。
-
Databricks-to-Databricks共有プロトコルを使用すると 、Unity Catalog 対応ワークスペースのデータを、Unity Catalog 対応のDatabricksワークスペースにアクセスできるユーザーと共有できます。
「Delta Sharing Databricks-to-Databricks プロトコルを使用したデータの共有 (プロバイダー向け)」を参照してください。
Delta Sharingの概要と、これら 3 つのアプローチの詳細については、「Delta Sharingとは」を参照してください。
Delta Sharing のオープン共有ワークフロー
このセクションでは、オープン共有ワークフローの概要と、各ステップの詳細なドキュメントへのリンクを提供します。
Delta Sharing オープン共有モデルでは、次のようになります。
-
データ プロバイダーは、データ プロバイダーがデータを共有するユーザーまたはユーザーのグループを表す名前付きオブジェクトである 受信者 を作成します。
データ プロバイダーが受信者を作成すると、Databricks はトークン、トークンを含む資格情報ファイル、およびデータ プロバイダーが資格情報ファイルにアクセスするために受信者に送信できるアクティブ化リンクを生成します。
詳細については、「ステップ1: 受信者を作成する」を参照してください。
-
データ プロバイダーは、プロバイダーのアカウントの Unity Catalog メタストアに登録されているテーブルのコレクションを含む名前付きオブジェクトである 共有 を作成します。
詳細については、「 Delta Sharing の共有を作成および管理する」を参照してください。
-
データ プロバイダーは、受信者に共有へのアクセス権を付与します。
詳細については、「 Delta Sharing データ共有へのアクセスを管理する (プロバイダー向け)」を参照してください。
-
データ プロバイダーは、セキュリティで保護されたチャンネルを介して受信者にアクティベーション リンクを送信し、受信者が共有データを受信するためのデータ プロバイダーとの安全な接続を確立するために使用する資格情報ファイルをダウンロードするためのアクティベーション リンクを使用する手順と共に送信します。
詳細については、「 ステップ 2: アクティベーション リンクを取得する」を参照してください。
-
データ受取人は、アクティベーションリンクをたどって資格情報ファイルをダウンロードし、資格情報ファイルを使用して共有データにアクセスします。
共有データは読み取り専用です。 ユーザーは、選択したプラットフォームまたはツールを使用してデータにアクセスできます。
詳細については、「 Delta Sharing オープン共有を使用して共有されたデータの読み取り (受信者向け)」を参照してください。
プロバイダー固有の構成
多くのプロバイダーは、共有用の独自の Delta Sharing ネットワークを持っています。 具体的な共有手順については、次の例を参照してください。
オープン共有に関するプロバイダーのセットアップとセキュリティに関する考慮事項
オープンな共有モデルを使用する場合、データを安全に共有するための鍵となるのは、適切なトークン管理です。
- 共有を提供するときにオープン共有を使用する予定の 上のデータ プロバイダーは、DatabricksDelta Sharing Unity Catalogメタストアの を有効にするときに、デフォルトの受信者トークンの有効期間を構成する必要があります。Databricks では、トークンの有効期限が切れるように構成することをお勧めします。 「メタストアでDelta Sharingを有効にする」を参照してください。
- デフォルトのトークンの有効期間を変更する必要がある場合は、「 受信者トークンの有効期間を変更する」を参照してください。
- 受信者に、ダウンロードした認証情報ファイルを安全に管理するよう奨励してください。
- トークン管理とオープン共有セキュリティの詳細については、「 受信者トークンの管理 (オープン共有)」を参照してください。
データ プロバイダーは、IP アクセス リストを割り当てて受信者のアクセスを特定のネットワーク ロケーションに制限することで、セキュリティを強化できます。 「IP アクセス リストを使用して Delta Sharing 受信者のアクセスを制限する (オープン共有)」を参照してください。