Delta Sharingオープン共有プロトコルを使用してデータを共有する(プロバイダー向け)

この記事では、プロバイダーが Delta Sharing オープン共有プロトコルを使用して、Unity Catalog対応の Databricks ワークスペースのデータを、任意のコンピューティング プラットフォーム上の任意の場所のすべてのユーザーと共有する方法の概要について説明します。

注:

データ受信者 (データが共有されているユーザーまたはユーザーのグループ) である場合は、代わりに「Delta Sharingを使用して共有されたデータにアクセスする (受信者の場合)」を参照してください。

Delta Sharing オープン共有プロトコルは誰が使用すべきでしょうか?

Delta Sharing を使用してデータを共有する方法は 3 つあります。

  1. この記事で説明するDatabricks オープン共有プロトコルを使用すると、Unity Catalog 対応の Databricks ワークスペースで管理するデータを、任意のコンピューティング プラットフォーム上のユーザーと共有できます。

    このアプローチでは、Databricks に組み込まれている Delta Sharing サーバーを使用します。これは、Unity Catalog を使用してデータを管理し、Databricks を使用していないユーザーや Unity Catalog 対応の Databricks ワークスペースにアクセスできないユーザーとデータを共有する場合に便利です。 プロバイダー側での Unity Catalog との統合により、プロバイダーのセットアップとガバナンスが簡素化されます。

  2. オープンソースの Delta Sharing サーバーの顧客管理実装により、 Databricks かどうかに関係なく、あらゆるプラットフォーム間で共有できます。

    github.com/delta-io/delta-sharing を参照してください。

  3. Databricks-to-Databricks共有プロトコルを使用すると、 Unity カタログ対応のワークスペースからのデータを、同じく Unity カタログ対応のDatabricksワークスペースにアクセスできるユーザーと共有できます。

    Delta Sharing の Databricks-to-Databricks プロトコルを使用してデータを共有する (プロバイダー向け)」を参照してください。

Delta Sharingの概要と、これら 3 つのアプローチの詳細については、 Delta Sharingは」を参照してください。

Delta Sharingオープン共有のワークフロー

このセクションでは、オープン共有ワークフローの概要と、各ステップの詳細なドキュメントへのリンクを示します。

Delta Sharing オープン共有モデルでは、次のようになります。

  1. データ プロバイダーは、データ プロバイダーがデータを共有するユーザーまたはユーザー グループを表す名前付きオブジェクトである受信者を作成します。

    データ プロバイダーが受信者を作成すると、Databricks はトークン、トークンを含む資格情報ファイル、および資格情報ファイルにアクセスするためにデータ プロバイダーが受信者に送信できるアクティベーション リンクを生成します。

    詳細については、 「ステップ 1: 受信者を作成する」を参照してください。

  2. データ プロバイダーは、プロバイダーのアカウントの Unity Catalog メタストアに登録されたテーブルのコレクションを含む名前付きオブジェクトである共有を作成します。

    詳細については、 「Delta Sharing の共有の作成と管理」を参照してください。

  3. データ プロバイダーは、受信者に共有へのアクセス権を付与します。

    詳細については、 「Delta Sharing データ共有へのアクセスの管理 (プロバイダー向け)」を参照してください。

  4. データ プロバイダーは、アクティベーション リンクを安全なチャネル経由で受信者に送信します。また、アクティベーション リンクを使用して資格情報ファイルをダウンロードするための手順も送信します。受信者は、この資格情報ファイルを使用して、データ プロバイダーとの安全な接続を確立し、共有データを受信します。

    詳細については、 「ステップ 2: アクティベーション リンクを取得する」を参照してください。

  5. データ受信者は、アクティベーションリンクをたどって資格情報ファイルをダウンロードし、資格情報ファイルを使用して共有データにアクセスします。

    共有データは読み取り専用です。 ユーザーは、選択したプラットフォームまたはツールを使用してデータにアクセスできます。

    詳しくは、Delta Sharingオープン共有を使用して共有されたデータの読み取り (受信者用)を参照してください。

オープン共有のセットアップとセキュリティに関する考慮事項

オープン共有モデルを使用する場合、適切なトークン管理がデータを安全に共有するための鍵となります。

  • オープン共有を使用する予定のデータ プロバイダーは、Unity Catalog メタストアの Delta Sharing を有効にするときに、デフォルトの受信者トークンの有効期間を構成する必要があります。 Databricks では、トークンの有効期限を設定することをお勧めします。 「メタストアでのDelta Sharing有効化」を参照してください。

  • デフォルトのトークンの有効期間を変更する必要がある場合は、 「受信者のトークンの有効期間を変更する」を参照してください。

  • 受信者に、ダウンロードした資格情報ファイルを安全に管理するように促します。

  • トークン管理とオープン共有セキュリティの詳細については、「 受信者トークンの管理 (オープン共有)」を参照してください。

データ プロバイダーは、IP アクセス リストを割り当てて受信者のアクセスを特定のネットワーク ロケーションに制限することで、セキュリティを強化できます。 「IP アクセス リストを使用してDelta Sharing受信者のアクセスを制限する (オープン共有)」を参照してください。