Databricks Marketplaceにデータ製品を出品する

この記事では、Databricks Marketplace プロバイダーになる方法と、データ製品の Databricks Marketplace リストを作成する方法について説明します。

始める前に

Databricks Marketplaceに製品を出品するには、プロバイダーポリシーに同意する必要があります。また、アカウントとワークスペースが特定の要件を満たしている必要もあります。

ポリシー:

Marketplaceにデータ製品を出品するには、Marketplaceのプロバイダーポリシーに同意する必要があります。

アカウントとワークスペースの要件:

Databricks Marketplaceでは、Delta Sharingを使用して、データ製品の共有の安全性を管理しています。このDelta Sharingが有効に機能するには、DatabricksワークスペースがUnity Catalogに対して有効になっている必要があります。この場合、Databricksのアカウントとワークスペースに求められる要件は以下のとおりとなります。

これらの条件を満たすワークスペースがある場合、ユーザーは Marketplace ホーム ページを表示できます。 リストを作成および管理するには、追加の権限が必要です。 これらについては、以降のセクションで列挙します。 ユーザーが Marketplace のホーム ページをまったく表示できないようにする場合は、Databricks アカウント チームにお問い合わせください。

権限要件:

プライベート交換専用プロバイダーとしてサインアップするには、Databricks アカウント管理者である必要があります。 「 Databricks Marketplace プロバイダーになるためにサインアップする 」を参照してください。

Databricks Marketplace プロバイダーになるためにサインアップする

Databricks Marketplaceプロバイダーにサインアップする方法は、公開Marketplaceでリストを作成するのか、プライベート Exchange のみを介してのみリストを作成するのかによって異なります。 プライベート取引所では、取引所のメンバーであるコンシューマーのみがリストを閲覧、表示、およびアクセスをリクエストできます。 「 Databricks Marketplace でプライベート エクスチェンジを作成および管理する 」を参照してください。

プライベートエクスチェンジのみのプロバイダーになるには、プロバイダーコンソールを使用してサインアップできます。 公開リストを作成するには、 Databricksデータパートナー プログラムを通じて申請します。

公開リストを作成できるプロバイダーに申し込む

所属組織がすでにDatabricksのパートナープログラムに参加しており、そのうえでMarketplaceのプロバイダーになる場合は、以下の手順をスキップしてpartnerops@databricks.comにお問い合わせください。

  1. Databricksデータパートナープログラムのページで、[今すぐ応募する]をクリックします。

  2. 次のページで、[今すぐ応募する]をクリックします。

  3. メールアドレスを入力し、[今すぐ応募する]をクリックします。

  4. 申請フォームに必要事項を入力します。

    申請書の最後には、参加したいDatabricksのパートナープログラムを尋ねる項目があるので、Marketplaceを選択します。

Databricksのパートナーチームから、申請プロセスを完了するための連絡が入ります。承認されると、Unity Catalog対応のDatabricksワークスペースでプロバイダーコンソールを利用できるようになります。なお、プロバイダーコンソールを利用するには、Marketplaceの管理者ロールが必要です。

プライベートエクスチェンジプロバイダーとして登録する

プライベートエクスチェンジ専用プロバイダーとしてサインアップするには、プロバイダーコンソールの [ プロバイダーとして開始する ] ページを使用します。

Marketplaceのホームページ

プライベートエクスチェンジプロバイダーとしてサインアップするには:

  1. Databricks アカウント管理者として、Databricks ワークスペースにサインインします。

  2. サイドバーで、「 Marketplaceアイコン Marketplace 」をクリックします。

  3. マーケットプレイスページの右上にある[プロバイダーコンソール]をクリックします。

  4. アカウントがプロバイダーとしてオンボードされていない場合、プロバイダー コンソールに[プロバイダーとして開始する]ページが表示され、アカウントをプライベート Exchange プロバイダーとして有効にするプロセスが案内されます。

  5. [Marketplace 規約に同意する]で、 [Databricks Marketplace プライベート プロバイダー規約]リンクをクリックして規約を確認します。

  6. 条件に同意するには、[ プライベート プロバイダーの条件に同意する ] ボタンをクリックします。

    これにより、新しいブラウザー タブで Databricks アカウント コンソールに移動し、 [設定] > [機能の有効化]タブが開きます。 まだログインしていない場合は、アカウント コンソールにログインする必要がある場合があります。

    複数のDatabricksアカウントをお持ちの場合は、プロバイダー コンソールにアクセスしているワークスペースを含むアカウントにログインしていることを確認する必要があります。

  7. [機能の有効化]タブで、 [Marketplace Private Exchange Provider]オプションを有効にします。

  8. ワークスペースのプロバイダー コンソールに戻り、 [ページを更新]をクリックします。 ブラウザのページ更新機能は使用しないでください。

  9. 数分後、 Marketplace管理者の割り当て」ボタンが表示されます。 それをクリックすると、アカウント コンソールでユーザー ページが開きます。 [ロール]タブで、 Marketplace admin を有効にします。

    Marketplace 管理者ロールを別のユーザーに割り当てることを選択できます。 その場合は、この時点からプロセスを続行できます。 ロールを自分自身に割り当てると、プロセスを続行できます。

  10. ワークスペースのプロバイダー コンソールに戻り、 [ページを更新]をクリックします。 ブラウザのページ更新機能は使用しないでください。

  11. 数分後、[ プロバイダー プロファイルの作成 ] ボタンが表示されます。 これをクリックして [ プロファイルの作成 ] ページを開きます。

    システムが Marketplace 管理者ロールの割り当てを完了するまでに数分かかる場合があります。 プロバイダー プロファイルの作成に進んで、Marketplace 管理者ロールがないことを示すエラーが表示された場合は、さらに数分待ってページを更新し、再試行してください。

  12. プロバイダー プロファイルを作成するには、 Marketplaceプロバイダー プロファイルを作成するのステップ 5 から始まる手順に従ってください。

  13. 最初のプライベートエクスチェンジを作成します。 「 Databricks Marketplace でプライベート エクスチェンジを作成および管理する 」を参照してください。

Marketplaceの管理者ロールを割り当てる

プライベート交換プロバイダーとしてサインアップした場合は、サインアップ プロセスの一部としてこのタスクを実行しました。 Databricks アカウント内の他のユーザーを Marketplace 管理者として有効にする場合を除き、このセクションの手順をスキップできます。

Marketplaceのプロバイダーとして承認されたら、少なくとも1名のユーザーにMarketplaceの管理者ロールを付与する必要があります。このロールは、Marketplaceのプロバイダーコンソールにアクセスし、Marketplaceプロバイダーのプロファイルやリスティングを作成および管理するために必要です。ロールの付与は、Databricksのアカウント管理者が実施できます。

  1. アカウント管理者として、アカウントコンソールにログインします。

  2. アカウントコンソールのユーザー管理アイコン [ ユーザー管理 ] をクリックします

  3. ユーザー名を見つけてクリックします。

  4. ロール]タブで、[Marketplace管理者]をオンにします。

Marketplaceのプロバイダープロファイルを作成する

プロバイダー プロファイルを使用すると、見込み客に自分が誰であるかを伝え、データ製品を 1 つのブランドまたは ID にグループ化することができます。 通常、データ プロバイダーには 1 つのプロファイルがありますが、複数のデータ製品を一覧表示できます。 複数のプロファイルが必要な場合は、Databricks アカウント チームにお問い合わせください。

公開プロバイダーの場合は、プロバイダーの申請が承認された後にプロファイルを作成できます。 Private Exchange 専用プロバイダーの場合は、ここで説明する手順のステップ 5 から始まる、サインアップ プロセスの最後のステップとしてプロファイルを作成します。

必要な権限:Marketplaceの管理者ロール

プロファイルを作成するには:

  1. 共有とリストの作成に使用する Databricks ワークスペースにログインします。

  2. サイドバーで、「 Marketplaceアイコン Marketplace 」をクリックします。

  3. マーケットプレイスページの右上にある[プロバイダーコンソール]をクリックします。

  4. プロバイダーコンソール]ページの[ プロファイル]タブで、[プロファイルを作成]をクリックします。

  5. 次の情報を入力します。(すべて必須項目です)

    • プロバイダー名:コンシューマーが認識できる名前を使用します。コンシューマーは、プロバイダー名でリスティングをフィルタリングできます。

    • ロゴ:リストで使用するロゴの画像ファイルをドラッグ&ドロップまたは参照します。

    • 説明文:貴社を明確かつ正確に説明します。貴社が主にサービスを提供する業界や、主にリストするデータ資産のタイプなどを説明します。コンシューマーがプロファイルページにアクセスすると、この説明文が表示されます。また、すべてのリスティングにも表示されます。

    • 貴社のウェブサイト:貴社のウェブサイトへのリンクを入力します。コンシューマーはこのリンクをクリックして、貴社の詳細を確認することになります。またこのリンクは、すべてのリスティングに表示されます。

    • 業務用メールアドレス:Databricksからの通知を受信するメールアドレスを入力します。この情報はコンシューマーには表示されません。

    • サポート用メールアドレス:コンシューマーがサポートをリクエストする際に使用できるメールアドレスを入力します。このリンクは、すべてのリスティングに表示されます。

    • 利用規約へのリンク:このリンクは、すべてのリスティングに表示されます。ただし、リスティングごとにこのリンクを上書きすることも可能です。

    • プライバシーポリシー:このリンクは、すべてのリスティングに表示されます。ただし、リスティングごとにこのリンクを上書きすることも可能です。

  6. プロファイルを保存します。

Marketplaceのプロバイダーである間にこれらの情報に変更があった場合は、プロファイルも変更してください。プロファイルは正確かつ最新の情報である必要があります。

共有を作成する

Delta Sharingに対してDatabricksアカウントを有効にし、Unity Catalogに対してDatabricksワークスペースを有効にしたら、Marketplaceでデータを共有するために使用する「共有」を作成できます。

共有は Delta Sharing オブジェクトです。 これは、テーブル、ビュー、ボリューム、AI モデルのコレクションであり、ユニットとして共有およびセキュリティ保護可能です。 テーブルは、任意のコンシューマと共有できます。 ボリューム、AI モデル、ノートブックは、Unity Catalog が有効になっている Databricks ワークスペースにアクセスできるコンシューマーとのみ共有できます。

コンシューマーが無料ですぐに利用できるデータ製品をリストするには、リストの作成時に共有を含める必要があります。 一方、コンシューマーのリクエストを承認する必要があるリストでは、リストに共有を含める必要はありません。 共有は、ビジネス契約が完了し、コンシューマーのリクエストを承認した後で作成できます。 その場合は、 出品情報の作成に進んでください。

  1. データ テーブル、ビュー、またはボリュームを Unity Catalog メタストアに追加します。

    Unity Catalog でこれらのデータ資産を作成する方法については、以下を参照してください。

  2. 共有を作成し、これらのデータ資産を共有に追加します。

    共有の作成および更新方法については、「Delta Sharing の共有の作成と管理」を参照してください。

    必要な権限:

    • 共有を作成するには、メタストア管理者、または共有したいデータが登録されているUnity Catalogメタストアに対する CREATE SHARE権限を持つユーザーである必要があります。

    • テーブル、ボリューム、またはビューを共有に追加するには、共有所有者であり、データ資産を含むスキーマに対する USE SCHEMA 権限と、データ資産に対する SELECT 権限を持っている必要があります。 アセットを引き続き共有するには、 SELECT 権限を保持する必要があります。 紛失した場合、受信者は共有を介してアセットにアクセスできません。 そのため、Databricks では、共有所有者としてグループを使用することをお勧めします。

    コンピュートやデータ型の要件など、テーブル、ボリューム、ビューを共有するための要件の詳細については、「 Delta Sharing の共有の作成と管理」を参照してください。

共有を作成したら、その共有を参照するMarketplaceのリスティングを作成したり、更新したりできるようになります。

ノートブックの例:サンプルノートブック

Databricks では、テーブル、ボリューム、ビューに加えて、Databricks ノートブックも共有することを強くお勧めします。 ノートブックは、ユース ケースの例を示し、テーブルのプロパティを視覚化するための優れた方法です。 リストには、コンシューマーがワークスペースにインポートできるサンプル ノートブック プレビューを含めることができます。

リスティングのノートブックのプレビュー

ノートブックの作成については、「Databricksノートブック入門」参照してください。効果的なサンプルノートブックの作成についてサポートが必要な場合は、dataproviders@databricks.comにお問い合わせください。

Chromeのシークレットモードでは、リスティングのUIでサンプルノートブックの表示やプレビューを行うことはできません。

以下は、効果的なサンプルノートブックを作成する方法の例になります。ここには、リスティング用の効果的なサンプルノートブックを作成するためのガイダンスも含まれています。

データプロバイダー向けMarketplaceスターターノートブック

ノートブックを新しいタブで開く

リスティングを作成する

Marketplace 登録情報を使用すると、コンシューマーはデータ製品を参照、選択、およびアクセスできます。 すべてのデータセットの一覧は、Databricks ワークスペースのコンシューマーと、Power BI、pandas、Apache Spark などのサードパーティ プラットフォームのコンシューマーの両方と自動的に共有できます。

Databricks ボリュームなどの一部のデータ資産は、Unity Catalog 対応の Databricks ワークスペースにアクセスできるコンシューマーとのみ共有できます。 ただし、テーブルはすべてのコンシューマと共有できます。 共有にテーブルとボリュームの両方を含めると、Unity Catalog 対応ワークスペースにアクセスできないコンシューマーは、表形式のデータにのみアクセスできます。

必要なアクセス許可: Marketplace 管理者ロール。パーソナライズされた出品情報(出荷前にプロバイダーの承認が必要な出品情報)を作成および管理する場合は、 CREATE RECIPIENTUSE RECIPIENT の権限も必要です。 Unity Catalog 権限とセキュリティ保護可能なオブジェクトを参照してください。

リスティングを作成するには:

  1. Databricksワークスペースにログインします。

  2. サイドバーで、「 Marketplaceアイコン Marketplace 」をクリックします。

  3. マーケットプレイスページの右上にある[プロバイダーコンソール]をクリックします。

  4. プロバイダーコンソール]ページの[リスティング]タブで、[リスティングを作成する]をクリックします。

  5. 新しいリスティング]ページで、リスティングの情報を入力します。

    手順については、 フィールドとオプションのリストを参照してください。

下書きを保存し、プレビューで確認してから公開します。[公開]をクリックすると、すぐにMarketplaceにそのリスティングが表示されます。

リスティングのフィールドとオプション

このセクションでは、[新しいリスティング]ページの各フィールドとオプションについて説明します。また、効果的なリスティングを作成するための推奨事項も掲載しています。

  • リスティング名:リスティングには、そのリスティングに何があるかをコンシューマーが把握できるような、固有の名前を付ける必要があります。

    推奨事項:

    • 100文字未満に収める。

    • タイトルケース(主要な単語を大文字にします)。

    US Census 2022

  • 簡単な説明:リスティング名から広げた、データセットの短くわかりやすい説明文。このフィールドは、リスティングタイルおよびコンシューマーの検索結果に表示されます。

    推奨事項:

    • 100文字未満に収める。160文字を超えることはできません。

    • センテンスケース(最初の単語と固有名詞や頭字語のみを大文字にします)。

    General information about US population count and demography in 2020

  • プロバイダー プロファイル: 組織または会社名。ドロップダウンメニューから選択します。 プロファイルは、パートナー組織の承認プロセスの一環として Databricks によって作成されます。

  • 利用規約:共有データ資産を適切に使用するための貴社の利用規約に遷移するURL。

    利用規約は公開され、ログインを必要としないものでなければなりません。

  • パブリックMarketplace:パブリックの Databricks Marketplaceのリスティングは、すべてのコンシューマーが参照および閲覧できます。

  • プライベート取引所:あなたまたは別のMarketplace管理者によって作成されたプライベート取引所のメンバーであるコンシューマーのみが、リスティングを参照、閲覧、リクエストできます。詳しくは、「Databricks Marketplaceでプライベート取引所を作成および管理する」を参照してください。

    ドロップダウンリストから少なくとも1つプライベート取引所を選択する必要があります。

  • データはすぐに利用可能:このオプションを選択すると、コンシューマーはプロバイダーによる承認を必要とせずに、Marketplaceの共有データに直接アクセスできます(ただし利用規約への同意は必要)。ドロップダウンメニューから[共有]を選択します。このオプションは通常、サンプルやパブリックのデータセットに使用されます。

    共有をまだ作成していない場合は、ドロップダウンメニューの一番下にある[+新規共有を作成 ]をクリックして、「新規共有を作成]ダイアログボックスを開きます。

    ここで選択または作成した共有にデータまたはアセットが含まれていない場合は、[ データの追加 ] ボタンを含むメッセージが表示されます。 これをクリックするとカタログ エクスプローラーに移動し、共有にテーブルを追加できます。

    必要な権限を含め、共有の作成と共有へのテーブルの追加の詳細については、「Delta Sharingの共有の作成と管理」を参照してください。

  • コンシューマーリクエストの承認が必要:コンシューマーが共有データにアクセスする前に承認を必要とする場合は、このオプションを選択します。コンシューマーがデータ製品を利用できるようにする前に契約を必要とする場合は、このオプションを使用してください。契約は、Databricks Marketplaceの関与外でコンシューマーと締結する必要があります。コンシューマーとの連絡は、そのコンシューマーのメールアドレスを使用して開始してください。

    コンシューマーリクエストは[プロバイダーコンソール]>[コンシューマーリクエスト]タブで確認および処理できます。詳しくは、「Databricks Marketplaceでのデータ製品リクエストの管理」を参照してください。

  • カテゴリー:コンシューマーがリスティングのフィルタリングに使用できるカテゴリーを5つまで選択します。このカテゴリーは、リスティングタイルと詳細ページにもタグとして表示されます。

  • 属性を追加:属性は任意です。これには、地理的範囲、更新頻度、日付範囲、データソース、データセットサイズなどのフィールドがあります。属性を追加すると、コンシューマーはデータ製品を詳しく理解できるようになります。また属性はいくつでも選択できます。

  • 説明:データの詳細な説明には、リスティングで提供するデータとアセットの概要を入れる必要があります。

    Markdown構文を使用した基本的なリッチテキスト(太字、斜体、箇条書き、番号付きリストなど)にも対応しています。内容をプレビューするには、説明フィールドツールバーの右端にあるボタンを使用します。

    推奨事項:

    • 利点とユースケースを含める。

    • データとサンプルユースケースの使用方法について簡単に説明する。

    • サンプルのデータセットとフィールド名を入れる。

    • スキーマ、テーブル、列を指定する。

    • 句読点と書き方に一貫性を持たせる。

    • 段落間に改行を入れる。

    • 誤字脱字と文法を確認する。

    • 属性を追加]で定義した属性を繰り返さない。

    概要

    人口と住居に関する米国国勢調査は、米国の人口と住居の公式数で、この時点の米国の社会および経済を映し出します。23回目となる2020年の国勢調査は、2021年3月6日に実施されました。

    ユースケース

    • 年齢や性別などの人口統計上の属性に基づいて消費者をグループ化します。

    • 特定のコンシューマーグループに合わせて製品をカスタマイズします。

    このデータセットに含まれる情報:

    • 人口の推計値

    • 人口統計学的要素(出生、死亡、移住)

    • このデータは、年齢、性別、人種などの特徴に加えて、国、州、郡を基準に分類することができます。

  • サンプルノートブック:データの最適な使用方法を示すため、サンプルノートブックを提供することを強く推奨します。ノートブックは10個まで追加できます。サンプルノートブックをアップロードするには、リスティングを一度保存してから、またリスティングに戻る必要があります。

    ノートブックの作成の詳細については、「 ノートブックの例: サンプルノートブック 」および「 Databricks ノートブックの概要」を参照してください。

  • ドキュメント:コンシューマーがデータセットを使用または理解するのに役立つドキュメント(データセット辞書など)にリンクするURL。

  • プライバシーポリシー:貴社のプライバシーポリシーにリンクする URL。

    プライバシーポリシーは公開され、ログインを必要としないものでなければなりません。

システムテーブル (パブリック プレビュー) とダッシュボードを使用して消費者のアクティビティを分析する

アカウントでシステムテーブルが有効になっている場合は、 Marketplaceシステムテーブルを使用して、リスティングに対するコンシューマーのアクティビティを分析できます。 詳細については、 Marketplaceシステムテーブル リファレンスを参照してください。

プロバイダー分析ダッシュボードを使用して、リストの表示、リクエスト、インストールを監視することもできます。 ダッシュボードはシステムテーブルからデータを取得します。 「ダッシュボードを使用してリストの使用状況メトリックを監視する」を参照してください。

リソースクォータ

Unity Catalog は、メタストアごとの Marketplace リストやアカウントごとのプロバイダーなど、セキュリティ保護可能なすべてのオブジェクトにリソース クォータを適用します。 これらのクォータは、「 リソース制限」に記載されています。 これらのリソース制限を超えることが予想される場合は、Databricks アカウント チームにお問い合わせください。

クォータの使用状況は、 Unity Catalog リソース クォータ APIsを使用して監視できます。 「Unity Catalog のリソース クォータの使用状況を監視する」を参照してください