Salesforce Data 360 でフェデレーションクエリを実行する

このページでは、 Databricksによって管理されていない Salesforce Data 360 データに対してフェデレーション クエリを実行するためにレイクハウスフェデレーションを設定する方法について説明します。 レイクハウスフェデレーションの詳細については、 「レイクハウスフェデレーションとは何ですか?」を参照してください。

レイクハウスフェデレーションを使用して Salesforce Data 360 データベースに接続するには、 Databricks Unity Catalogメタストアに次のものを作成する必要があります。

• Salesforce Data 360 データベースへの 接続 。
• Unity Catalogの Salesforce Data 360 データベースをミラーリングする フォーリンカタログ。 これにより、 Unity Catalogクエリ構文とデータガバナンス ツールを使用して、 Databricksユーザーのデータベースへのアクセスを管理できるようになります。

どの Salesforce コネクタを使用すべきですか?

Databricks は Salesforce 用の複数のコネクタを提供しています。ゼロコピーコネクタには、Salesforce Data 360 (旧称 Data クラウド) ファイル共有コネクタと Salesforce Data 360 クエリフェデレーションコネクタの 2 つがあります。 これらを使用すると、Salesforce Data 360 内のデータを移動せずにクエリできます。Salesforce Data 360 や Salesforce Sales Cloud など、さまざまな Salesforce 製品からデータをコピーする Salesforce 取り込みコネクタもあります。

次の表は、Databricks の Salesforce コネクタ間の違いをまとめたものです。

コネクター	ユースケース	サポートされている Salesforce 製品
Salesforce Data 360 ファイル共有	レイクハウスフェデレーションで Salesforce Data 360 ファイル共有コネクタを使用すると、 Databricks Salesforce Data-as-a-Service (DaaS) APIs呼び出して、基盤となるクラウド オブジェクト ストレージの場所にあるデータを直接読み取ります。 クエリは、 JDBCプロトコルを使用せずにDatabricksコンピュート上で実行されます。 クエリ フェデレーションと比較して、ファイル共有は大量のデータをフェデレーションするのに最適です。複数のデータソースからのファイルの読み取りパフォーマンスが向上し、プッシュダウン機能も向上します。 Salesforce Data 360 ファイル共有については、レイクハウスフェデレーションを参照してください。	セールスフォース・データ360
Salesforce Data 360 クエリフェデレーション	レイクハウスフェデレーションで Salesforce Data 360 クエリ フェデレーション コネクタを使用すると、 Databricks JDBC使用してソース データに接続し、クエリを Salesforce にプッシュします。 「Salesforce Data 360 でフェデレーションクエリを実行する」を参照してください。	セールスフォース・データ360
Salesforce の取り込み	Lakeflow Connect の Salesforce インジェスト コネクタを使用すると、Salesforce Platform データからフルマネージド インジェスト パイプラインを作成できます。このコネクタは、CDPデータだけでなく、Data Intelligence PlatformのCRMデータも活用することで、価値を最大化します。「Salesforce からのデータの取り込み」を参照してください。	「Salesforce インジェスト コネクタはどの Salesforce 製品をサポートしていますか?」を参照してください。

始める前に

ワークスペースの要件：

• Unity Catalogのワークスペースが有効になっています。

コンピュートの要件：

• コンピュート・リソースからターゲット・データベース・システムへのネットワーク接続。 「レイクハウスフェデレーションのネットワーキングに関する推奨事項」を参照してください。
• Databricks コンピュートは、 Databricks Runtime 15.2 以降と Standard または Dedicated アクセス モードを使用する必要があります。
• SQLウェアハウスは Pro または サーバレスで、2024.30 以上を使用している必要があります。

必要な権限：

• 接続を作成するには、メタストア管理者か、ワークスペースに接続されているUnity Catalogメタストアの CREATE CONNECTION 権限を持つユーザーである必要があります。
• フォーリンカタログを作成するには、メタストアに対する CREATE CATALOG 権限を持ち、接続の所有者であるか、接続に対する CREATE FOREIGN CATALOG 権限を持っている必要があります。

追加の権限要件は、以下の各タスクベースのセクションに記載しています。

Salesforce 接続アプリケーションの作成

Salesforce 接続アプリケーションを使用すると、外部アプリケーションを API プロトコルと標準プロトコルを使用して Salesforce と統合できます。 このセクションでは、SSO を使用して接続アプリを作成し、Databricks が Salesforce で認証できるようにする方法について説明します。

注記

詳細な手順については、Salesforce Data 360 ドキュメントの「接続アプリケーションの作成」を参照してください。

Salesforce 接続アプリケーションを作成するには、次の手順を実行します。

1. Data 360 の右上にある [セットアップ] をクリックします。

2. [プラットフォームツール ] で、[ アプリ] > [アプリマネージャー ] をクリックします。

3. [新しい接続アプリケーション ] をクリックします。

4. [名前 ] と [Contact Eメール アドレス] を入力します。

5. OAuth 設定 を有効にします。

   1. コールバック URL を https://<databricks_instance_url>/login/oauth/salesforce.htmlの形式で入力します。たとえば、 https://cust-success.cloud.databricks.com/login/oauth/salesforce.htmlのようになります。

   2. (オプション)次のステップで SQL を使用して Databricks 接続とフォーリンカタログを作成する予定の場合、Salesforce 接続アプリケーションでリダイレクト URI https://login.salesforce.com/services/oauth2/successもサポートする必要があります。 カタログエクスプローラ を使用して [ Databricks ] 接続とフォーリンカタログを作成する予定の場合、この操作は必要ありません。 Databricks では、他の方法よりも手動の手順が少なくて済むため、カタログエクスプローラ の使用をお勧めします。

   3. 次の スコープ を追加します。

      • すべての Data 360 API リソースにアクセスする ( cdp_api )
      • API( api )によるユーザーデータの管理
      • Data 360 データに対して ANSI SQL クエリを実行する ( cdp_query_api )
      • いつでもリクエストを実行( 更新、offline_access )

   4. [ 保存 ]をクリックします。

   5. 「 続行 」をクリックします。

6. [接続アプリケーションの概要 ] ページで、[ コンシューマの詳細の管理 ] をクリックします。認証を求められます。

7. 認証が成功すると、 コンシューマキー と コンシューマシークレット が表示されます。これらの値を保存します。これらは、Databricks 接続を作成するときに必要になります。

Databricks 接続を作成する

接続では、外部データベースシステムにアクセスするためのパスと認証情報を指定します。接続を作成するには、カタログエクスプローラーを使用するか、Databricksノートブックまたは Databricks SQLクエリーエディタで CREATE CONNECTION SQLコマンドを使用できます。

注記

Databricks REST API または Databricks CLI を使用して接続を作成することもできます。 POST /api/2.1/unity-catalog/connections を参照してください。 および Unity Catalog コマンド。

必要な権限： メタストア管理者またはCREATE CONNECTION権限を持つユーザー。

Catalog Explorer

1. Databricks ワークスペースで、 カタログ をクリックします。

2. カタログ パネルの上部にあるアイコン を追加し 、メニューから 接続の作成を 選択します。

3. 接続のセットアップ ウィザードの 接続の基本 ページで、わかりやすい 接続名 を入力します。

4. Salesforce Data 360 の 接続タイプを 選択します。

5. （オプション）コメントを追加します。

6. 認証 ページで、Salesforce Data 360 の次の接続プロパティを入力します。

   • (オプション) [サンドボックス] を選択します。
   • クライアント ID : Salesforce 接続アプリケーションのコンシューマキー。
   • クライアントシークレット : Salesforce 接続アプリケーションコンシューマの秘密。
   • クライアントスコープ : cdp_api api cdp_query_api refresh_token offline_access

7. [ Salesforce でサインイン ] をクリックします。

8. (OAuth) SSO 資格情報を使用して Salesforce Data 360 にサインインするように求められます。

9. ログインに成功すると、Databricks 接続セットアップ ウィザードに戻ります。[ Salesforce でサインイン ] ボタンが Successfully authorized メッセージに置き換えられました。

10. 接続の作成 をクリックします。

11. [カタログの基本 ] ページで、フォーリンカタログの名前を入力します。フォーリンカタログは、外部データ・システム内のデータベースをミラーリングするため、 Databricks と Unity Catalogを使用して、そのデータベース内のデータへのアクセスをクエリおよび管理できます。

12. Salesforce データスペースを入力します。

13. （オプション）[ 接続をテスト ]をクリックして、動作することを確認します。

14. [ カタログを作成 ] をクリックします。

15. [ アクセス ] ページで、作成したカタログにユーザーがアクセスできるワークスペースを選択します。[ すべてのワークスペースにアクセス権がある ] を選択するか、[ ワークスペースに割り当て ] をクリックし、ワークスペースを選択して [ 割り当て] をクリックします。

16. カタログ内のすべてのオブジェクトへのアクセスを管理できる 所有者 を変更します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。

17. カタログに対する 権限を付与 します。[ 許可 ] をクリックします。

    1. カタログ内のオブジェクトにアクセスできる プリンシパル を指定します。テキスト ボックスにプリンシパルの入力を開始し、返された結果でプリンシパルをクリックします。

    2. 各プリンシパルに付与する 権限プリセット を選択します。デフォルトでは、すべてのアカウントユーザーに BROWSE が付与されます。

       • ドロップダウンメニューから「 データ閲覧者 」を選択して、カタログ内のオブジェクトに対する read 権限を付与します。
       • ドロップダウンメニューから「 データエディタ 」を選択して、カタログ内のオブジェクトに対する read 権限と modify 権限を付与します。
       • 付与する権限を手動で選択します。

    3. 付与 をクリックします。

18. 次へ をクリックします。

19. [メタデータ] ページで、タグのキーと値のペアを指定します。詳細については、「Unity Catalog セキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。

20. （オプション）コメントを追加します。

21. [ 保存 ]をクリックします。

SQL

Databricks カタログ エクスプローラを使用して接続とフォーリンカタログを作成することをお勧めします。これは、他の方法よりも手動の手順が少なくて済むためです。

SQL を使用して Databricks 接続とフォーリンカタログを作成する予定の場合、Salesforce 接続アプリケーションはリダイレクト URI https://login.salesforce.com/services/oauth2/successをサポートしている必要があります。カタログエクスプローラーを使用する場合、これは必要ありません。

1. PKCE コード検証コードとコード チャレンジ コードを生成します。これを行うには、 https://tonyxu-io.github.io/pkce-generator/または、次の Python スクリプトを実行します。

   Python

   %python
   
   import base64
   import re
   import os
   import hashlib
   
   code_verifier = base64.urlsafe_b64encode(os.urandom(40)).decode('utf-8')
   code_verifier = re.sub('[^a-zA-Z0-9]+', '', code_verifier)
   
   code_challenge = hashlib.sha256(code_verifier.encode('utf-8')).digest()
   code_challenge = base64.urlsafe_b64encode(code_challenge).decode('utf-8')
   code_challenge = code_challenge.replace('=', '')
   print(f"pkce_verifier  = \"{code_verifier}\"")
   print(f"code_challenge = \"{code_challenge}\"")

2. 次のURLにアクセスし、Salesforceの資格情報で認証して authorization_code を取得します( <client_id> と <code_challenge> をパラメーターに置き換えます)。

   https://login.salesforce.com/services/oauth2/authorize
   ?client_id=<client_id>
   &redirect_uri=https://login.salesforce.com/services/oauth2/success
   &response_type=code
   &code_challenge=<code_challenge>

   URL エンコードされた認証コードは、リダイレクトされた URL に表示されます。

3. ノートブックまたは Databricks SQL クエリ エディターで次のコマンドを実行します。

   SQL

   CREATE CONNECTION '<Connection name>' TYPE salesforce_data_cloud
   OPTIONS (
     client_id '<Consumer key from Salesforce Connected App>',
     client_secret '<Consumer secret from Salesforce Connected App>',
     pkce_verifier '<pkce_verifier from the last step>',
     authorization_code '<URL decoded `authorization_code`, should end with == instead of %3D%3D>',
     oauth_redirect_uri "https://login.salesforce.com/services/oauth2/success",
     oauth_scope "cdp_api api cdp_query_api refresh_token offline access",
     is_sandbox "false"
     );

   Databricks では、資格情報などの機密性の高い値には、プレーンテキスト文字列の代わりに Databricks シークレット を使用することをお勧めします。例えば：

   SQL

   CREATE CONNECTION '<Connection name>' TYPE salesforce_data_cloud
   OPTIONS (
     client_id secret ('<Secret scope>','<Secret key client id>'),
     client_secret secret ('<Secret scope>','<Secret key client secret>'),
     pkce_verifier '<pkce_verifier from the last step>',
     authorization_code '<URL decoded `authorization_code`, should end with == instead of %3D%3D>',
     oauth_redirect_uri "https://login.salesforce.com/services/oauth2/success",
     oauth_scope "cdp_api api cdp_query_api refresh_token offline access",
     is_sandbox "false"
     );

   シークレットの設定に関する情報については、「 シークレット管理」を参照してください。

フォーリンカタログの作成

注記

UI を使用してデータソースへの接続を作成する場合は、フォーリンカタログの作成が含まれているため、この手順をスキップできます。

フォーリンカタログは、外部データシステム内のデータベースをミラーリングするため、DatabricksとUnity Catalogを使用して、そのデータベース内のデータへのアクセスを管理できます。フォーリンカタログを作成するには、すでに定義されているデータソースへの接続を使用します。

フォーリンカタログを作成するには、カタログエクスプローラCREATE FOREIGN CATALOGSQL を使用するか、Databricks ノートブックまたは クエリSQL エディターの コマンドを使用します。Databricks REST API または Databricks CLI を使用してカタログを作成することもできます。 POST /api/2.1/unity-catalog/catalogs を参照してください。 および Unity Catalog コマンド。

必要な権限： メタストアの CREATE CATALOG 権限、接続の所有権または接続の CREATE FOREIGN CATALOG 権限。

Catalog Explorer

1. Databricks ワークスペースで、[カタログ]をクリックして カタログエクスプローラー を開きます。

2. 右上の [ カタログの作成 ] をクリックします。

3. Salesforce Data 360 カタログの次のプロパティを入力します。

   • カタログ名 : カタログのわかりやすい名前。
   • タイプ : Foreign。
   • 接続名 : カタログが作成される接続の名前。
   • データスペース : Salesforce データスペース。

4. 作成 をクリックします。

SQL

ノートブックまたはSQLクエリーエディタで次のSQLコマンドを実行します。括弧内の項目はオプションです。

SQL

CREATE FOREIGN CATALOG [IF NOT EXISTS] '<catalog-name>' USING CONNECTION '<connection-name>'
OPTIONS (dataspace '<dataspace>');

次の値を置き換えます。

• <catalog-name>:
• <connection-name>:
• <dataspace>: Salesforce データスペース。たとえば、 default.

サポートされているプッシュダウン

次のプッシュダウンがサポートされています。

• フィルター
• 予測
• 上限
• 集計
• offset
• キャスト
• 含む、開始、終了

データ型マッピング

Salesforce Data 360 から Spark に読み取る場合、データ型は次のようにマッピングされます。

Salesforce Data 360タイプ	Spark タイプ
ブール値	BooleanType
日付	DateType
日時型	TimestampType
Eメール, 電話, テキスト, URL	StringType
数、パーセント	十進数タイプ (38、18)

制限

• Databricks カタログごとに 1 つの Salesforce データ領域のみがサポートされています。
• Databricks Runtime 16.1 以前では、大文字と小文字を区別するテーブル名とスキーマ名はサポートされていません。これには、Salesforce Data 360 で大文字になっている名前が含まれます。たとえば、 MyTableはサポートされていません。