Exécuter des queries fédérées sur Salesforce Data 360

Cette page décrit comment configurer la Lakehouse Federation pour exécuter des requêtes fédérées sur les données Salesforce Data 360 qui ne sont pas gérées par Databricks. Pour en savoir plus sur Lakehouse Federation, consultez Connecter aux bases de données et catalogues externes

Pour vous connecter à votre base de données Salesforce Data 360 à l'aide de Lakehouse Federation, vous devez créer les éléments suivants dans votre metastore Databricks Unity Catalog (les Workspaces créés après le 8 novembre 2023 disposent déjà d'un metastore Unity Catalog provisionné automatiquement) :

• Une connexion à votre base de données Salesforce Data 360.
• Un catalogue externe qui reflète votre base de données Salesforce Data 360 dans Unity Catalog afin que vous puissiez utiliser la syntaxe de query de Unity Catalog et les outils de gouvernance des données pour gérer l’accès des utilisateurs Databricks à la base de données.

Quel connecteur Salesforce devrais-je utiliser ?

Databricks propose plusieurs connecteurs pour Salesforce. Il existe deux connecteurs zéro copie : le connecteur de partage de fichiers Salesforce Data 360 (anciennement Data Cloud) et le connecteur de fédération de query Salesforce Data 360. Ceux-ci vous permettent de query les données dans Salesforce Data 360 sans les déplacer. Il existe également un connecteur d’ingestion Salesforce qui copie les données de divers produits Salesforce, y compris Salesforce Data 360 et Salesforce Sales Cloud.

Le tableau suivant résume les différences entre les connecteurs Salesforce dans Databricks :

Connecteur	Cas d'usage	Produits Salesforce pris en charge
Partage de fichiers Salesforce Data 360	Lorsque vous utilisez le connecteur de partage de fichiers Salesforce Data 360 dans Lakehouse Federation, Databricks appelle directement les APIs Salesforce Data-as-a-Service (DaaS) pour lire les données dans l'emplacement de stockage d'objets cloud sous-jacent. Les requêtes sont exécutées sur le compute Databricks sans utiliser le protocole JDBC. Comparé à la fédération de query, le partage de fichiers est idéal pour fédérer une grande quantité de données. Il offre des performances améliorées pour la lecture des fichiers à partir de plusieurs sources de données et de meilleures capacités de pushdown. Voir Lakehouse Federation pour le partage de fichiers Salesforce Data 360.	Salesforce Data 360
Fédération de query Salesforce Data 360	Lorsque vous utilisez le connecteur de fédération de query Salesforce Data 360 dans Lakehouse Federation, Databricks utilise JDBC pour se connecter aux données sources et transmet les queries à Salesforce. Voir Exécuter des queries fédérées sur Salesforce Data 360.	Salesforce Data 360
Ingestion Salesforce	Le connecteur d'ingestion Salesforce dans Lakeflow Connect vous permet de créer des pipelines d'ingestion entièrement managées à partir des données de la plateforme Salesforce. Ce connecteur maximise la valeur en exploitant non seulement les données CDP, mais aussi les données CRM dans la Data Intelligence Platform. Consultez Ingérer des données depuis Salesforce.	Consultez Quels produits Salesforce le connecteur d'ingestion Salesforce prend-il en charge ?

Connecteur	Cas d'usage	Produits Salesforce pris en charge
Partage de fichiers Salesforce Data 360	Lorsque vous utilisez le connecteur de partage de fichiers Salesforce Data 360 dans Lakehouse Federation, Databricks appelle directement les APIs Salesforce Data-as-a-Service (DaaS) pour lire les données dans l'emplacement de stockage d'objets cloud sous-jacent. Les requêtes sont exécutées sur le compute Databricks sans utiliser le protocole JDBC. Comparé à la fédération de query, le partage de fichiers est idéal pour fédérer une grande quantité de données. Il offre des performances améliorées pour la lecture des fichiers à partir de plusieurs sources de données et de meilleures capacités de pushdown. Voir Lakehouse Federation pour le partage de fichiers Salesforce Data 360.	Salesforce Data 360
Fédération de query Salesforce Data 360	Lorsque vous utilisez le connecteur de fédération de query Salesforce Data 360 dans Lakehouse Federation, Databricks utilise JDBC pour se connecter aux données sources et transmet les queries à Salesforce. Voir Exécuter des queries fédérées sur Salesforce Data 360.	Salesforce Data 360
Ingestion Salesforce	Le connecteur d'ingestion Salesforce dans Lakeflow Connect vous permet de créer des pipelines d'ingestion entièrement managées à partir des données de la plateforme Salesforce. Ce connecteur maximise la valeur en exploitant non seulement les données CDP, mais aussi les données CRM dans la Data Intelligence Platform. Consultez Ingérer des données depuis Salesforce.	Consultez Quels produits Salesforce le connecteur d'ingestion Salesforce prend-il en charge ?

Avant de commencer

Exigences du Workspace :

• Workspace activé pour Unity Catalog. Les Workspace créés après le 8 novembre 2023 sont automatiquement activés pour Unity Catalog, y compris le provisionnement automatique du métastore. Vous n'avez pas besoin de créer manuellement un métastore, à moins que votre workspace ne soit antérieur à l'activation automatique et n'ait pas été activé pour Unity Catalog. Voir Se familiariser avec Unity Catalog.

Compute requis :

• Connectivité réseau de votre ressource de compute vers les systèmes de bases de données cibles. Consultez les recommandations de mise en réseau pour Lakehouse Federation.
• Le compute Databricks doit utiliser Databricks Runtime 15.2 ou version ultérieure et le mode d'accès Standard ou Dédié .
• Les SQL Warehouse doivent être pro ou Serverless et doivent utiliser la version 2024.30 ou supérieure.

Autorisations requises :

• Pour créer une connexion, vous devez être administrateur de métastore ou un utilisateur disposant du privilège CREATE CONNECTION sur le métastore Unity Catalog attaché à l'espace de travail. Dans les espaces de travail qui ont été activés automatiquement pour Unity Catalog, les administrateurs d'espace de travail disposent du privilège CREATE CONNECTION par default.
• Pour créer un catalogue externe, vous devez disposer de l'autorisation CREATE CATALOG sur le metastore et être le propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion. Dans les workspaces activés automatiquement pour Unity Catalog, les administrateurs du workspace disposent du privilège CREATE CATALOG par default.

Des exigences d'autorisation supplémentaires sont spécifiées dans chaque section basée sur les tâches qui suit.

Créer une application connectée Salesforce

Les applications connectées Salesforce permettent à une application externe de s'intégrer à Salesforce à l'aide d'APIs et de protocoles standard. Cette section décrit comment créer une application connectée à l'aide de l'authentification unique (SSO) pour permettre à Databricks de s'authentifier auprès de Salesforce.

remarque

Pour des instructions plus détaillées, consultez Créer une application connectée dans la documentation Salesforce Data 360.

Pour créer une application connectée Salesforce, procédez comme suit :

1. Dans le coin supérieur droit de Data 360, cliquez sur Setup .

2. Sous **Outils de la plateforme**, cliquez sur **Applications > Gestionnaire d'applications**.

3. Cliquez sur Nouvelle application connectée .

4. Saisissez un nom et une adresse e-mail de contact .

5. Activer les paramètres **OAuth** :

   1. Saisissez l' URL de rappel , au format suivant : https://<databricks_instance_url>/login/oauth/salesforce.html. Par exemple : https://cust-success.cloud.databricks.com/login/oauth/salesforce.html.

   2. (Facultatif) Si vous prévoyez d'utiliser SQL pour créer la connexion Databricks et le catalogue externe à l'étape suivante, votre application connectée Salesforce doit également prendre en charge l'URI de redirection https://login.salesforce.com/services/oauth2/success. Ceci n'est pas nécessaire si vous prévoyez d'utiliser Catalog Explorer pour créer la connexion Databricks et le catalogue étranger. Databricks recommande d'utiliser Catalog Explorer car cela nécessite moins d'étapes manuelles que d'autres méthodes.

   3. Ajoutez les **Périmètres** suivants :

      • Accéder à toutes les ressources de l'API Data 360 ( cdp_api )
      • Gérer les données utilisateur via les APIs ( api )
      • Effectuez des queries SQL ANSI sur les données Data 360 ( cdp_query_api ).
      • Effectuez des requêtes à tout moment (**refresh_token, offline_access**)

   4. Cliquez sur Enregistrer .

   5. Cliquez sur **Continuer**.

6. Sur la page Présentation de l'application connectée , cliquez sur Gérer les détails du consommateur . Vous serez invité(e) à vous authentifier.

7. Une fois l'authentification réussie, la clé consommateur et le secret consommateur sont révélés. Enregistrez ces valeurs. Vous en aurez besoin lorsque vous créerez une connexion Databricks.

Créer une connexion Databricks

Une connexion spécifie un chemin d'accès et des identifiants pour accéder à un système de base de données externe. Pour créer une connexion, vous pouvez utiliser Catalog Explorer ou la commande SQL CREATE CONNECTION dans un Notebook Databricks ou l'éditeur de query Databricks SQL.

remarque

Vous pouvez également utiliser l'API REST Databricks ou la CLI Databricks pour créer une connexion. Voir POST /api/2.1/unity-catalog/connections et les commandes Unity Catalog.

Autorisations requises : administrateur du Metastore ou utilisateur disposant du privilège CREATE CONNECTION.

Catalog Explorer

1. Dans votre workspace Databricks, cliquez sur Catalogue .

2. En haut du volet **Catalogue**, cliquez sur l'icône **Ajouter** et sélectionnez **Créer une connexion** dans le menu.

3. Sur la page **Principes de base de la connexion** de l’assistant **Configurer la connexion**, saisissez un **Nom de connexion** convivial.

4. Sélectionnez un type de connexion Salesforce Data 360 .

5. Ajouter un commentaire (facultatif).

6. Sur la page **Authentification**, saisissez les propriétés de connexion suivantes pour votre Salesforce Data 360 :

   • (Facultatif) Sélectionnez **Est un sandbox**.
   • ID client : clé consommateur de l'application connectée Salesforce.
   • Secret du client : secret consommateur de l'application connectée Salesforce.
   • Champ d'application du client : cdp_api api cdp_query_api refresh_token offline_access

7. Cliquez sur Se connecter avec Salesforce .

8. (OAuth) Vous êtes invité(e) à vous connecter à Salesforce Data 360 à l'aide de vos identifiants SSO.

9. Après une connexion réussie, vous êtes redirigé vers l'assistant Configurer la connexion de Databricks. Le bouton Se connecter avec Salesforce a été remplacé par un message Successfully authorized.

10. Cliquez sur Créer une connexion .

11. Sur la page **Bases du catalogue**, veuillez saisir un nom pour le catalogue étranger. Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez query et gérer l'accès aux données de cette base de données à l'aide de Databricks et de Unity Catalog.

12. Saisissez l'espace de données Salesforce.

13. (Facultatif) Cliquez sur **Tester la connexion** pour confirmer que cela fonctionne.

14. Cliquez sur **Créer un catalogue**.

15. Sur la page Accès , sélectionnez les workspaces dans lesquels les utilisateurs peuvent accéder au catalogue que vous avez créé. Vous pouvez sélectionner Tous les workspaces ont accès , ou cliquer sur Attribuer aux workspaces , sélectionner les workspaces, puis cliquer sur Attribuer .

16. Modifiez le propriétaire qui pourra gérer l'accès à tous les objets du catalogue. start à taper un principal dans la zone de texte, puis cliquez sur le principal dans les résultats renvoyés.

17. Accordez les **Privilèges** sur le catalogue. Cliquez sur Accorder :

    1. Spécifiez les **principals** qui auront accès aux objets dans le catalogue. start à taper un principal dans la zone de texte, puis cliquez sur le principal dans les résultats renvoyés.

    2. Sélectionnez les **Préréglages de privilèges** à accorder à chaque principal. Tous les utilisateurs du compte se voient accorder BROWSE par default.

       • Sélectionnez Data Reader dans le menu déroulant pour accorder read privilèges sur les objets du catalogue.
       • Sélectionnez **Data Editor** dans le menu déroulant pour accorder read les modify privilèges et sur les objets du catalogue.
       • Sélectionnez manuellement les privilèges à octroyer.

    3. Cliquez sur Accorder .

18. Cliquez sur Suivant .

19. Sur la page Métadonnées , spécifiez les paires clé-valeur de balises. Pour plus d'informations, consultez Appliquer des balises aux objets sécurisables d'Unity Catalog.

20. Ajouter un commentaire (facultatif).

21. Cliquez sur Enregistrer .

SQL

Databricks recommande d'utiliser l'Explorateur de catalogues pour créer la connexion et le catalogue étranger, car cela nécessite moins d'étapes manuelles que d'autres méthodes.

Si vous prévoyez d'utiliser SQL pour créer la connexion Databricks et le catalogue étranger, votre application connectée Salesforce doit prendre en charge l'URI de redirection https://login.salesforce.com/services/oauth2/success. Ceci n'est pas nécessaire si vous utilisez l'Explorateur de catalogue.

1. Générez le vérificateur de code PKCE et les codes de défi de code. Vous pouvez le faire en utilisant un outil en ligne tel que https://tonyxu-io.github.io/pkce-generator/ ou en exécutant le script Python suivant :

   Python

   %python
   
   import base64
   import re
   import os
   import hashlib
   
   code_verifier = base64.urlsafe_b64encode(os.urandom(40)).decode('utf-8')
   code_verifier = re.sub('[^a-zA-Z0-9]+', '', code_verifier)
   
   code_challenge = hashlib.sha256(code_verifier.encode('utf-8')).digest()
   code_challenge = base64.urlsafe_b64encode(code_challenge).decode('utf-8')
   code_challenge = code_challenge.replace('=', '')
   print(f"pkce_verifier  = \"{code_verifier}\"")
   print(f"code_challenge = \"{code_challenge}\"")

2. Consultez l'URL suivante et authentifiez-vous avec vos identifiants Salesforce pour obtenir le authorization_code (remplacez <client_id> et <code_challenge> par vos paramètres).

   https://login.salesforce.com/services/oauth2/authorize
   ?client_id=<client_id>
   &redirect_uri=https://login.salesforce.com/services/oauth2/success
   &response_type=code
   &code_challenge=<code_challenge>

   Un code d'autorisation codé en URL est visible dans l'URL redirigée.

3. Exécutez ce qui suit dans un Notebook ou l'éditeur de query Databricks SQL :

   SQL

   CREATE CONNECTION '<Connection name>' TYPE salesforce_data_cloud
   OPTIONS (
     client_id '<Consumer key from Salesforce Connected App>',
     client_secret '<Consumer secret from Salesforce Connected App>',
     pkce_verifier '<pkce_verifier from the last step>',
     authorization_code '<URL decoded `authorization_code`, should end with == instead of %3D%3D>',
     oauth_redirect_uri "https://login.salesforce.com/services/oauth2/success",
     oauth_scope "cdp_api api cdp_query_api refresh_token offline access",
     is_sandbox "false"
     );

   Databricks vous recommande d'utiliser les secrets Databricks au lieu de chaînes de texte brut pour les valeurs sensibles comme les identifiants. Par exemple :

   SQL

   CREATE CONNECTION '<Connection name>' TYPE salesforce_data_cloud
   OPTIONS (
     client_id secret ('<Secret scope>','<Secret key client id>'),
     client_secret secret ('<Secret scope>','<Secret key client secret>'),
     pkce_verifier '<pkce_verifier from the last step>',
     authorization_code '<URL decoded `authorization_code`, should end with == instead of %3D%3D>',
     oauth_redirect_uri "https://login.salesforce.com/services/oauth2/success",
     oauth_scope "cdp_api api cdp_query_api refresh_token offline access",
     is_sandbox "false"
     );

   Pour en savoir plus sur la configuration des secrets, consultez la gestion des secrets.

Créer un catalogue étranger

remarque

Si vous utilisez l’interface utilisateur pour créer une connexion à la source de données, la création du catalogue externe est incluse et vous pouvez ignorer cette étape.

Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez query et gérer l'accès aux données dans cette base de données à l'aide de Databricks et d'Unity Catalog. Pour créer un catalogue étranger, vous utilisez une connexion à la source de données qui a déjà été définie.

Pour créer un catalogue externe, vous pouvez utiliser l'Explorateur de catalogues ou la commande SQL CREATE FOREIGN CATALOG dans un Notebook Databricks ou l'éditeur de query SQL. Vous pouvez également utiliser l'API REST Databricks ou la CLI Databricks pour créer un catalogue. Voir POST /api/2.1/unity-catalog/catalogs et commandes Unity Catalog.

Autorisations requises : autorisation CREATE CATALOG sur le metastore et soit la propriété de la connexion, soit le privilège CREATE FOREIGN CATALOG sur la connexion.

Catalog Explorer

1. Dans votre Workspace Databricks, cliquez sur **Catalogue** pour ouvrir l’Explorateur de catalogues.

2. En haut à droite, cliquez sur Créer un catalogue .

3. Saisissez les propriétés suivantes pour votre catalogue Salesforce Data 360.

   • Nom du catalogue : Un nom convivial pour le catalogue.
   • Type : Foreign.
   • Nom de la connexion : le nom de la connexion sur laquelle le catalogue sera créé.
   • Dataspace : un espace de données Salesforce.

4. Cliquez sur Créer .

SQL

Exécutez la commande SQL suivante dans un Notebook ou dans l'éditeur de query SQL. Les éléments entre crochets sont facultatifs.

SQL

CREATE FOREIGN CATALOG [IF NOT EXISTS] '<catalog-name>' USING CONNECTION '<connection-name>'
OPTIONS (dataspace '<dataspace>');

Remplacez les valeurs suivantes :

• <catalog-name>:
• <connection-name>:
• <dataspace>: Espace de données Salesforce. Par exemple, default.

Pushdowns pris en charge

Le tableau suivant répertorie les opérations de pushdown prises en charge pour Salesforce Data 360, ainsi que le compute requis pour chacune.

Pushdown	Compute pris en charge
Agrégats	All compute
Opérateurs arithmétiques (tels que +, -, *, %, /) — non pris en charge si le mode ANSI est désactivé	All compute
Opérateurs booléens (tels que =, <=>, <, <=, >, >=)	All compute
Contient, Commence par, Se termine par	All compute
Filtres	All compute
Limite	All compute
Fonctions mathématiques (SIN, COS — prise en charge partielle, expressions de filtre uniquement)	All compute
Fonctions diverses (Cast — prise en charge partielle, expressions de filtre uniquement)	All compute
Décalage	All compute
Projections	All compute
Tri, lorsqu'il est utilisé avec une limite	All compute
Jointures	Non pris en charge
Fonctions de fenêtre	Non pris en charge

Pushdown	Compute pris en charge
Agrégats	All compute
Opérateurs arithmétiques (tels que +, -, *, %, /) — non pris en charge si le mode ANSI est désactivé	All compute
Opérateurs booléens (tels que =, <=>, <, <=, >, >=)	All compute
Contient, Commence par, Se termine par	All compute
Filtres	All compute
Limite	All compute
Fonctions mathématiques (SIN, COS — prise en charge partielle, expressions de filtre uniquement)	All compute
Fonctions diverses (Cast — prise en charge partielle, expressions de filtre uniquement)	All compute
Décalage	All compute
Projections	All compute
Tri, lorsqu'il est utilisé avec une limite	All compute
Jointures	Non pris en charge
Fonctions de fenêtre	Non pris en charge

Mappages des types de données

Lorsque vous lisez des données de Salesforce Data 360 vers Spark, les types de données se mappent comme suit :

Type de données Salesforce 360	Type Spark
Boolean	BooleanType
Date	DateType
Datetime	TimestampType
Email, Phone, Text, Url	StringType
Number, Percent	DecimalType(38, 18)

Type de données Salesforce 360	Type Spark
Boolean	BooleanType
Date	DateType
Datetime	TimestampType
Email, Phone, Text, Url	StringType
Number, Percent	DecimalType(38, 18)

Limitations

• Un seul espace de données Salesforce par catalogue Databricks est pris en charge.
• Dans Databricks Runtime 16.1 et les versions antérieures, les noms de table et de schéma sensibles à la casse ne sont pas pris en charge. Cela inclut les noms qui contiennent des majuscules sur Salesforce Data 360. Par exemple, MyTable n'est pas pris en charge.