Accéder aux données partagées avec vous à l'aide d'OpenSharing (pour les destinataires)
Cette page explique comment accéder aux données qui ont été partagées avec vous à l'aide d'OpenSharing. OpenSharing prend en charge plusieurs modèles de partage :
- Partage Databricks-to-Databricks, pour les utilisateurs de workspace Databricks avec Unity Catalog
- Partage de Databricks à Open, pour tout destinataire utilisant n'importe quel outil
- Partage ouvert vers Databricks, pour les fournisseurs utilisant le protocole open source OpenSharing pour le partage avec les destinataires utilisant Databricks
OpenSharing et les destinataires de données
OpenSharing est un standard ouvert pour le Data Sharing sécurisé. Un utilisateur Databricks, désigné comme fournisseur de données dans ce contexte, peut utiliser OpenSharing sur Databricks pour partager des données avec une personne ou un groupe en dehors de son organisation, appelé destinataire de données .
Protocoles de partage
La façon dont vous accédez aux données dépend de si vous êtes vous-même un utilisateur Databricks et si votre fournisseur de données a configuré les données partagées avec vous pour le partage Databricks-to-Databricks , Databricks-to-Open , ou Open-to-Databricks .
Dans le modèle Databricks-to-Databricks , vous devez être un utilisateur sur un Workspace Databricks activé pour Unity Catalog. Un membre de votre équipe fournit au fournisseur de données un identifiant unique pour votre métastore Unity Catalog, et le fournisseur de données l'utilise pour créer une connexion de partage sécurisée. Les données partagées sont disponibles pour consultation dans votre Workspace. Si nécessaire, un membre de votre équipe configure un contrôle d'accès granulaire sur ces données.
Dans le modèle de partage Databricks vers Open , vous pouvez utiliser n'importe quel outil de votre choix (y compris Databricks) pour accéder aux données partagées. Le fournisseur de données vous envoie une URL d'activation ou un Link de portail sur un Canal de distribution sécurisé. Vous le suivez pour download un fichier d'informations d'identification ou une URL qui vous permet d'accéder aux données partagées avec vous.
Les données partagées ne sont pas fournies directement par Databricks, mais par des fournisseurs de données exécutés sur Databricks.
Dans le modèle Open-to-Databricks , vous pouvez utiliser Databricks pour accéder aux données partagées par un fournisseur de données via le protocole open source OpenSharing. Votre fournisseur de données vous envoie un fichier d'identifiants via un canal sécurisé que vous uploadez vers Databricks. En utilisant l'Explorateur de catalogues ou un notebook, vous pouvez accéder aux données partagées avec vous.
Databricks peut collecter des informations sur l'utilisation et l'accès des destinataires des données aux données partagées (y compris l'identification de toute personne ou entreprise qui accède aux données en utilisant le fichier d'identification en relation avec ces informations) et peut les partager avec le fournisseur de données applicable.
Accéder aux données partagées avec vous
La façon dont vous accédez aux données dépend du protocole de partage utilisé par votre fournisseur.
Obtenir l'accès dans le modèle Databricks-to-Databricks
Utilisez les endpoints de passerelle Virtual Private Cloud (VPC) ou les endpoints d'interface pour S3 au lieu des passerelles NAT pour l'accès au stockage dans la région chaque fois que possible afin de réduire les coûts et d'améliorer la sécurité.
Dans le modèle Databricks-to-Databricks :
-
Le fournisseur de données vous envoie des instructions pour trouver un identifiant unique pour le métastore Unity Catalog associé à votre workspace Databricks, et vous le leur envoyez.
L'identifiant de partage est une chaîne composée du cloud, de la région et de l'UUID (l'identifiant unique du metastore) du metastore, au format
<cloud>:<region>:<uuid>. Par exemple,aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.Pour obtenir l'identifiant de partage à l'aide de l'Explorateur de catalogues :
-
Dans votre workspace Databricks, cliquez sur
Catalogue . -
En haut du volet Catalog , cliquez sur l'icône en forme d'engrenage
et sélectionnez OpenSharing .Sinon, dans le coin supérieur droit, cliquez sur **Partager > OpenSharing**.
-
Dans l'onglet **Partagé avec moi**, sélectionnez le nom de votre organisation de partage Databricks en haut à droite, et sélectionnez **Copier l'identifiant de partage**.
Pour obtenir l'identifiant de partage à l'aide d'un notebook ou d'une query Databricks SQL, utilisez la fonction SQL par défaut
CURRENT_METASTORE. Si vous utilisez un Notebook, il doit s'exécuter sur un mode d'accès standard ou dédié dans le workspace que vous utiliserez pour accéder aux données partagées.SQLSELECT CURRENT_METASTORE(); -
-
Le fournisseur de données crée :
- Un destinataire dans votre compte Databricks pour vous représenter, vous et les utilisateurs de votre organisation qui accèderont aux données.
- Un *partage*, qui est une représentation des tables, des volumes et des vues à partager avec vous.
-
Vous accédez aux données partagées avec vous. Vous ou un membre de votre équipe pouvez, si nécessaire, configurer un accès granulaire aux données pour vos utilisateurs sur ces données. Voir lire les données partagées à l'aide de Databricks-to-Databricks OpenSharing (pour les destinataires).
Obtenir l'accès dans le modèle de partage Databricks-to-Open
Dans le modèle de partage Databricks-vers-OpenSharing :
-
Le fournisseur de données crée :
- Un destinataire dans votre compte Databricks pour vous représenter, vous et les utilisateurs de votre organisation qui accèderont aux données.
- Un partage , qui est une représentation des tables et des partitions à partager avec vous.
-
Le fournisseur de données vous envoie soit une URL d'activation (sur un canal sécurisé) soit une URL de portail. Vous le suivez pour download un fichier d'identifiants ou une URL qui vous permet d'accéder aux données partagées avec vous.
Les jetons porteurs et les informations d'identification du client OAuth sont tous deux pris en charge.
Ne partagez le Link d'activation avec personne. Vous ne pouvez download un fichier d'identification qu'une seule fois. Si vous visitez à nouveau le link d'activation après que le fichier d'identification a déjà été downloaded, le bouton Download le fichier d'identifiants est désactivé.
Si vous perdez le Link d'activation avant de l'utiliser, contactez le fournisseur de données. 3. Stockez le fichier d’identifiants dans un emplacement sécurisé.
Ne partagez pas le fichier d'identifiants avec quiconque en dehors du groupe d'utilisateurs qui devraient avoir accès aux données partagées. Si vous devez le partager avec quelqu'un de votre organisation, Databricks vous recommande d'utiliser un gestionnaire de mots de passe.
Obtenez l'accès au modèle Open-to-Databricks.
Dans le modèle Open-to-Databricks :
-
Le fournisseur de données utilise le protocole OpenSharing open source pour créer des partages et ajouter des assets au partage.
-
Le fournisseur de données vous envoie soit une URL d'activation (sur un canal sécurisé) soit une URL de portail. Vous le suivez pour download un fichier d'identifiants ou une URL qui vous permet d'accéder aux données partagées avec vous.
Les jetons porteurs et les informations d'identification du client OAuth sont tous deux pris en charge.
Ne partagez le Link d'activation avec personne. Vous ne pouvez download un fichier d'identification qu'une seule fois. Si vous visitez à nouveau le link d'activation après que le fichier d'identification a déjà été downloaded, le bouton Download le fichier d'identifiants est désactivé.
Si vous perdez le Link d'activation avant de l'utiliser, contactez le fournisseur de données. 3. Stockez le fichier d'identifiants sur votre Databricks Workspace.
Ne partagez pas le fichier d'identifiants avec quiconque en dehors du groupe d'utilisateurs qui devraient avoir accès aux données partagées.
Lire les données partagées
La manière dont vous lisez les données qui vous ont été partagées en toute sécurité à l'aide d'OpenSharing dépend de si vous avez reçu un fichier d'informations d'identification ou si vous utilisez un workspace Databricks et que vous avez fourni au fournisseur de données votre identifiant de partage (le modèle Databricks-to-Databricks).
Si vous recevez une erreur indiquant qu'un asset de données n'existe pas lorsque vous essayez de lire vos partages, consultez Erreur « asset de données introuvable ».
Lire les données partagées à l'aide d'un fichier d'identification (partage de Databricks à Open ou d'Open à Databricks)
Si des données vous ont été partagées à l’aide de jetons d’authentification, utilisez le fichier d’identifiants que vous avez téléchargé pour vous authentifier auprès du compte du fournisseur de données et lire les données partagées. L’accès persiste tant que le jeton sous-jacent est valide et que le fournisseur continue de partager les données. Les fournisseurs gèrent l’expiration et la rotation des jetons. Les jetons sont valides pour un maximum d'un an après la création. Les mises à jour des données vous sont disponibles en quasi temps réel. Vous pouvez lire et faire des copies des données partagées, mais vous ne pouvez pas modifier les données source.
Pour utiliser Databricks afin d'accéder et de lire les données partagées, consultez Importer un fournisseur et lire les données partagées dans Databricks.
Pour utiliser Apache Spark, Pandas et Power BI pour accéder et lire les données partagées, veuillez consulter Lire les données partagées avec des jetons de porteur.
Lire les données partagées à l'aide d'une fédération OIDC (partage Databricks-Open)
Si des données ont été partagées avec vous à l’aide du protocole de partage Databricks-to-Open avec fédération OIDC, vous utilisez l’URL qui vous a été envoyée pour vous authentifier auprès du compte du fournisseur de données et lire les données partagées. L'accès persiste tant que le fournisseur continue de partager les données. Les mises à jour des données sont disponibles pour vous en quasi-temps réel. Vous pouvez lire et créer des copies des données partagées, mais vous ne pouvez pas modifier les données sources.
Pour savoir comment accéder et lire des données partagées à l'aide du flux de fédération de jetons OIDC dans Tableau et Power BI, consultez Lire les données partagées à l'aide de la fédération Open ID Connect (OIDC) dans un flux U2M. Pour savoir comment accéder et lire des données partagées à l'aide du flux de fédération de jetons OIDC dans une application cliente Python, consultez Lire les données partagées à l'aide de la fédération Open ID Connect (OIDC) dans un flux M2M.
Lire les données partagées à l'aide du partage Databricks-to-Databricks
Si des données ont été partagées avec vous à l’aide du modèle Databricks-to-Databricks, alors aucun fichier d’identifiants n’est requis pour accéder aux données partagées. Databricks se charge de la connexion sécurisée, et les données partagées sont automatiquement détectables dans votre Workspace Databricks.
Pour savoir comment trouver, lire et gérer ces données partagées dans votre Databricks Workspace, consultez Lire les données partagées via Databricks-to-Databricks OpenSharing (pour les destinataires).
Audit de l'utilisation des données partagées
Si vous avez accès à un Workspace Databricks, vous pouvez utiliser les logs d'audit Databricks pour comprendre qui, au sein de votre organisation, accède à quelles données à l'aide d'OpenSharing. Voir Auditer et suivre le Data Sharing.