Partager des données derrière un pare-feu avec SecureConnect
Aperçu
Cette fonctionnalité est en aperçu public.
Cette page décrit comment les fournisseurs configurent OpenSharing SecureConnect pour partager des données depuis le stockage cloud qui se trouve derrière un pare-feu ou un Endpoint privé, sans avoir besoin de mettre en liste blanche le réseau de chaque destinataire.
Fonctionnement de SecureConnect
Avant d'activer SecureConnect sur un compte Databricks, un fournisseur effectue une configuration unique. Cette configuration permet aux destinataires Databricks d'accéder au stockage du fournisseur derrière un pare-feu ou un endpoint privé. Databricks achemine ensuite les requêtes des destinataires via un proxy géré, de sorte que le fournisseur n'a pas besoin de mettre à jour son pare-feu de stockage lors de l'ajout d'un nouveau destinataire.
Les destinataires accèdent aux données partagées en utilisant leur configuration OpenSharing existante :
- Les destinataires Databricks accèdent aux partages sur le compute serverless sans modification du pare-feu par fournisseur.
- Les destinataires Databricks sur compute classique et les destinataires ouverts mettent sur liste blanche un ensemble unique d'adresses IP du plan de contrôle Databricks pour la région du fournisseur.
Sans SecureConnect, un fournisseur doit ajouter l'identifiant réseau de chaque destinataire à son pare-feu de stockage, en coordination avec le destinataire et un administrateur de plateforme cloud pour chaque nouveau destinataire.
Exigences
- L'aperçu **OpenSharing SecureConnect** dans la **Console du compte** doit être activé. Consultez Gérer les aperçus Databricks.
Configurez SecureConnect en tant que fournisseur
La configuration de SecureConnect implique la configuration de votre pare-feu de stockage pour autoriser l'accès et l'activation de SecureConnect pour vos métastores et vos destinataires.
Étape 1 : Configurez votre pare-feu de stockage
Les instructions suivantes supposent que vos assets partagés et le métastore fournisseur se trouvent dans la même région. Pour réduire les coûts réseau, maintenez la région de vos assets partagés identique à celle de la région de votre métastore fournisseur.
SecureConnect accède à votre stockage via le plan de données Serverless. Suivez l'une des options de configuration suivantes, selon que votre stockage se trouve sur un réseau public ou privé.
Option 1 : Stockage sur un réseau public
Utilisez cette option si votre stockage est accessible via le réseau public. Si votre stockage est derrière un Endpoint privé, consultez la section suivante.
Configurez les politiques de vos compartiments S3 pour inclure le chemin d'accès d'organisation VPCE. Consultez Configurer l’accès au bucket S3 à l’aide de VPCE OrgPath.
Option 2 : Stockage sur un réseau privé
Utilisez cette option si votre stockage partagé se trouve derrière un endpoint privé et n'est pas accessible depuis le réseau public.
Un administrateur de compte doit configurer une configuration de connectivité réseau (NCC) et l’attacher au métastore qui héberge vos données partagées. Pour en savoir plus sur les NCC, consultez Qu'est-ce qu'une configuration de la connectivité réseau (NCC) ?.
Un NCC attaché à un workspace ne peut pas être attaché à un metastore. Un NCC appliqué à un metastore pour OpenSharing s'applique à tous les partages attachés au metastore.
AWS PrivateLink pour S3 n'est pas compatible avec les Endpoint FIPS, que Databricks utilise par default dans toutes les régions des États-Unis. Si le métastore de votre fournisseur se trouve dans une région des États-Unis, contactez l'équipe de votre compte Databricks.
Pour plus d'informations, consultez la documentation AWS.
Créez une NCC et une règle d'Endpoint privé pour votre compartiment S3 mais n'attachez pas la NCC à un Workspace. Voir Configurer la connectivité privée aux ressources gérées par AWS pour la configuration de la NCC et de PrivateLink.
Attachez le NCC à votre metastore OpenSharing :
- En tant qu'administrateur de compte Databricks, rendez-vous sur la console du compte.
- Dans la barre latérale, cliquez sur
Catalogue . - Cliquez sur le nom du métastore OpenSharing pour ouvrir ses détails.
- Sous Configuration de la connectivité réseau OpenSharing (NCC) , cliquez sur Modifier .
- Recherchez et sélectionnez la NCC que vous avez créée pour OpenSharing.
- Cliquez sur Enregistrer .
Si vous ne parvenez pas à joindre une NCC à un metastore, contactez votre équipe de compte Databricks pour activer la connectivité privée pour OpenSharing SecureConnect à l'aide d'une NCC.
Étape 2 : Activer SecureConnect sur un metastore
Un administrateur de metastore peut configurer le metastore afin que les nouveaux destinataires utilisent automatiquement SecureConnect. By default, les destinataires nouveaux et existants ne sont pas inscrits à SecureConnect. Vous devez configurer les destinataires existants séparément. Voir Étape 3 : activer SecureConnect pour les destinataires individuels.
Pour activer SecureConnect sur un metastore :
-
Dans votre Workspace Databricks, cliquez sur
**Catalogue** pour ouvrir l’Explorateur de catalogues. -
En haut du volet Catalog , cliquez sur l'icône en forme d'engrenage
et sélectionnez OpenSharing .Sinon, dans le coin supérieur droit, cliquez sur **Partager > OpenSharing**.
-
Cliquez sur Paramètres dans le coin supérieur droit.
-
Activez le paramètre pour Activer SecureConnect pour les nouveaux destinataires .
-
Cliquez sur Enregistrer .
Étape 3 : activer SecureConnect pour les destinataires individuels
Les propriétaires de destinataires et les utilisateurs disposant du privilège USE_RECIPIENT activent ou désactivent SecureConnect pour chaque destinataire. SecureConnect est désactivé par default sur un destinataire, sauf si le metastore a été configuré pour l'activer pour tous les nouveaux destinataires lors de la création du destinataire.
Pour configurer SecureConnect sur un destinataire :
-
Dans votre workspace Databricks, cliquez sur
Catalogue . -
En haut du volet Catalog , cliquez sur l'icône en forme d'engrenage
et sélectionnez OpenSharing .Sinon, dans le coin supérieur droit, cliquez sur **Partager > OpenSharing**.
-
Sous l'onglet Partagé par moi , cliquez sur le tab Destinataires.
-
Activez SecureConnect pour chaque destinataire souhaité.
(Facultatif) Étape 4 : Restreindre l'accès des destinataires ouverts avec les ACL IP
Pour les destinataires ouverts, vous pouvez restreindre les adresses IP des clients autorisées à atteindre SecureConnect en utilisant des listes d'accès IP. Les listes de contrôle d'accès IP s'appliquent uniquement aux destinataires ouverts.
Avec SecureConnect, les listes de contrôle d'accès IP s'appliquent à l'accès aux Endpoint OpenSharing et à l'accès au stockage. Sans SecureConnect, les ACL IP restreignent uniquement l'accès aux Endpoint OpenSharing ; les URL de stockage restent accessibles depuis n'importe quelle adresse IP client.
Pour les instructions de configuration, consultez Restreindre l'accès des destinataires OpenSharing à l'aide de listes d'accès IP (Databricks-to-Open sharing).
Les modifications d'ACL IP pour les destinataires ouverts SecureConnect peuvent prendre jusqu'à 10 minutes pour prendre effet.
Scénarios de partage pris en charge
Toute fonctionnalité non prise en charge recourt à l'accès direct du compute du destinataire au stockage. Le fournisseur doit accorder manuellement l'accès aux adresses IP des destinataires dans son pare-feu de stockage. Consultez Qu'est-ce que le protocole OpenSharing Databricks-to-Databricks ? ou Qu'est-ce que le protocole de partage Databricks-to-Open ?.
SecureConnect prend en charge le partage vers AWS, Azure et GCP.
mTLS vers SecureConnect est pris en charge uniquement pour les clusters destinataires Serverless.
Prise en charge des fonctionnalités
Fonctionnalité | D2O (jeton) | D2O (OIDC)* | D2O (Iceberg) | D2D (serverless) | D2D (Classique) |
|---|---|---|---|---|---|
Tables avec historique et sans partitions | ✓ | ✓ | ✗ | ✓ ** | ✓ ** |
Tables sans historique ou avec partitions | ✓ | ✓ | ✗ | ✓ | ✓ |
Vues | ✓ | ✓ | ✗ | ✓ *** | ✓ |
Tables étrangères | ✓ | ✓ | ✗ | ✓ | ✓ |
Vues matérialisées | ✓ | ✓ | ✗ | ✓ *** | ✓ |
Tables de streaming | ✓ | ✓ | ✗ | ✓ *** | ✓ |
Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
Modèles d'IA | ✗ | ✗ | ✗ | ✗ | ✗ |
* Le partage OIDC ne fonctionne pas actuellement lorsque le destinataire est également sur Databricks.
L'optimisation des jetons cloud n'est pas disponible pour SecureConnect.
*** Ces assets sont matérialisés et filtrés côté fournisseur. Voir Les destinataires ont-ils un accès direct aux données sous-jacentes dans les vues partagées, les vues matérialisées et les tables de streaming ?.
Limitations
-
Vos assets ne peuvent pas être sauvegardés par le stockage Cloudflare R2.
-
SecureConnect n'est pas disponible sur AWS GovCloud.
-
AWS PrivateLink pour S3 n'est pas compatible avec les Endpoint FIPS, que Databricks utilise par default dans toutes les régions des États-Unis. Si vous utilisez SecureConnect avec PrivateLink dans une région américaine, contactez votre équipe de compte Databricks.
Pour les limitations côté destinataire, telles que la prise en charge mTLS et les restrictions de partage de Databricks à Open, voir Limitations.
Facturation
Les fournisseurs sont facturés pour le transfert de données via SecureConnect. Consultez les tarifs de transfert et de connectivité des données.
L'utilisation par destinataire est attribuée via le champ recipient_id dans la table système de facturation, afin que les fournisseurs puissent ventiler l'utilisation facturable de SecureConnect par destinataire. Consultez la référence de la table système d'utilisation facturable.
La query suivante renvoie le SecureConnect d'égression des données (en Go) pour chaque destinataire au cours des 7 derniers jours :
SELECT
usage_records.usage_metadata.recipient_id,
SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
usage_records.billing_origin_product = 'NETWORKING'
AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
usage_records.usage_metadata.recipient_id
ORDER BY
total_usage_gb DESC
Pour convertir l'utilisation en coût, joignez la table système des tarifs. Consultez la référence de la table système des tarifs.