Aller au contenu principal
Page non répertoriée
Cette page n'est pas répertoriée. Les moteurs de recherche ne l'indexeront pas, et seuls les utilisateurs ayant un lien direct peuvent y accéder.
Dernière mise à jour le

Configurer une connectivité privée aux API Google

info

Aperçu

Cette fonctionnalité est en version bêta. Pour rejoindre cette version bêta, contactez l'équipe de votre compte Databricks.

remarque

Il n’y a actuellement aucuns frais réseau pour les fonctionnalités serverless. Dans une version ultérieure, des frais pourraient vous être facturés. Databricks fournira un préavis pour les modifications des tarifs réseau.

Voir Comprendre les coûts de mise en réseau Databricks.

Le compute serverless peut se connecter de manière privée aux APIs Google, telles que Cloud Storage et BigQuery, en utilisant GCP Private Service Connect (PSC). Vous configurez cette connexion dans la console de compte Databricks.

La configuration d'une connectivité privée pour le compute serverless permet de :

  • Une connexion dédiée et privée : l’endpoint privé est dédié à votre compte Databricks et accessible uniquement depuis vos workspaces autorisés.
  • Atténuation améliorée de l’exfiltration de données : le compute serverless avec Unity Catalog fournit une protection intégrée contre l’exfiltration de données. Private Service Connect ajoute un contrôle au niveau de la couche réseau : vous pouvez ajouter votre endpoint PSC dédié à la liste d’autorisation dans votre périmètre VPC Service Controls afin que seul le trafic provenant de cet endpoint puisse atteindre vos ressources API Google.

Fonctionnement de la connectivité privée aux Google APIs​

La connectivité réseau Serverless est gérée avec des configurations de connectivité réseau (NCC). Un administrateur de compte crée une NCC dans la console de compte, et une seule NCC peut être attachée à un ou plusieurs workspaces.

Lorsque vous ajoutez une règle d’endpoint privé ciblant des APIs Google, Databricks effectue le provisionnement d’un endpoint Private Service Connect depuis le plan de compute serverless vers les APIs Google que vous spécifiez. Databricks renvoie ensuite un URI d’endpoint PSC pour la règle. Vous ajoutez cet URI à votre périmètre VPC Service Controls en tant que règle d’entrée, puis activez la règle afin que le trafic serverless vers ces APIs Google soit acheminé via l’infrastructure Google Cloud au lieu de l’Internet public.

Pour plus d’informations sur les NCC, consultez Réseau de plan de compute serverless.

Exigences​

  • Tous les workspaces joints à la NCC utilisent le forfait Entreprise.
  • Vous êtes administrateur de votre compte Databricks.
  • Vous avez au moins un workspace actif utilisant le compute serverless.
  • Cette fonctionnalité est disponible dans les régions Google Cloud où le compute serverless est activé. Voir Fonctionnalités avec une disponibilité régionale limitée. Un NCC est un objet régional, et vous ne pouvez le joindre qu'à des workspaces situés dans la même région.
  • Il n’existe aucune prise en charge de l’automatisation Terraform pour l’endpoint privé des APIs Google.

Chaque compte Databricks dispose des quotas suivants sur Google Cloud :

  • Chaque NCC peut être joint à un maximum de 50 workspaces.
  • Chaque compte peut avoir jusqu’à 10 NCC par région.
  • Chaque région peut avoir jusqu'à 10 Endpoint privés, répartis selon vos besoins entre vos NCC.

Activer l’aperçu​

  1. Contactez l’équipe chargée de votre compte pour demander l’accès à l’aperçu. L’équipe chargée de votre compte dépose un ticket pour approbation. La mise en liste d’autorisation peut prendre jusqu’à sept jours.
  2. Une fois votre compte ajouté à la liste des autorisations, accédez à la console du compte, sélectionnez Pre-views dans la barre latérale, et activez Outbound (serverless) GCP Private Link to Google APIs .

Configurer la connectivité privée​

Configurez la connectivité privée aux APIs Google à l'aide de la console de compte.

Créer une configuration de la connectivité réseau​

Vous pouvez ignorer cette étape si vous disposez d'une NCC existante dans la même région que vous souhaitez utiliser.

  1. En tant qu'administrateur de compte, accédez à la console du compte.
  2. Dans la barre latérale, cliquez sur Sécurité .
  3. Cliquez sur l’onglet tab .
  4. Sous Configurations de la connectivité réseau , cliquez sur Ajouter une configuration de la connectivité réseau .
  5. Saisissez un nom pour la NCC.
  6. Sélectionnez la région. Ceci doit correspondre à la région de votre Workspace.
  7. Cliquez sur Ajouter .

Créer une règle d'endpoint privé vers les APIs Google​

  1. Sélectionnez la NCC que vous avez créée et accédez à la section Private endpoint rules .

  2. Cliquez sur Ajouter une règle d'endpoint privé .

  3. Sélectionnez Google API comme type de ressource.

  4. Choisissez les APIs Google à cibler :

    • Sélectionnez des API Google spécifiques, telles que Cloud Storage ou BigQuery .
    • Ou sélectionnez All Google APIs pour créer une règle fourre-tout pour toutes les API Google.
    • Ou sélectionnez Tous les services compatibles VPC-SC pour créer une règle globale pour toutes les APIs Google qui prennent en charge VPC Service Controls. Les nouveaux services sont découverts automatiquement.

  5. Cliquez sur Ajouter .

Obtenir l'URI de l'endpoint PSC​

Patientez quelques minutes le temps que le private Endpoint termine son provisionnement. Le statut de la connexion passe à ESTABLISHED. Refresh la page, puis copiez l’ URI de l’endpoint PSC à partir de la règle.

Ajouter l’endpoint à la liste d’autorisation dans votre périmètre VPC Service Controls​

important

You perform this step in your own Google Cloud account, not in Databricks.

Ajoutez l’URI de l’endpoint PSC à votre périmètre VPC Service Controls en tant que règle d’entrée. L’endpoint Private Service Connect est sortant du compute serverless Databricks vers vos ressources Google API.

Activez la règle​

Une fois que l’endpoint a accès à vos ressources au sein de votre périmètre, activez la règle.

  1. Dans la section Règles des Private Endpoint , recherchez votre règle et cliquez sur le menu kebab Icône du menu kebab..
  2. Cliquez sur Mettre à jour une règle .
  3. Sélectionnez Enable rule .
important

This step routes traffic for the configured Google APIs through Private Service Connect for any workspace attached to the NCC. Before you continue, verify that you have allowlisted the PSC endpoint URI in your VPC Service Controls perimeter.

Joindre la NCC à un ou plusieurs workspaces​

Ignorez cette étape si votre workspace est déjà joint à la NCC. Pour joindre la NCC à un workspace :

  1. Accédez à Workspaces dans la barre latérale.
  2. Sélectionnez un workspace existant.
  3. Cliquez sur Update Workspace .
  4. Sous Network Connectivity Configuration , sélectionnez la NCC que vous avez créée.
  5. Répétez l’opération pour tous les Workspace auxquels vous souhaitez appliquer cette NCC.

Une NCC est un objet régional ; vous ne pouvez donc l’attacher qu’à des workspaces situés dans la même région.

Vérifier la connectivité​

L'exemple suivant teste la connectivité à un compartiment Cloud Storage en l'enregistrant en tant qu'emplacement externe et en exécutant une query :

  1. Enregistrez votre compartiment en tant qu’emplacement externe. Voir les emplacements externes.

  2. Ouvrez l’éditeur SQL et joignez un SQL warehouse serverless.

  3. Exécutez la query suivante :

    SQL
    CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 'gs://{your-gcs-bucket}/test_connectivity'

L’établissement complet de la connexion peut prendre quelques minutes.

remarque

If your network policy restricts external access, direct access to your bucket from a notebook or REPL can fail. Register the bucket as an external location to test connectivity, as shown in the preceding steps. See Manage network policies for serverless egress control.

États de connexion​

Après avoir créé une règle d'endpoint privé, vous pouvez afficher son état de connexion dans la section Règles des endpoints privés de la console de compte :

  • CREATING: L’endpoint privé est en cours de création.
  • PENDING: approbation en attente sur la ressource.
  • ESTABLISHED: Établi sur la ressource.
  • REJECTED: rejeté sur la ressource.
  • DISCONNECTED: Déconnecté sur la ressource.
  • EXPIRED: La règle a expiré après avoir été dans l’état REJECTED, DISCONNECTED ou PENDING pendant 14 jours.

La plupart des modifications apportées aux règles d’endpoint privé se propagent au compute serverless en 10 minutes, mais peuvent prendre jusqu’à 24 heures pour être entièrement appliquées.

Dépannage et commentaires​

Pour le dépannage, contactez votre équipe de compte. Databricks recueille des commentaires sur cette version préliminaire par l’intermédiaire de votre équipe de compte ; veuillez donc noter tous les problèmes que vous rencontrez pour contribuer à améliorer les futures itérations de cette fonctionnalité.

Étapes suivantes​

Sur cette page