Aller au contenu principal
Dernière mise à jour le

Configurer Private Service Connect entrant pour les services intensifs en termes de performances

Cette page explique comment configurer Private Service Connect pour la connectivité entrante vers les services hautes performances sur la plateforme Databricks. Cette connexion privée permet aux clients et utilisateurs externes d'accéder aux services de la plateforme Databricks, tels que Zerobus Ingest et Lakebase Autoscaling.

Databricks prend déjà en charge Private Service Connect pour les connexions aux APIs et à l'interface utilisateur de l'espace de travail. Cette page concerne plutôt les Endpoint Private Service Connect qui ciblent les services à haute intensité de performance. Pour la connectivité de Workspace, consultez Configurer Private Service Connect entrant pour les Workspace.

Avantages​

  • Sécurité renforcée : le trafic entre votre réseau et les services Databricks reste au sein de l'infrastructure réseau Google Cloud.
  • Accès aux services à forte intensité de performance : connexions privées à des services comme Zerobus Ingest et Lakebase Autoscaling.
  • Exigences de conformité : répondre aux exigences réglementaires qui imposent une connectivité réseau privée.
  • Efficacité des coûts : Private Service Connect coûte moins cher que les options de connectivité publique telles que les passerelles NAT.

Exigences​

  • Votre compte Databricks doit être au niveau Enterprise.
  • Vous devez être administrateur de compte Databricks pour enregistrer des endpoints VPC et gérer les politiques d'accès entrant.
  • Vous devez disposer des autorisations nécessaires dans Google Cloud pour créer des Private Service Connect Endpoint.

Référence des associations de services régionales​

Pour créer un Endpoint Private Service Connect pour les services intensifs en termes de performances, vous avez besoin de l'URI d'association de service pour votre région. L'URI se termine par le suffixe regional-plproxy-psc-endpoint-all-ports, qui le distingue de l'association de service d'accès général (plproxy-psc-endpoint-all-ports) utilisée par Private Service Connect entrant vers les API et l'interface utilisateur de Workspace.

Pour trouver l'URI de l'association de service pour votre région, consultez Private Service Connect (PSC) attachment URIs and project numbers.

Configurer un endpoint Private Service Connect​

Créer un endpoint Private Service Connect dans Google Cloud​

Créez l'Endpoint dans le projet Google Cloud et le Virtual Private Cloud (VPC) à partir desquels vos clients se connectent :

  1. Dans la console Google Cloud, accédez à la page Private Service Connect.
  2. Cliquez sur le Connected endpoints tab.
  3. Cliquez sur + Connect endpoint .
  4. Pour Target , sélectionnez Published service .
  5. Dans le champ Target service , collez l'URI de l'association de service pour votre région. Consultez la référence des associations de service régionales.
  6. Saisissez un nom pour l'endpoint. Databricks recommande un nom incluant la région et l'objectif, tel que us-central1-performance-intensive-psc.
  7. Sélectionnez le réseau et le sous-réseau Virtual Private Cloud (VPC) qui hébergent l'endpoint.
  8. Réservez une adresse IP pour l'endpoint.
  9. Cliquez sur « Créer ».
  10. Enregistrez les valeurs suivantes, dont vous aurez besoin lors de l’enregistrement de l’endpoint :
    • Votre ID de projet Google Cloud
    • Le nom du Private Service Connect Endpoint
    • L'adresse IP privée que vous avez réservée pour l'endpoint
remarque

After you create the endpoint, its connection state is Pending. This is expected. The connection is accepted when you register the endpoint with Databricks in the next step.

Les services intensifs en termes de performances se connectent via TCP : Zerobus Ingest utilise le port 443, et Lakebase Autoscaling utilise les ports 5432 (protocole Postgres) et 443 (Data API et autres clients basés sur HTTPS). Confirmez que vos règles de pare-feu autorisent le trafic TCP sortant sur ces ports depuis vos clients vers l'adresse IP de l'Endpoint.

Enregistrer l'endpoint auprès de Databricks​

Enregistrez votre Endpoint Private Service Connect à l'aide de la console de compte Databricks :

  1. Accédez à la console du compte Databricks.
  2. Cliquez sur **Sécurité** dans la barre latérale.
  3. Cliquez sur Endpoint privés .
  4. Cliquez sur Enregistrer un endpoint privé .
  5. Remplissez les champs obligatoires :
    • Nom du Endpoint Virtual Private Cloud (VPC) : Un nom lisible par un humain pour l’inscription. Databricks recommande un nom qui inclut la région et l'objectif.
    • Région : La région Google Cloud où existe l’Endpoint Private Service Connect. La région doit correspondre à la région de votre Workspace.
    • ID de projet de réseau Virtual Private Cloud (VPC) Google Cloud : projet Google Cloud où vous avez créé le Endpoint.
    • ID Endpoint Google Cloud Private Service Connect (PSC) : nom du Endpoint dans la console Google Cloud.

Vous pouvez également enregistrer le Endpoint à l'aide de l'API Virtual Private Cloud (VPC) Endpoint Configurations API. Envoyez une requête POST à /api/2.0/accounts/{accountId}/vpc-endpoints avec les champs suivants :

  • endpoint_region: la région Google Cloud où existe le Endpoint Private Service Connect.
  • project_id: Le projet Google Cloud où vous avez créé l'endpoint.
  • psc_endpoint_name: le nom de l’endpoint dans la console Google Cloud.
  • vpc_endpoint_name: un nom lisible par l'humain pour l'enregistrement.
JSON
{
  "gcp_vpc_endpoint_info": {
    "endpoint_region": "us-central1",
    "project_id": "my-prod-project",
    "psc_endpoint_name": "performance-intensive-psc"
  },
  "vpc_endpoint_name": "psc-vpce"
}

La réponse comprend use_case défini sur SERVICE_DIRECT, le vpc_endpoint_id, et les valeurs psc_connection_id et service_attachment_id dans gcp_vpc_endpoint_info.

Configurer la politique d'accès privé​

Une fois votre Endpoint Private Service Connect enregistré, vous avez deux méthodes pour configurer une politique d’accès privé pour votre Workspace : avec des politiques d’accès entrant basées sur le contexte ou avec des paramètres d’accès privé. La méthode d’accès entrant basée sur le contexte vous permet de configurer un contrôle d’accès précis en combinant des conditions d’identité, de type de requête et de source réseau. Voir Contrôle d'entrée basé sur le contexte. Les paramètres d’accès privé sont des politiques tout ou rien liées à une région.

Pour que le trafic soit autorisé, les paramètres d’accès privé et l’accès entrant basé sur le contexte doivent autoriser le Endpoint. Par default, l’accès entrant basé sur le contexte est défini sur Autoriser l’accès depuis tous les Endpoint privés , ce qui transfère la décision d’accès aux paramètres d’accès privé du Workspace. Pour utiliser des politiques d’accès privé basées sur le contexte, joignez un objet de paramètres d’accès privé à votre workspace avec Accès public activé sur Vrai et Niveau d’accès privé sur Compte . Cela reporte la décision d'accès à la politique d'entrée basée sur le contexte de votre workspace. Vous pouvez réutiliser le même objet de paramètres d'accès privé « autoriser tout accès » dans n'importe quel workspace de la même région.

remarque

To configure private access to workspaces using context-based ingress (Method 1), an account admin must turn on Context-Based Ingress: Workspace Private Access Policies from the account console Previews page. See Manage account-level previews.

  1. Dans la console du compte, cliquez sur Sécurité dans la barre latérale.

  2. Cliquez sur Contrôle d'entrée et de sortie basé sur le contexte dans la barre latérale.

  3. Sous Stratégies au niveau du Workspace , cliquez sur Nouvelle stratégie Workspace .

  4. Sous Entrée > Accès réseau privé , définissez votre stratégie d'accès privé.

    1. Par default, tous les Endpoint enregistrés sont autorisés : Autoriser l'accès de tous les Endpoint privés . Si cela vous convient, passez à l’étape suivante. Ce default inclut uniquement les 200 premiers Endpoint Virtual Private Cloud (VPC) enregistrés. Si votre politique en nécessite davantage, contactez l’équipe chargée de votre compte pour obtenir une augmentation.
    2. Pour autoriser des Endpoint enregistrés spécifiques tout en refusant tous les autres Endpoint, décochez la case Autoriser l'accès de tous les Endpoint privés et ajoutez une règle d'autorisation.
      1. Sélectionnez les identités et les destinations de workspace auxquelles vous souhaitez autoriser l'accès. Par default, tous sont autorisés.
      2. Pour le Type de source , sélectionnez Endpoint privés sélectionnés et sélectionnez les Endpoint Private Service Connect que vous avez enregistrés. La région de l'Endpoint doit correspondre à la région de votre Workspace.
      3. Cliquez sur Confirmer .
      4. Ajoutez éventuellement des règles de refus à votre politique pour définir des exceptions à vos règles d'autorisation.

  5. Configurez votre politique d'accès public dans Entrée > Accès au réseau public . Pour désactiver tout accès IP public, décochez Autoriser l'accès depuis toutes les IP publiques . Databricks recommande de garder l'accès public activé lors du test de votre configuration DNS, puis de le désactiver une fois le DNS finalisé pour appliquer une connectivité privée exclusive.

  6. Testez votre politique d'accès entrant en mode simulation avant de la basculer en mode Appliqué . Les refus d'accès en mode simulation sont enregistrés dans la table système system.access.inbound_network, mais ils ne bloquent pas l'accès.

  7. Assurez-vous que votre politique d' égression est correcte.

  8. Associez votre politique à votre workspace.

  9. Enregistrez votre politique réseau. Les mises à jour des politiques d’accès entrant basées sur le contexte prennent généralement effet en moins de 10 minutes. Vous pouvez utiliser une politique réseau par Workspace, ou partager une seule politique entre des Workspace qui utilisent les mêmes règles d'entrée et de sortie, de sorte que vous la définissez une seule fois et l'attachez partout.

  10. Joignez un objet de paramètres d’accès privé « autoriser tout accès » à votre workspace. Pour les Workspace sans objet de paramètres d’accès privé associé, tout accès privé est refusé, quelle que soit la politique réseau. Suivez les étapes de la Méthode 2, avec Accès public activé défini sur Vrai et Niveau d’accès privé défini sur Compte . Laissez Accès public activé défini sur Vrai et utilisez votre politique d’entrée basée sur le contexte pour restreindre l’accès.

Configurer le DNS pour router le trafic via Private Service Connect​

By default, les services exigeants en termes de performance se résolvent en utilisant le nom DNS public <product-instance>.<product>.<region>.gcp.databricks.com. Par exemple, Zerobus Ingest utilise <workspace-id>.zerobus.<region>.gcp.databricks.com.

Databricks recommande de remplacer le DNS au niveau du produit afin que tout le trafic du produit soit dirigé vers votre Endpoint Private Service Connect :

  1. Créez une zone hébergée privée pour <product>.<region>.gcp.databricks.com et attachez-la au Virtual Private Cloud (VPC) qui héberge votre Private Service Connect endpoint. Une zone privée Google Cloud ne se résout que pour les réseaux auxquels vous l'attachez ; la zone doit donc être attachée à ce Virtual Private Cloud (VPC) pour que les clients puissent l'utiliser.
  2. Dans cette zone, ajoutez un enregistrement générique A qui pointe vers l'adresse IP privée de votre Private Service Connect Endpoint.
remarque

A wildcard record sends every hostname for that product and region to one endpoint IP address. If you use more than one Private Service Connect endpoint for the same product and region, add a record for each specific hostname instead of a wildcard, so that each product instance resolves to its intended endpoint.

Vérifier la connectivité privée​

Vérifiez la connectivité depuis un client dans le Virtual Private Cloud (VPC) qui héberge votre endpoint Private Service Connect. L'exemple suivant utilise un hôte Zerobus Ingest.

Tout d'abord, confirmez que l'hôte du produit se résout en l'adresse IP privée de votre Private Service Connect Endpoint :

Bash
nslookup <workspace-id>.zerobus.<region>.gcp.databricks.com

La recherche doit renvoyer l'adresse IP privée que vous avez réservée dans Créer un endpoint Private Service Connect dans Google Cloud. S'il renvoie une adresse publique à la place, revoyez votre configuration DNS.

Testez ensuite la connexion :

Bash
nc -vz <workspace-id>.zerobus.<region>.gcp.databricks.com 443

Si la connexion réussit, votre Endpoint Private Service Connect pour les services intensifs en termes de performances est correctement configuré. Le test du Hostname plutôt que de l'adresse IP confirme que la résolution DNS et la connectivité fonctionnent via le chemin privé. Pour les tests de connectivité spécifiques au produit, consultez la documentation de ce service.

Limitations​

Soyez conscient des limitations suivantes :

  • Services pris en charge : sur Google Cloud, la fonctionnalité Private Service Connect entrante pour les services intensifs en termes de performances prend en charge Zerobus Ingest et Lakebase Autoscaling.
  • Disponibilité régionale : ces services sont disponibles dans un sous-ensemble de régions Google Cloud. Confirmez que le service que vous utilisez est pris en charge dans votre région avant de configurer l’endpoint. Consultez Disponibilité de l’ingestion.
  • Endpoint par projet et région : pour chaque compte Databricks, l’ID d’un projet Google Cloud d’un client est limité à 10 Endpoint Private Service Connect pour les services exigeant de hautes performances dans chaque région. Si vous avez besoin d’augmenter votre quota, contactez l’équipe responsable de votre compte Databricks.

Dépannage​

Si vous rencontrez des problèmes de connectivité ou souhaitez nous faire part de vos commentaires, contactez l’équipe de votre compte Databricks.

Ressources supplémentaires​

Sur cette page