Aller au contenu principal
Dernière mise à jour le

Configurer Private Service Connect entrant pour les services intensifs en termes de performances

info

Bêta

Cette fonctionnalité est en version bêta. Les administrateurs de compte peuvent gérer l'accès à cette fonctionnalité depuis la page Aperçus de la console de compte. Consultez Gérer les aperçus au niveau du compte.

Cette page explique comment configurer Private Service Connect pour la connectivité entrante vers les services hautes performances sur la plateforme Databricks. Cette connexion privée permet aux clients et utilisateurs externes d'accéder aux services de la plateforme Databricks, tels que Zerobus Ingest et Lakebase Autoscaling.

Databricks prend déjà en charge Private Service Connect pour les connexions aux APIs et à l'interface utilisateur du Workspace. Cette page couvre les endpoints Private Service Connect qui ciblent plutôt des services exigeants en termes de performances. Pour la connectivité du workspace, consultez Configure Inbound Private Service Connect.

Avantages​

  • Sécurité renforcée : le trafic entre votre réseau et les services Databricks reste au sein de l'infrastructure réseau Google Cloud.
  • Accès aux services à forte intensité de performance : connexions privées à des services comme Zerobus Ingest et Lakebase Autoscaling.
  • Exigences de conformité : répondre aux exigences réglementaires qui imposent une connectivité réseau privée.
  • Efficacité des coûts : Private Service Connect coûte moins cher que les options de connectivité publique telles que les passerelles NAT.

Exigences​

  • Votre compte Databricks doit être au niveau Enterprise.
  • Vous devez être administrateur de compte Databricks pour enregistrer des endpoints VPC et gérer les politiques d'accès entrant.
  • Vous devez disposer des autorisations nécessaires dans Google Cloud pour créer des Private Service Connect Endpoint.

Référence des associations de services régionales​

Pour créer un Endpoint Private Service Connect pour les services exigeants en termes de performances, vous avez besoin de l'URI d'association de service pour votre région. L'URI se termine par le suffixe regional-plproxy-psc-endpoint-all-ports, ce qui le distingue de l'association de service du Workspace utilisée par Private Service Connect entrant vers les APIs et l'interface utilisateur du Workspace.

Pour trouver l'URI de l'association de service pour votre région, consultez Private Service Connect (PSC) attachment URIs and project numbers.

Configurer un endpoint Private Service Connect​

Créer un endpoint Private Service Connect dans Google Cloud​

Créez l'Endpoint dans le projet Google Cloud et le Virtual Private Cloud (VPC) à partir desquels vos clients se connectent :

  1. Dans la console Google Cloud, accédez à la page Private Service Connect.
  2. Cliquez sur le Connected endpoints tab.
  3. Cliquez sur + Connect endpoint .
  4. Pour Target , sélectionnez Published service .
  5. Dans le champ Target service , collez l'URI de l'association de service pour votre région. Consultez la référence des associations de service régionales.
  6. Saisissez un nom pour l'endpoint. Databricks recommande un nom incluant la région et l'objectif, tel que us-central1-performance-intensive-psc.
  7. Sélectionnez le réseau et le sous-réseau Virtual Private Cloud (VPC) qui hébergent l'endpoint.
  8. Réservez une adresse IP pour l'endpoint.
  9. Cliquez sur « Créer ».
  10. Enregistrez les valeurs suivantes, dont vous aurez besoin lors de l’enregistrement de l’endpoint :
    • Votre ID de projet Google Cloud
    • Le nom du Private Service Connect Endpoint
    • L'adresse IP privée que vous avez réservée pour l'endpoint
remarque

After you create the endpoint, its connection state is Pending. This is expected. The connection is accepted when you register the endpoint with Databricks in the next step.

Les services intensifs en termes de performances se connectent via TCP : Zerobus Ingest utilise le port 443 et l'Autoscaling de Lakebase utilise le port 5432 (Postgres). Confirmez que vos règles de pare-feu autorisent le trafic TCP sortant sur ces ports depuis vos clients vers l'adresse IP de l'Endpoint.

Enregistrer l'endpoint auprès de Databricks​

Enregistrez votre endpoint Private Service Connect à l’aide de l’ API Virtual Private Cloud (VPC) Endpoint Configurations. Envoyez une requête POST à /api/2.0/accounts/{accountId}/vpc-endpoints avec les champs suivants :

  • endpoint_region: la région Google Cloud où existe le Endpoint Private Service Connect.
  • project_id: Le projet Google Cloud où vous avez créé l'endpoint.
  • psc_endpoint_name: le nom de l’endpoint dans la console Google Cloud.
  • vpc_endpoint_name: un nom lisible par l'humain pour l'enregistrement.
JSON
{
  "gcp_vpc_endpoint_info": {
    "endpoint_region": "us-central1",
    "project_id": "my-prod-project",
    "psc_endpoint_name": "performance-intensive-psc"
  },
  "vpc_endpoint_name": "psc-vpce"
}

La réponse inclut use_case défini sur SERVICE_DIRECT, le vpc_endpoint_id, ainsi que les valeurs psc_connection_id et service_attachment_id dans gcp_vpc_endpoint_info. Enregistrez le vpc_endpoint_id, dont vous aurez besoin à l'étape suivante.

Créer un objet de paramètres d'accès privé​

Créez un objet de paramètres d'accès privé qui autorise l'accès au workspace via votre nouvel endpoint VPC. Envoyez une requête POST à /api/2.0/accounts/{accountId}/private-access-settings avec les champs suivants :

  • private_access_settings_name: un nom pour l'objet de paramètres d'accès privé.
  • region: la région qui correspond à la région de votre Workspace.
  • private_access_level: Soit ACCOUNT, soit ENDPOINT. ACCOUNT autorise tous les Endpoint Virtual Private Cloud (VPC) enregistrés dans votre compte. ENDPOINT limite l'accès aux endpoints que vous listez.
  • allowed_vpc_endpoint_ids: les ID des Endpoint Virtual Private Cloud (VPC) pouvant accéder au workspace. Ne définissez ce champ que lorsque private_access_level est ENDPOINT.
  • public_access_enabled: Indique si le workspace accepte également les connexions depuis l'Internet public.

Databricks recommande de définir public_access_enabled sur true pendant que vous testez votre configuration DNS, puis de le remplacer par false lors d'une fenêtre de maintenance pour appliquer une connectivité privée exclusive. Lorsque public_access_enabled est false, le Workspace n'est accessible que via Private Service Connect.

Pour ajouter l'endpoint à un objet de paramètres d'accès privé existant, envoyez une requête PUT au même endpoint.

Joindre l'objet de paramètres d'accès privé à un Workspace​

Joignez l’objet de paramètres d’accès privé à chaque workspace qui utilise l’endpoint. Envoyez une requête PATCH à /api/2.0/accounts/{accountId}/workspaces/{workspaceId} avec le champ private_access_settings_id défini sur l’ID de votre objet de paramètres d’accès privé.

Configurer le DNS pour router le trafic via Private Service Connect​

By default, les services exigeants en termes de performance se résolvent en utilisant le nom DNS public <product-instance>.<product>.<region>.gcp.databricks.com. Par exemple, Zerobus Ingest utilise <workspace-id>.zerobus.<region>.gcp.databricks.com.

Databricks recommande de remplacer le DNS au niveau du produit afin que tout le trafic du produit soit dirigé vers votre Endpoint Private Service Connect :

  1. Créez une zone hébergée privée pour <product>.<region>.gcp.databricks.com et attachez-la au Virtual Private Cloud (VPC) qui héberge votre Private Service Connect endpoint. Une zone privée Google Cloud ne se résout que pour les réseaux auxquels vous l'attachez ; la zone doit donc être attachée à ce Virtual Private Cloud (VPC) pour que les clients puissent l'utiliser.
  2. Dans cette zone, ajoutez un enregistrement générique A qui pointe vers l'adresse IP privée de votre Private Service Connect Endpoint.
remarque

A wildcard record sends every hostname for that product and region to one endpoint IP address. If you use more than one Private Service Connect endpoint for the same product and region, add a record for each specific hostname instead of a wildcard, so that each product instance resolves to its intended endpoint.

Vérifier la connectivité privée​

Vérifiez la connectivité depuis un client dans le Virtual Private Cloud (VPC) qui héberge votre endpoint Private Service Connect. L'exemple suivant utilise un hôte Zerobus Ingest.

Tout d'abord, confirmez que l'hôte du produit se résout en l'adresse IP privée de votre Private Service Connect Endpoint :

Bash
nslookup <workspace-id>.zerobus.<region>.gcp.databricks.com

La recherche doit renvoyer l'adresse IP privée que vous avez réservée dans Créer un endpoint Private Service Connect dans Google Cloud. S'il renvoie une adresse publique à la place, revoyez votre configuration DNS.

Testez ensuite la connexion :

Bash
nc -vz <workspace-id>.zerobus.<region>.gcp.databricks.com 443

Si la connexion réussit, votre Endpoint Private Service Connect pour les services intensifs en termes de performances est correctement configuré. Le test du Hostname plutôt que de l'adresse IP confirme que la résolution DNS et la connectivité fonctionnent via le chemin privé. Pour les tests de connectivité spécifiques au produit, consultez la documentation de ce service.

Limitations​

Soyez conscient des limitations suivantes :

  • Services pris en charge : sur Google Cloud, la fonctionnalité Private Service Connect entrante pour les services intensifs en termes de performances prend en charge Zerobus Ingest et Lakebase Autoscaling.
  • Disponibilité régionale : ces services sont disponibles dans un sous-ensemble de régions Google Cloud. Confirmez que le service que vous utilisez est pris en charge dans votre région avant de configurer l’endpoint. Consultez Disponibilité de l’ingestion.
  • Endpoint limit: The default limit for Virtual Private Cloud (VPC) Endpoint of any type is 100 par compte. Si vous avez besoin d'une augmentation de quota, contactez l'équipe de votre compte Databricks.
  • Endpoints par région : chaque compte est limité à cinq Endpoint Virtual Private Cloud (VPC) de type SERVICE_DIRECT par région.
  • Points de terminaison par projet : chaque ID de projet Google Cloud client est limité à 10 points de terminaison Private Service Connect pour les services intensifs en termes de performances.

Dépannage​

Si vous rencontrez des problèmes de connectivité ou si vous souhaitez partager vos commentaires sur la version bêta, contactez l’équipe de votre compte Databricks.

Ressources supplémentaires​

Sur cette page