Considérations sur le réseau

Cette analyse approfondie explique comment connecter les producteurs à Zerobus Ingest dans Lakeflow Connect de manière sécurisée et efficace : Private Link front-end, connexion au stockage protégé par pare-feu et compression.

Zerobus Ingest s’exécute toujours dans la région de votre Workspace. Les producteurs envoient des données sur le réseau vers cet endpoint régional, et Zerobus Ingest les écrit dans votre table Delta cible. Zerobus Ingest est disponible dans certaines régions. Voir Disponibilité de l’ingestion.

Une écriture Zerobus Ingest comporte deux segments réseau, que vous sécurisez différemment :

• Votre producteur vers le service Zerobus Ingest. Accédez à l'endpoint régional via l'Internet public, ou maintenez le trafic sur un chemin privé avec Private Link front-end.
• Le service Zerobus Ingest vers le stockage de votre table. Zerobus Ingest se connecte à votre stockage à partir du compute serverless Databricks. Si votre stockage se trouve derrière un pare-feu, ajoutez les IP sortantes du compute serverless Databricks à votre liste d'autorisation afin que Zerobus Ingest puisse l'atteindre. Voir Se connecter à un stockage protégé par pare-feu.

Private Link front-end

Par default, les producteurs accèdent à Zerobus Ingest via le réseau vers l'endpoint régional de votre workspace. Si vous ne souhaitez pas que ce trafic traverse l'Internet public, ou si vous avez besoin de plus de bande passante ou d'un chemin réseau plus prévisible, utilisez Private Link front-end pour maintenir la connexion entre vos producteurs et le service Zerobus Ingest sur un chemin privé.

Envisagez Private Link front-end lorsque vous :

• Exiger que le trafic d’ingestion ne transite jamais par l’Internet public.
• Nécessite une bande passante plus élevée ou plus prévisible que celle fournie par un chemin public.
• Vous souhaitez réduire vos coûts de trafic réseau ? Le maintien de l'ingestion sur un chemin privé peut réduire le transfert de données via l'Internet public.

Private Link front-end vers Zerobus Ingest utilise la même configuration de connectivité privée front-end que le reste de votre workspace. Pour le configurer pour votre cloud, consultez :

Activer la connectivité PrivateLink front-end AWS. Pour les concepts sous-jacents, consultez les concepts de Private Link.

Se connecter à un stockage protégé par pare-feu

Zerobus Ingest rend vos données durables, puis les écrit dans le stockage de votre table cible à partir du compute Databricks serverless. Si votre compte de stockage ou votre bucket restreint le trafic entrant avec un pare-feu, ajoutez les plages d’adresses IP sortantes Databricks serverless à votre liste d’autorisation afin que Zerobus Ingest puisse y accéder.

Databricks publie les adresses IP sortantes serverless sous forme de fichier JSON à l'adresse ip-ranges.json, et les répertorie également par région dans la référence réseau. Vous devez uniquement ajouter à la liste blanche les plages pour le cloud et la région de votre workspace :

Voir IP sortantes pour le compute serverless.

Considérations interrégionales

Zerobus Ingest s’exécute dans la région de votre Workspace (voir Exigences de table). Conservez vos producteurs dans cette région lorsque vous le pouvez : plus vos producteurs sont proches de l’Endpoint, plus la latence réseau est faible et plus le throughput que vous pouvez maintenir est élevé.

Lorsque les producteurs s’exécutent dans une région différente de celle de l’endpoint Zerobus Ingest, le trafic traverse les régions, ce qui ajoute de la latence et peut entraîner des frais de sortie cloud. Le coût exact dépend de votre cloud, de vos régions et du volume de données, et varie suffisamment pour qu’un chiffre unique soit trompeur. Databricks recommande d’exécuter une preuve de concept avec votre propre charge de travail et vos régions pour mesurer le coût réel avant de vous commit dans une topologie interrégionale.

Compression sur le réseau

La compression des enregistrements avant leur transmission réduit le nombre d'octets envoyés, ce qui permet d'éviter les goulets d'étranglement de la bande passante en échange d'une utilisation accrue du processeur sur le client. Vos options dépendent de l'interface :

• Arrow Flight prend en charge la compression IPC (ZSTD pour le meilleur ratio, LZ4_FRAME lorsque le client est limité par le processeur). Voir compression IPC.
• OpenTelemetry (OTLP) prend en charge gzip sur tous les services. Voir Compression.

Le choix d'un format d'enregistrement compact, comme Protocol Buffers (protobuf) ou Arrow plutôt que JSON, réduit également le nombre d'octets sur le réseau.

Connexes

• Protocoles API: choisir une interface.
• Message types: formats d’enregistrement et leurs compromis en termes de taille.
• Quotas Zerobus Ingest: quotas de throughput default.