Quotas de Zerobus Ingest
Cette page décrit les quotas default de Zerobus Ingest dans Lakeflow Connect, ainsi que son fonctionnement avec vos tables Delta, votre schéma et vos types de données.
Disponibilité
Zerobus Ingest n'est disponible que dans certaines régions. Pour obtenir une liste des régions prises en charge, consultez Disponibilité de l'ingestion.
Latence
La latence reflète à la fois l’accusé de réception de durabilité et le temps nécessaire pour matérialiser les enregistrements dans la table Delta cible. Les délais réels varient en fonction de l’alignement régional et des caractéristiques de la charge de travail.
-
Délai de durabilité
- Environ 150 ms
-
Délai de table
- Environ 5 secondes
Quotas
Le tableau suivant répertorie les quotas default pour Zerobus Ingest.
Élément | Quota default | Besoin de plus ? |
|---|---|---|
Throughput par stream (gRPC) | 100 Mo/seconde (évalué avec des messages de 1 Ko) | Réglable |
Throughput par table cible (gRPC) | 10 Go/seconde | Réglable |
Enregistrements par seconde et par stream | 100 000 (benchmarqué avec des messages de 1 Ko) | Réglable |
Requêtes REST par seconde | 10 000 | Réglable |
Streams simultanés par workspace | Illimité | N/A |
Il s'agit des throughput default avec lesquels Zerobus Ingest est provisionné, et ils montent en charge pour répondre à des workloads plus élevés. Pour en augmenter un, contactez votre représentant de compte Databricks. Pour un throughput maximal, conservez votre application cliente et l'endpoint dans la même région géographique.
Vous pouvez ouvrir autant de Stream simultanés que votre charge de travail l'exige, et écrire vers autant de tables cibles. L'ouverture de davantage de Stream est la méthode prévue pour monter en charge, le nombre de Stream simultanés est donc illimité.
Les APIs compatibles avec Kafka sont en bêta, avec un quota par default de 50 000 messages par seconde et par workspace. Pour demander un quota bêta plus élevé, contactez votre représentant de compte Databricks.
Garanties de livraison
Zerobus Ingest fournit des garanties « au moins une fois ».
Conservation des données mises en mémoire tampon
Si le service Zerobus Ingest ne peut pas vider les données mises en tampon vers votre table Delta, il conserve les données dans un stockage durable géré par le service et émet occasionnellement des événements d'avertissement par stream.
Si les données restent non vidées pendant 28 jours, le service supprime les données mises en mémoire tampon et émet un événement de rejet par stream enregistrant le nombre d'enregistrements et d'octets supprimés. Vous ne pouvez pas récupérer les données après leur suppression.
Comportement de la table
Comment Zerobus Ingest fonctionne avec vos tables Delta.
Tables partitionnées
Lors de l'écriture dans des tables partitionnées, Zerobus Ingest ne prend pas en charge l'écriture dans plus de 100 partitions sur un intervalle de 5 secondes. Pour un throughput optimal, minimisez le nombre de partitions sur chaque intervalle de 5 secondes.
Databricks recommande d'utiliser des tables en cluster liquide avec Zerobus Ingest plutôt que le partitionnement.
Workspace et table cible
L’ingestion fonctionne avec la configuration de workspace et de table cible suivante.
- Zerobus Ingest prend en charge l'écriture dans des tables Delta gérées.
- Zerobus Ingest ne prend pas en charge la recréation d'une table cible.
- Zerobus Ingest prend uniquement en charge les noms de table composés de lettres ASCII, de chiffres et de traits de soulignement.
- Le workspace et la table cible doivent tous deux se trouver dans l’une des régions disponibles.
Tables avec clustering liquide (Bêta)
Lorsque vous utilisez Zerobus Ingest avec des tables à clustering liquide, il est recommandé de laisser l'optimisation prédictive activée pour la table cible. Zerobus Ingest écrit des données dans la table, mais le clustering optimal des données est appliqué de manière asynchrone par le service d'optimisation prédictive. La désactivation de l'optimisation prédictive peut entraîner des performances de query sous-optimales sur les données ingérées.
Schéma et types de données
Taille de l’enregistrement
Chaque message a une taille maximale de 10 Mo. La taille maximale d'un enregistrement est de 10 485 760 octets. Les en-têtes requis pour la communication occupent 19 octets.
Pour savoir comment Zerobus Ingest valide les enregistrements par rapport au schéma de votre table, y compris l’évolution des schémas et les règles de schéma Protobuf, consultez Gestion des schémas. Pour les types de données Delta et Protobuf pris en charge, consultez Types de données pris en charge.