Fonctionnalités de Zerobus Ingest
Cette page présente une vue d'ensemble de ce que propose Zerobus Ingest dans Lakeflow Connect. Chaque fonctionnalité renvoie à sa documentation complète.
- Endpoint toujours actif: serverless, activé par default, monte en charge automatiquement.
- Blocage de messages: méthodes d’ingestion et comment confirmer la durabilité.
- Callbacks d'acquittement: réagissent aux acquittements et aux erreurs de manière asynchrone.
- Fonctionnalités des tables Delta: partitionnement, clustering fluide et données
VARIANT. - Colonne de sauvetage: capturez les champs qui ne correspondent pas au schéma de table au lieu de les rejeter.
- Emplacement de fallback durable: où les données aboutissent si elles ne peuvent pas être publiées.
- monitoring de votre utilisation: tables système pour l’utilisation et les dépenses.
Endpoint toujours actif
Zerobus Ingest est un endpoint Serverless activé par default pour les workspaces dans les régions prises en charge. Il n’y a rien à start, à provisionner ou à faire monter en charge. Une fois que vous disposez d’une table cible et d’un Service Principal y ayant accès, vous pouvez commencer à envoyer des données, et la capacité monte en charge automatiquement à mesure que vous ouvrez davantage de streams. Pour commencer, consultez Use Zerobus Ingest.
Fonctionnalités de table Delta
Zerobus Ingest écrit dans des tables Delta standard gérées par Unity Catalog, de sorte que vos données ingérées fonctionnent avec les fonctionnalités des tables Delta. Pour connaître les exigences auxquelles une table cible doit répondre, consultez Table requirements.
- Tables partitionnées : prises en charge, sous réserve d'une limite de partition-fan-out. Databricks recommande le clustering fluide pour les clés à cardinalité élevée. Voir Tables partitionnées.
- Tables à clustering fluide (Bêta) : le layout recommandé, organisant les données pour les performances de query sans la limite de partition-fan-out. Voir Utiliser le clustering fluide pour les tables.
- Données Variant : importez des données semi-structurées dans des colonnes
VARIANT. Voir Types de données pris en charge.
Emplacement de fallback durable
Si une modification de table incompatible survient après que Zerobus Ingest a rendu vos données durables mais avant qu'il ne puisse les publier dans la table, Zerobus Ingest écrit ces données sous forme de fichiers Parquet dans un répertoire de fallback au sein de l'emplacement de stockage de votre table, plutôt que de les supprimer. Pour trouver et retraiter ces données après avoir corrigé le schéma, consultez Récupération des données depuis l'emplacement de fallback durable.
monitoring de votre utilisation
Surveillez votre utilisation et vos dépenses Zerobus Ingest via les tables système. Consultez Zerobus Ingest system table reference et, pour les dépenses, la table système de facturation sous Cost.