Référence de la table système Zerobus Ingest
Cet article est une référence pour les tables système zerobus, qui suivent l'activité Zerobus Ingest dans votre workspace. Ces tables incluent vos enregistrements de compte de tous les Workspace de votre même région. Pour voir les enregistrements d'une autre région, vous devez afficher les tables d'un workspace déployé dans cette région.
Exigences
- Pour accéder à ces tables système, les utilisateurs doivent :
- Être à la fois un administrateur de metastore et un administrateur de Workspace, ou
- Avoir les permissions
USEetSELECTsur les schémas système. Voir Autoriser l'accès aux tables système.
Tables Zerobus Ingest disponibles
Toutes les tables système liées à Zerobus Ingest résident dans le schéma system.lakeflow. Ceci inclut les tables suivantes :
Table | Description | Prend en charge le streaming | Période de conservation gratuite | Comprend des données mondiales ou régionales |
|---|---|---|---|---|
Zerobus_stream (Bêta) | Suit tous les flux créés grâce à Zerobus Ingest | Oui | 365 jours | Régional |
Zerobus_ingest (bêta) | Suit toutes les données ingérées dans les tables Delta à l'aide de Zerobus Ingest | Oui | 365 jours | Régional |
Référence du schéma de table Zerobus Stream
La table zerobus_stream stocke toutes les données liées aux événements de Stream occasionnés par l'utilisation de Zerobus Ingest. Cela comprend les événements qui se produisent lorsqu'un Stream est créé, lorsqu'une erreur se produit pendant la durée de vie du Stream, et lorsqu'un Stream est fermé.
Chemin de la table : system.lakeflow.zerobus_stream
Nom de colonne | Type de données | Description | Exemple |
|---|---|---|---|
| chaîne | L'ID du compte responsable du stream. |
|
| chaîne | L'ID du Workspace responsable du Stream |
|
| chaîne | L'ID du Stream |
|
| Horodatage | Le Timestamp de l'occurrence de l'événement. |
|
| chaîne | L'ID du producteur qui est responsable de la création du Stream | Cette colonne n'est pas prise en charge actuellement. |
| Horodatage | Le Timestamp de l’ouverture du Stream |
|
| Horodatage | Le Timestamp de la fermeture du Stream. |
|
| chaîne | L'ID de la table dans laquelle les données sont ingérées |
|
| chaîne | Le nom entièrement qualifié de la table dans laquelle les données sont ingérées |
|
| chaîne | Le protocole utilisé pour ingérer des données. Les valeurs possibles sont |
|
| chaîne | Le format des données utilisé sur le Stream. Les valeurs possibles sont |
|
| tableau | Tableau d'erreurs survenues pendant la durée de vie du stream | Consultez la référence des erreurs. |
Exemples de queries pour la table Stream.
La query suivante renvoie le nombre de Stream actuellement ouverts pour une table spécifiée :
SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'
La query suivante renvoie les ID de tous les Stream qui ont rencontré une erreur :
SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0
Référence du schéma de table Zerobus ingest
La table zerobus_ingest stocke toutes les données relatives aux enregistrements ingérés à l'aide de Zerobus Ingest. Ces données ne sont pas granulaires au niveau de l'enregistrement. Les données sont agrégées par batchs écrites dans la table Delta, identifiées à l'aide de commit_version.
Chemin de la table : system.lakeflow.zerobus_ingest
Nom de colonne | Type de données | Description | Exemple |
|---|---|---|---|
| chaîne | ID du compte propriétaire du Workspace donné |
|
| chaîne | ID du Workspace dans lequel le Stream est créé |
|
| chaîne | ID du Stream qui a effectué l'ingestion |
|
| bigint | Numéro de version unique du commit vers le Delta |
|
| chaîne | ID de la table dans laquelle des données sont écrites |
|
| chaîne | Nom de table entièrement qualifié dans un format lisible par l'homme |
|
| Horodatage | Timestamp du commit |
|
| bigint | Taille des données ingérées en octets | 3 532 498 |
| bigint | Nombre d'enregistrements validés | 3445 |
| tableau | Balises personnalisées fournies par Zerobus Ingest qui peuvent être utilisées pour le suivi de l'origine de l'utilisation et d'autres métadonnées |
|
| tableau | Tableau des erreurs survenues pendant l'ingestion. | Consultez la référence des erreurs. |
Exemples de requêtes pour la table d'ingestion
La query suivante obtient le taux moyen d'insertion pour chaque table pendant une plage horaire spécifiée :
SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id
La query suivante récupère la quantité totale de données et d'enregistrements ingérés dans une table au cours d'une période spécifiée :
SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name
Référence d'erreur
Les tables de Stream et d'ingestion incluent une colonne errors, qui inclut un tableau d'erreurs survenues pendant le Stream ou l'ingestion, chaque élément représentant une erreur distincte. Ces éléments de tableau sont enregistrés en tant qu'objets avec les champs suivants :
Nom du champ | Type de données | Description |
|---|---|---|
| bigint | Code d'erreur |
| chaîne | Message d'erreur complet |
| Horodatage | Timestamp du moment où l'erreur s'est produite |
Modèles de jointure courants
La requête suivante montre comment joindre les tables de Stream et d'ingestion pour renvoyer toutes les tables qui ont été écrites depuis un seul Workspace.
SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id