Rubriques avancées AUTO CDC
Au-delà des APIs AUTO CDC et AUTO CDC FROM SNAPSHOT de base, vous pouvez exécuter le DML sur les tables cibles, lire les flux de données de modification à partir des cibles CDC, surveiller les métriques de traitement et appliquer des mises à jour partielles. Pour le stockage bitemporel, voir AUTO CDC bitemporel. Pour une introduction aux APIs AUTO CDC, voir Les APIs AUTO CDC : Simplifiez la capture des données de modification avec des pipelines.
Ajouter, modifier ou supprimer des données dans une table de streaming cible
Si votre pipeline publie des tables dans Unity Catalog, vous pouvez utiliser des instructions de langage de manipulation de données (LMD), y compris les instructions d'insertion, de mise à jour, de suppression et de Merge, pour modifier les tables de streaming cibles créées par les instructions AUTO CDC ... INTO.
- Les instructions DML qui modifient le schéma de table d'une table en streaming ne sont pas prises en charge. Assurez-vous que vos instructions DML ne tentent pas de faire évoluer le schéma de la table.
- Les instructions DML qui mettent à jour une table de streaming peuvent être exécutées uniquement dans un cluster Unity Catalog partagé ou un SQL Warehouse utilisant Databricks Runtime 13.3 LTS et versions ultérieures.
- Étant donné que le streaming nécessite des sources de données d'ajout uniquement, si votre traitement nécessite de lire en streaming une table de streaming source avec des modifications (par exemple, par des instructions DML), définissez l'indicateur skipChangeCommits lors de la lecture de la table de streaming source. Lorsque
skipChangeCommitsest défini, les transactions qui suppriment ou modifient des enregistrements sur la table source sont ignorées. Si votre traitement ne nécessite pas de table de streaming, vous pouvez utiliser une vue matérialisée (qui n'a pas la restriction d'ajout uniquement) comme table cible.
Comme le pipeline utilise une colonne SEQUENCE BY spécifiée et propage les valeurs de séquencement appropriées aux colonnes __START_AT et __END_AT de la table cible (pour SCD de type 2), vous devez vous assurer que les instructions DML utilisent des valeurs valides pour ces colonnes afin de maintenir l'ordre correct des enregistrements. Découvrir le fonctionnement d’AUTO CDC.
Pour plus d'informations sur l'utilisation des instructions DML avec les tables de streaming, consultez Ajouter, modifier ou supprimer des données dans une table de streaming.
L'exemple suivant insère un enregistrement actif avec une start sequence de 5 :
INSERT INTO my_streaming_table (id, name, __START_AT, __END_AT) VALUES (123, 'John Doe', 5, NULL);
Si vous devez renommer les colonnes __START_AT et __END_AT dans votre table cible SCD de type 2 (par exemple, pour correspondre aux exigences de schéma en aval), créez une vue sur la table cible :
CREATE VIEW my_employees_view AS
SELECT
*,
__START_AT AS valid_from,
__END_AT AS valid_to
FROM my_scd2_target_table;
Lire un flux de données modifiées à partir d'une table cible AUTO CDC
Dans Databricks Runtime 15.2 et versions ultérieures, vous pouvez lire un flux de données de modification à partir d'une table de streaming qui est la cible de requêtes AUTO CDC ou AUTO CDC FROM SNAPSHOT de la même manière que vous lisez un flux de données de modification à partir d'autres tables Delta. Les éléments suivants sont requis pour lire le flux de données de modification à partir d'une table de streaming cible :
- La table de streaming cible doit être publiée dans Unity Catalog. Consultez Utiliser Unity Catalog avec des pipelines.
- Pour lire le flux de données de modification de la table de streaming cible, vous devez utiliser Databricks Runtime 15.2 ou version ultérieure. Pour lire le flux de données de modification dans un autre pipeline, le pipeline doit être configuré pour utiliser Databricks Runtime 15.2 ou version ultérieure.
Vous lisez le flux de données de modification à partir d'une table de streaming cible créée dans un Lakeflow Pipelines de la même manière que la lecture d'un flux de données de modification à partir d'autres tables Delta. Pour en savoir plus sur l'utilisation de la fonctionnalité de flux de données de modification Delta, y compris des exemples en Python et SQL, consultez Utiliser le flux de données de modification sur Databricks.
L'enregistrement du flux de données modifiées inclut des métadonnées identifiant le type d'événement de modification. Lorsqu'un enregistrement est mis à jour dans une table, les métadonnées des enregistrements de modification associés incluent généralement les valeurs _change_type définies sur update_preimage et les événements update_postimage.
Cependant, les valeurs _change_type sont différentes si des mises à jour sont effectuées sur la table de streaming cible, incluant la modification des valeurs de clé primaire. Lorsque les modifications incluent des mises à jour des clés primaires, les champs de métadonnées _change_type sont définis sur les événements insert et delete. Des modifications des clés primaires peuvent se produire lorsque des mises à jour manuelles sont effectuées sur l'un des champs clés avec une instruction UPDATE ou MERGE ou, pour les tables de type SCD 2, lorsque le champ __start_at change pour refléter une valeur de séquence de start antérieure.
La query AUTO CDC détermine les valeurs de la clé primaire, qui diffèrent pour le traitement SCD de type 1 et SCD de type 2 :
SCD Type | Primary key |
|---|---|
SCD type 1, and the pipelines Python interface | The primary key is the value of the |
SCD type 2 | The primary key is the |
Lire un flux de données de modification à partir d'une vue matérialisée
Bêta
Cette fonctionnalité est en version Bêta.
Vous pouvez lire un flux de données de modification à partir d'une vue matérialisée créée dans un LakeFlow Pipelines ou dans Databricks SQL. Utilisez cette fonction pour répliquer les modifications des vues matérialisées vers des destinations en dehors de Databricks, ou pour conserver un historique des modifications des vues matérialisées à des fins d'audit et de reporting.
Les vues matérialisées utilisent un flux de données de modification automatique ; vous n'avez donc pas besoin d'activer le flux de données de modification lui-même. Au lieu de cela, vous activez le flux de données de modification sur chaque vue matérialisée pour laquelle vous en avez besoin en remplissant les conditions suivantes. Voir Flux de données de modification automatique.
-
Pour lire le flux de données de modification, vous devez utiliser Databricks Runtime 18 LTS ou une version supérieure, sur un compute classique, un compute serverless ou Databricks SQL.
-
La vue matérialisée, le pipeline qui la crée ou le pipeline qui la lit doit utiliser le canal de distribution
PREVIEW. -
Le suivi des lignes doit être activé pour la vue matérialisée. Les vues matérialisées sur le compute Serverless ont le suivi des lignes activé par default. Voir Suivi des lignes dans Databricks. Pour vérifier si le suivi des lignes est activé sur une vue matérialisée, exécutez :
SQLSHOW TBLPROPERTIES my_mv ('delta.enableRowTracking'); -
Pour lire le flux de données de modification à partir d'une vue matérialisée, activez l'indicateur de métadonnées externes sur le pipeline ou la vue matérialisée. Pour obtenir des instructions, consultez Comment activer l'accès à un dataset.
Vous lisez le flux de données de modification à partir d'une vue matérialisée de la même manière que pour les autres tables Delta, en utilisant la fonction table_changes(), une lecture en streaming ou l'option readChangeFeed. Pour la syntaxe et des exemples en SQL et Python, consultez Utiliser le flux de données de modification sur Databricks.
Vous pouvez lire un flux de données de modification de vue matérialisée à partir d’une vue matérialisée ou d’une table de streaming Databricks SQL :
CREATE OR REFRESH STREAMING TABLE sales
AS SELECT * FROM STREAM my_mv WITH (readChangeFeed=true)
Limitations
Outre les limitations du flux de données de modification automatique, les points suivants s'appliquent lorsque vous lisez un flux de données de modification à partir d'une vue matérialisée :
- Le flux de données de modification inclut les lignes inchangées lorsque la vue matérialisée est entièrement réécrite, et il ne consolide pas plusieurs mises à jour de la même ligne en un seul événement. Pour les filtrer, agrégez le flux de données de modification en effectuant un regroupement sur toutes les colonnes afin de trouver les insertions et les suppressions qui partagent les mêmes valeurs de ligne.
- Seul Databricks peut interroger le flux de données de modification pour une vue matérialisée. Les clients Delta Lake et Iceberg externes ne le peuvent pas.
- Au sein des Lakeflow pipelines, vous ne pouvez lire un flux de données de modification de vue matérialisée qu'à partir d'un pipeline différent, et ce pipeline doit utiliser le canal de distribution
PREVIEW. La lecture du Change Data Feed d'une vue matérialisée dans le même pipeline que celui qui la crée n'est pas prise en charge. - Vous ne pouvez pas créer d'index de recherche vectorielle à partir d'une vue matérialisée.
Obtenir des données sur les enregistrements traités par une query CDC dans les pipelines
Les métriques suivantes sont capturées uniquement par AUTO CDC queries et non par AUTO CDC FROM SNAPSHOT queries.
Les métriques suivantes sont capturées par AUTO CDC queries :
num_upserted_rows: Le nombre de lignes de sortie insérées dans le dataset lors d'une mise à jour.num_deleted_rows: Le nombre de lignes de sortie existantes supprimées du dataset lors d'une mise à jour.
La métrique num_output_rows, sortie pour les flux non-CDC, n'est pas capturée pour AUTO CDC requêtes.
Appliquer des mises à jour partielles
Lorsqu'une source n'envoie que les colonnes qui ont changé, AUTO CDC doit faire la distinction entre une colonne absente d'un enregistrement de modification, qui devrait laisser la valeur cible inchangée, et une colonne explicitement définie sur null, qui devrait écraser la valeur cible avec null. By default, IGNORE NULL UPDATES traite chaque null comme un marqueur « ne pas mettre à jour », il ne peut donc pas appliquer un null explicite. Pour résoudre cette ambiguïté, choisissez l'une des trois méthodes suivantes :
Méthode | Quand utiliser | Comportement |
|---|---|---|
| Un petit ensemble fixe de colonnes devrait ignorer les valeurs | Les colonnes répertoriées conservent leur valeur cible existante lorsque la valeur entrante est |
| La plupart des colonnes doivent ignorer les valeurs | Les colonnes spécifiées appliquent des valeurs |
| Chaque enregistrement de modification met à jour un ensemble différent de colonnes, ou l'ensemble des colonnes modifiables change au fil du temps. | Une colonne source nomme les colonnes à mettre à jour pour chaque enregistrement de modification. Les colonnes listées sont écrites à partir de la source, y compris les valeurs |
COLUMNS TO UPDATE ne peut pas être combiné avec IGNORE NULL UPDATES et n'est pas pris en charge pour les tables bitemporelles.
En règle générale, choisissez COLUMNS TO UPDATE lorsque le producteur sait quelles colonnes ont été modifiées dans chaque enregistrement et peut transporter cette information dans une colonne source, par exemple lorsque plusieurs producteurs écrivent à la même source ou que l'ensemble des colonnes modifiables augmente avec le temps. Choisissez IGNORE NULL UPDATES ON lorsque le propriétaire du pipeline connaît à l’avance l’ensemble fixe des colonnes actualisables et préfère les contrôler dans le code du pipeline.
L'exemple suivant utilise une colonne source nommée columnsToUpdate pour contrôler les colonnes que chaque enregistrement de modification met à jour, y compris les colonnes définies explicitement sur null:
- Python
- SQL
from pyspark import pipelines as dp
dp.create_streaming_table("target")
dp.create_auto_cdc_flow(
target = "target",
source = "cdc_source",
keys = ["id"],
sequence_by = "sequenceNum",
stored_as_scd_type = 1,
columns_to_update = "columnsToUpdate"
)
CREATE OR REFRESH STREAMING TABLE target;
CREATE FLOW apply_cdc AS AUTO CDC INTO
target
FROM
stream(cdc_source)
KEYS
(id)
SEQUENCE BY
sequenceNum
STORED AS
SCD TYPE 1
COLUMNS TO UPDATE
columnsToUpdate;
Pour la référence complète des parameters, consultez AUTO CDC INTO (pipelines) et create_auto_cdc_flow.
Quels objets de données sont utilisés pour le traitement CDC dans un pipeline ?
Lorsque vous déclarez la table cible dans le Hive metastore, deux structures de données sont créées :
- Une vue utilisant le nom attribué à la table cible.
- Une table de support interne utilisée par le pipeline pour gérer le traitement CDC. Cette table est nommée en préfixant
__apply_changes_storage_au nom de la table cible.
Par exemple, si vous déclarez une table cible nommée dp_cdc_target, vous voyez une vue nommée dp_cdc_target et une table nommée __apply_changes_storage_dp_cdc_target dans le metastore. Interrogez la vue pour accéder aux données traitées. Ne modifiez pas la table sous-jacente directement.
Ces structures de données s'appliquent uniquement au traitement AUTO CDC, pas au traitement AUTO CDC FROM SNAPSHOT. Ils s'appliquent également uniquement au Hive metastore, et non au Unity Catalog.