create_streaming_table

Utilisez la fonction create_streaming_table() dans un pipeline pour créer une table cible pour les enregistrements générés par les opérations de streaming, y compris les enregistrements de sortie create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() et append_flow.

remarque

Les fonctions create_target_table() et create_streaming_live_table() sont obsolètes. Databricks recommande de mettre à jour le code existant pour utiliser la fonction create_streaming_table().

Syntaxe

Python

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={&quot;&lt;key&gt;&quot; : &quot;&lt;value&quot;, &quot;&lt;key&quot; : &quot;&lt;value&gt;&quot;},
  table_properties={&quot;&lt;key&gt;&quot; : &quot;&lt;value&gt;&quot;, &quot;&lt;key&gt;&quot; : &quot;&lt;value&gt;&quot;},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = False,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

parameter

parameter	Type	Description
name	str	Obligatoire. Le nom de la table.
comment	str	Une description pour la table.
spark_conf	dict	Une liste de configurations Spark pour l'exécution de cette query.
table_properties	dict	Un dict de propriétés de table pour la table.
path	str	Un emplacement de stockage pour les données de table. Si non défini, utilisez l'emplacement de stockage géré pour le schéma contenant la table.
partition_cols	list	Une liste d'une ou plusieurs colonnes à utiliser pour le partitionnement de la table.
cluster_by_auto	bool	Activez le clustering liquide automatique sur la table. Ceci peut être combiné à cluster_by et définir les colonnes à utiliser comme clés de clustering initiales, suivi du monitoring et des mises à jour automatiques de la sélection des clés en fonction de la charge de travail. Voir clustering liquide automatique.
cluster_by	list	Activez le clustering liquide sur la table et définissez les colonnes à utiliser comme clés de clustering. Voir Utiliser le clustering liquide pour les tables.
schema	str OU StructType	Une définition de schéma pour la table. Les schémas peuvent être définis comme une chaîne DDL SQL ou avec un StructType Python.
expect_all, expect_all_or_drop, expect_all_or_fail	dict	Contraintes de qualité des données pour la table. Offre le même comportement et utilise la même syntaxe que les fonctions de décorateur d'attente, mais implémenté en tant que paramètre. Voir Attentes.
row_filter	str	(Aperçu public) Une clause de filtre de ligne pour la table. Consultez Publier des tables avec des filtres de ligne et des masques de colonne.

parameter	Type	Description
name	str	Obligatoire. Le nom de la table.
comment	str	Une description pour la table.
spark_conf	dict	Une liste de configurations Spark pour l'exécution de cette query.
table_properties	dict	Un dict de propriétés de table pour la table.
path	str	Un emplacement de stockage pour les données de table. Si non défini, utilisez l'emplacement de stockage géré pour le schéma contenant la table.
partition_cols	list	Une liste d'une ou plusieurs colonnes à utiliser pour le partitionnement de la table.
cluster_by_auto	bool	Activez le clustering liquide automatique sur la table. Ceci peut être combiné à cluster_by et définir les colonnes à utiliser comme clés de clustering initiales, suivi du monitoring et des mises à jour automatiques de la sélection des clés en fonction de la charge de travail. Voir clustering liquide automatique.
cluster_by	list	Activez le clustering liquide sur la table et définissez les colonnes à utiliser comme clés de clustering. Voir Utiliser le clustering liquide pour les tables.
schema	str OU StructType	Une définition de schéma pour la table. Les schémas peuvent être définis comme une chaîne DDL SQL ou avec un StructType Python.
expect_all, expect_all_or_drop, expect_all_or_fail	dict	Contraintes de qualité des données pour la table. Offre le même comportement et utilise la même syntaxe que les fonctions de décorateur d'attente, mais implémenté en tant que paramètre. Voir Attentes.
row_filter	str	(Aperçu public) Une clause de filtre de ligne pour la table. Consultez Publier des tables avec des filtres de ligne et des masques de colonne.