criar_tabela_de_streaming

Use a função create_streaming_table() para criar uma tabela de destino para registros de saída por operações de transmissão, incluindo registros de saída create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() e append_flow .

nota

As funções create_target_table() e create_streaming_live_table() estão obsoletas. A Databricks recomenda atualizar o código existente para usar a create_streaming_table() função.

Sintaxe

Python

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = True,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Parâmetros

Parâmetro	Tipo	Descrição
name	str	Obrigatório. O nome da tabela.
comment	str	Uma descrição para a tabela.
spark_conf	dict	Uma lista de configurações do Spark para a execução desta consulta
table_properties	dict	Um dict de propriedades de tabela para a tabela.
path	str	Um local de armazenamento para dados da tabela. Se não for definido, use o local de armazenamento gerenciar para o esquema que contém a tabela.
partition_cols	list	Uma lista de uma ou mais colunas a serem usadas para particionar a tabela.
cluster_by_auto	bool	Habilitar clustering automático de líquidos na tabela. Isso pode ser combinado com cluster_by e definir as colunas a serem usadas como chave clustering inicial, seguidas de monitoramento e atualizações automáticas de seleção de key com base na carga de trabalho. Veja clusteringautomático de líquidos.
cluster_by	list	Habilite clustering líquido na tabela e defina as colunas a serem usadas como chave clustering . Consulte Usar clustering líquido para tabelas.
schema	str ou StructType	Uma definição de esquema para a tabela. Os esquemas podem ser definidos como strings DDL SQL ou com um Python StructType.
expect_all, expect_all_or_drop, expect_all_or_fail	dict	Restrições de qualidade de dados para a tabela. Fornece o mesmo comportamento e usa a mesma sintaxe das funções do decorador de expectativa, mas implementadas como um parâmetro. Veja Expectativas.
row_filter	str	(Visualização pública) Uma cláusula de filtro de linha para a tabela. Consulte Publicar tabelas com filtros de linha e máscaras de coluna.