Pular para o conteúdo principal

criar_tabela_de_streaming

Use a função create_streaming_table() em um pipeline para criar uma tabela de destino para registros de saída de transmissões operacionais, incluindo create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() e append_flow output records.

nota

As funções create_target_table() e create_streaming_live_table() estão obsoletas. A Databricks recomenda atualizar o código existente para usar a create_streaming_table() função.

Sintaxe​

Python
from pyspark import pipelines as dp

dp.create_streaming_table(
name = "<table-name>",
comment = "<comment>",
spark_conf={"<key>" : "<value", "<key" : "<value>"},
table_properties={"<key>" : "<value>", "<key>" : "<value>"},
path="<storage-location-path>",
partition_cols=["<partition-column>", "<partition-column>"],
cluster_by_auto = False,
cluster_by = ["<clustering-column>", "<clustering-column>"],
schema="schema-definition",
expect_all = {"<key>" : "<value", "<key" : "<value>"},
expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
row_filter = "row-filter-clause",
private = False,
override_schema = "partial-schema-definition" # Mutually exclusive with schema.
)

Parâmetros​

Parâmetro

Tipo

Descrição

name

str

Obrigatório. O nome da tabela.

comment

str

Uma descrição para a tabela.

spark_conf

dict

Uma lista de configurações do Spark para a execução desta consulta

table_properties

dict

Um dict de propriedades de tabela para a tabela.

path

str

Um local de armazenamento para dados da tabela. Se não for definido, use o local de armazenamento gerenciar para o esquema que contém a tabela.

partition_cols

list

Uma lista de uma ou mais colunas a serem usadas para particionar a tabela.

cluster_by_auto

bool

Habilitar clustering automático de líquidos na tabela. Isso pode ser combinado com cluster_by e definir as colunas a serem usadas como chave clustering inicial, seguidas de monitoramento e atualizações automáticas de seleção de key com base na carga de trabalho. Veja clusteringautomático de líquidos.

cluster_by

list

Habilite clustering líquido na tabela e defina as colunas a serem usadas como chave clustering . Consulte Usar clustering líquido para tabelas.

schema

str ou StructType

A definição de esquema completa para a tabela. Esquemas podem ser definidos como uma string SQL DDL ou com um Python StructType.

override_schema

str ou StructType

(Beta) Em pipelines de workspace Python, declara definições de coluna selecionadas e infere as colunas de saída de query restantes. Aceita uma string DDL SQL ou StructType. Não pode ser combinado com schema ou usado para um destino AUTO CDC ou AUTO CDC FROM SNAPSHOT. Consulte Usar inferência parcial de esquema em Python LakeFlow Pipelines.

expect_all, expect_all_or_drop, expect_all_or_fail

dict

Restrições de qualidade de dados para a tabela. Fornece o mesmo comportamento e usa a mesma sintaxe das funções do decorador de expectativa, mas implementadas como um parâmetro. Veja Expectativas.

row_filter

str

(Visualização pública) Uma cláusula de filtro de linha para a tabela. Consulte Publicar tabelas com filtros de linha e máscaras de coluna.

private

bool

Quando True, cria uma tabela de transmissão privada que não é publicada no catálogo e só é acessível dentro do pipeline. As tabelas de transmissão privadas persistem durante todo o ciclo de vida do pipeline. As tabelas de transmissão privadas eram criadas anteriormente com o parâmetro temporary. O default é False.

Parâmetro

Tipo

Descrição

name

str

Obrigatório. O nome da tabela.

comment

str

Uma descrição para a tabela.

spark_conf

dict

Uma lista de configurações do Spark para a execução desta consulta

table_properties

dict

Um dict de propriedades de tabela para a tabela.

path

str

Um local de armazenamento para dados da tabela. Se não for definido, use o local de armazenamento gerenciar para o esquema que contém a tabela.

partition_cols

list

Uma lista de uma ou mais colunas a serem usadas para particionar a tabela.

cluster_by_auto

bool

Habilitar clustering automático de líquidos na tabela. Isso pode ser combinado com cluster_by e definir as colunas a serem usadas como chave clustering inicial, seguidas de monitoramento e atualizações automáticas de seleção de key com base na carga de trabalho. Veja clusteringautomático de líquidos.

cluster_by

list

Habilite clustering líquido na tabela e defina as colunas a serem usadas como chave clustering . Consulte Usar clustering líquido para tabelas.

schema

str ou StructType

A definição de esquema completa para a tabela. Esquemas podem ser definidos como uma string SQL DDL ou com um Python StructType.

override_schema

str ou StructType

(Beta) Em pipelines de workspace Python, declara definições de coluna selecionadas e infere as colunas de saída de query restantes. Aceita uma string DDL SQL ou StructType. Não pode ser combinado com schema ou usado para um destino AUTO CDC ou AUTO CDC FROM SNAPSHOT. Consulte Usar inferência parcial de esquema em Python LakeFlow Pipelines.

expect_all, expect_all_or_drop, expect_all_or_fail

dict

Restrições de qualidade de dados para a tabela. Fornece o mesmo comportamento e usa a mesma sintaxe das funções do decorador de expectativa, mas implementadas como um parâmetro. Veja Expectativas.

row_filter

str

(Visualização pública) Uma cláusula de filtro de linha para a tabela. Consulte Publicar tabelas com filtros de linha e máscaras de coluna.

private

bool

Quando True, cria uma tabela de transmissão privada que não é publicada no catálogo e só é acessível dentro do pipeline. As tabelas de transmissão privadas persistem durante todo o ciclo de vida do pipeline. As tabelas de transmissão privadas eram criadas anteriormente com o parâmetro temporary. O default é False.

Nesta página