visualização_materializada
The @materialized_view decorator can be used to define materialized views in a Lakeflow pipeline or standalone pipeline.
Para definir uma view materializada, aplique @materialized_view a uma consulta que executa uma leitura de lotes em uma fonte de dados.
Você também pode aplicar @materialized_view fora de um pipeline, em um notebook em um compute geral serverless, para definir uma materialized view autônoma. Nesse caso, você não pode passar private, usar uma instrução REFRESH ou definir um schedule de refresh. Faça uma nova execução do decorador para refresh a tabela, adicionando full_refresh=True para um refresh completo. Para outras limitações, consulte Limitações. Consulte Definir tabelas com os decoradores de pipelines.
Sintaxe
from pyspark import pipelines as dp
@dp.materialized_view(
name="<name>",
comment="<comment>",
spark_conf = {"<key>" : "<value>", "<key>" : "<value>"},
table_properties = {"<key>" : "<value>", "<key>" : "<value>"},
path = "<storage-location-path>",
partition_cols = ["<partition-column>", "<partition-column>"],
cluster_by_auto = False,
cluster_by = ["<clustering-column>", "<clustering-column>"],
schema = "schema-definition",
refresh_policy = None,
row_filter = "row-filter-clause",
private = False,
override_schema = "partial-schema-definition" # Mutually exclusive with schema.
)
@dp.expect(...)
def <function-name>():
return (<query>)
Parâmetros
@dp.expect() é uma cláusula de expectativa opcional. Você pode incluir múltiplas expectativas. Veja Expectativas.
Parâmetro | Tipo | Descrição |
|---|---|---|
função |
| Obrigatório. Uma função que retorna um Apache Spark lotes DataFrame de uma consulta definida pelo usuário. |
|
| O nome da tabela. Se não for fornecido, o padrão será o nome da função. |
|
| Uma descrição para a tabela. |
|
| Uma lista de configurações do Spark para a execução desta consulta |
|
| Um |
|
| Um local de armazenamento para dados da tabela. Se não for definido, use o local de armazenamento gerenciar para o esquema que contém a tabela. |
|
| Uma lista de uma ou mais colunas a serem usadas para particionar a tabela. |
|
| Ativar o liquid clustering automático na tabela. Isso pode ser combinado com |
|
| Habilite clustering líquido na tabela e defina as colunas a serem usadas como chave clustering . Consulte Usar clustering líquido para tabelas. |
|
| A definição completa do esquema para a tabela. Esquemas podem ser definidos como uma string SQL DDL ou com um Python |
|
| (Beta) Em pipelines de workspace Python, declara definições de coluna selecionadas e infere as colunas de saída de query restantes. Aceita uma string DDL SQL ou |
|
| Crie uma tabela, mas não publique a tabela no metastore. Essa tabela está disponível para o pipeline, mas não está acessível fora do pipeline. Tabelas privadas persistem durante a vida útil do pipeline. O padrão é |
|
| Uma string que define a política de refresh para a view materializada. Um de: O padrão é |
|
| (Visualização pública) Uma cláusula de filtro de linha para a tabela. Consulte Publicar tabelas com filtros de linha e máscaras de coluna. |
Especificar um esquema é opcional e pode ser feito com PySpark StructType ou SQL DDL. Ao especificar um esquema, você pode incluir opcionalmente colunas geradas, máscaras de coluna e chaves primária e estrangeira. Ver:
- Colunas geradas pelo Delta Lake
- Restrições no Databricks
- Publique tabelas com filtros de linha e máscaras de coluna.
Exemplos
from pyspark import pipelines as dp
from pyspark.sql.types import StructType, StructField, StringType, LongType
# Specify a schema
sales_schema = StructType([
StructField("customer_id", StringType(), True),
StructField("customer_name", StringType(), True),
StructField("number_of_line_items", StringType(), True),
StructField("order_datetime", StringType(), True),
StructField("order_number", LongType(), True)]
)
@dp.materialized_view(
comment="Raw data on sales",
schema=sales_schema)
def sales():
return ("...")
# Specify a schema with SQL DDL, use a generated column, and set clustering columns
@dp.materialized_view(
comment="Raw data on sales",
schema="""
customer_id STRING,
customer_name STRING,
number_of_line_items STRING,
order_datetime STRING,
order_number LONG,
order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime))
""",
cluster_by = ["order_day_of_week", "customer_id"])
def sales():
return ("...")
# Use automatic liquid clustering to let Databricks choose the clustering columns
@dp.materialized_view(
comment="Raw data on sales",
cluster_by_auto=True)
def sales():
return ("...")
# Specify partition columns
@dp.materialized_view(
comment="Raw data on sales",
schema="""
customer_id STRING,
customer_name STRING,
number_of_line_items STRING,
order_datetime STRING,
order_number LONG,
order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime))
""",
partition_cols = ["order_day_of_week"])
def sales():
return ("...")
# Specify table constraints
@dp.materialized_view(
schema="""
customer_id STRING NOT NULL PRIMARY KEY,
customer_name STRING,
number_of_line_items STRING,
order_datetime STRING,
order_number LONG,
order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime)),
CONSTRAINT fk_customer_id FOREIGN KEY (customer_id) REFERENCES main.default.customers(customer_id)
""")
def sales():
return ("...")
# Specify a row filter and column mask
@dp.materialized_view(
schema="""
id int COMMENT 'This is the customer ID',
name string COMMENT 'This is the customer full name',
region string,
ssn string MASK catalog.schema.ssn_mask_fn USING COLUMNS (region)
""",
row_filter = "ROW FILTER catalog.schema.us_filter_fn ON (region, name)")
def sales():
return ("...")
# Specify a refresh policy
@dp.materialized_view(
refresh_policy = 'incremental_strict'
)
def sales():
return ("...")