Expectativas
Esta página contém documentação de referência Python para expectativas de pipeline declarativo LakeFlow .
Os decoradores de expectativa declaram restrições de qualidade de dados em visualizações materializadas, tabelas de transmissão ou visualizações temporárias criadas no pipeline declarativo LakeFlow .
O módulo dp inclui seis decoradores para controlar o comportamento das expectativas. A tabela a seguir descreve as dimensões nas quais essas permutações diferem:
| Comportamento | Opções | 
|---|---|
| Ação em caso de violação | 
 | 
| Número de expectativas | Uma única expectativa ou múltiplas expectativas. | 
Você pode adicionar vários decoradores de expectativa ao seu conjunto de dados, proporcionando flexibilidade na rigidez das suas restrições de qualidade de dados.
Quando você usa decoradores expect_all , cada expectativa tem sua própria descrição e relata métricas granulares.
Sintaxe
Os decoradores de expectativa vêm depois de um decorador @dp.table(), @dp.materialized_view ou @dp.temporary_view() e antes de uma função de definição dataset , como no exemplo a seguir:
from pyspark import pipelines as dp
@dp.table()
@dp.expect(description, constraint)
@dp.expect_or_drop(description, constraint)
@dp.expect_or_fail(description, constraint)
@dp.expect_all({description: constraint, ...})
@dp.expect_all_or_drop({description: constraint, ...})
@dp.expect_all_or_fail({description: constraint, ...})
def <function-name>():
    return (<query>)
Parâmetros
| Parâmetro | Tipo | Descrição | 
|---|---|---|
| 
 | 
 | Obrigatório. Uma descrição que identifica a restrição. As descrições de restrições devem ser exclusivas para cada dataset. | 
| 
 | 
 | Obrigatório. A cláusula de restrição é uma instrução condicional SQL que deve ser avaliada como  | 
Os decoradores expect_all exigem que descrições e restrições sejam passadas como um dict de par key-value.