vue_temporaire
Pour définir une vue dans un pipeline avec Python, appliquez le décorateur @temporary_view, puis référencez les vues par leur nom dans d'autres queries, y compris les vues matérialisées et les tables de streaming. Les résultats de la vue sont calculés lorsqu'une query est effectuée.
L'ancien module dlt a utilisé le décorateur @view pour définir une vue temporaire. Databricks recommande d'utiliser le module pyspark.pipelines (importé en tant que dp) et le décorateur @temporary_view pour définir des vues temporaires.
Syntaxe
from pyspark import pipelines as dp
@dp.temporary_view(
name="<name>",
comment="<comment>")
@dp.expect(...)
def <function-name>():
return (<query>)
parameter
parameter | Type | Description |
|---|---|---|
fonction |
| Obligatoire. Une fonction qui renvoie un Apache Spark DataFrame ou un DataFrame de streaming à partir d'une query définie par l'utilisateur. |
|
| Le nom de la vue. S'il n'est pas fourni, correspond default au nom de la fonction. Le nom doit être unique au sein du catalogue et du schéma ciblés par le pipeline. |
|
| Une description pour la table. |