Référence du développeur de pipeline

Implémentez le chargement de données et les transformations dans les LakeFlow Pipelines à l'aide de requêtes qui définissent les tables de streaming et les vues matérialisées. Les LakeFlow Pipelines prennent en charge les interfaces SQL et Python. Puisqu'elles offrent des fonctionnalités équivalentes pour la plupart des cas d'utilisation de traitement de données, vous pouvez choisir l'interface avec laquelle vous êtes le plus à l'aise. Pour vous aider à choisir, consultez Choisir entre SQL et Python.

Développement Python

Créez des pipelines à l'aide de code Python.

Sujet	Description
Développez du code de pipeline avec Python	Un aperçu du développement de pipelines en Python.
Lakeflow pipelines Référence du langage Python	Documentation de référence Python pour le module `pipelines`.
Gérer les dépendances Python pour les pipelines	Instructions pour la gestion des bibliothèques Python dans les pipelines.
Importer des modules Python à partir des dossiers Git ou des fichiers du workspace.	Instructions pour l'utilisation des modules Python que vous avez stockés dans Databricks.

Sujet	Description
Développez du code de pipeline avec Python	Un aperçu du développement de pipelines en Python.
Lakeflow pipelines Référence du langage Python	Documentation de référence Python pour le module `pipelines`.
Gérer les dépendances Python pour les pipelines	Instructions pour la gestion des bibliothèques Python dans les pipelines.
Importer des modules Python à partir des dossiers Git ou des fichiers du workspace.	Instructions pour l'utilisation des modules Python que vous avez stockés dans Databricks.

Développement SQL

Créez des pipelines à l'aide de code SQL.

Sujet	Description
Développez du code Lakeflow pipelines avec SQL.	Un aperçu du développement de pipelines en SQL.
Référence linguistique du pipeline SQL	Documentation de référence pour la syntaxe SQL pour LakeFlow Pipelines.
Pipelines autonomes	Utilisez Databricks SQL pour travailler avec des pipelines.

Sujet	Description
Développez du code Lakeflow pipelines avec SQL.	Un aperçu du développement de pipelines en SQL.
Référence linguistique du pipeline SQL	Documentation de référence pour la syntaxe SQL pour LakeFlow Pipelines.
Pipelines autonomes	Utilisez Databricks SQL pour travailler avec des pipelines.

Autres sujets de développement

Les sujets suivants décrivent d'autres façons de développer des pipelines.

Sujet	Description
Convertir un pipeline en projet de bundle	Convertissez un pipeline existant en bundle, ce qui vous permet de gérer votre configuration de traitement des données dans un fichier YAML géré par le contrôle de code source pour une maintenance plus facile et des déploiements automatisés vers les environnements cibles.
Métaprogrammation avec LakeFlow Pipelines	Créer des pipelines avec dlt-meta. Utilisez la bibliothèque open source `dlt-meta` pour automatiser la création de pipelines avec un cadre basé sur les métadonnées. Didacticiel : Créez plusieurs flux avec différents paramètres. Créez plusieurs flux en boucle en Python.
Développez le code de pipeline dans votre environnement de développement local.	Présentation des options de développement de pipelines en local.

Sujet

Description

Convertir un pipeline en projet de bundle

Convertissez un pipeline existant en bundle, ce qui vous permet de gérer votre configuration de traitement des données dans un fichier YAML géré par le contrôle de code source pour une maintenance plus facile et des déploiements automatisés vers les environnements cibles.

Métaprogrammation avec LakeFlow Pipelines

Créer des pipelines avec dlt-meta. Utilisez la bibliothèque open source dlt-meta pour automatiser la création de pipelines avec un cadre basé sur les métadonnées.

Didacticiel : Créez plusieurs flux avec différents paramètres. Créez plusieurs flux en boucle en Python.

Développez le code de pipeline dans votre environnement de développement local.

Présentation des options de développement de pipelines en local.

Sujet	Description
Convertir un pipeline en projet de bundle	Convertissez un pipeline existant en bundle, ce qui vous permet de gérer votre configuration de traitement des données dans un fichier YAML géré par le contrôle de code source pour une maintenance plus facile et des déploiements automatisés vers les environnements cibles.
Métaprogrammation avec LakeFlow Pipelines	Créer des pipelines avec dlt-meta. Utilisez la bibliothèque open source `dlt-meta` pour automatiser la création de pipelines avec un cadre basé sur les métadonnées. Didacticiel : Créez plusieurs flux avec différents paramètres. Créez plusieurs flux en boucle en Python.
Développez le code de pipeline dans votre environnement de développement local.	Présentation des options de développement de pipelines en local.