Créer des pipelines

Créez des LakeFlow Pipelines en chargeant et transformant les données, en appliquant des contrôles de qualité des données et en écrivant les résultats dans vos tables cibles. Les sujets suivants couvrent les tâches impliquées dans la création et l’exécution de pipelines.

Pour en savoir plus sur les concepts déclaratifs derrière les pipelines (datasets, flux et le Graphe de pipeline), consultez What are LakeFlow Pipelines?. Pour une procédure pas à pas, consultez Didacticiel : Créer un pipeline ETL à l'aide de la capture des données modifiées.

Sujet	Description
Développez dans l'Éditeur LakeFlow Pipelines	Créez, exécutez et déboguez des pipelines dans l'éditeur, avec un Graphe de pipeline, des aperçus de données et une exécution sélective.
Utilisez Genie Code pour le développement de pipelines	Générez, modifiez et déboguez le code de pipeline à partir d'une seule invite avec le mode Agent Genie Code dans l'éditeur.
Gérer les identités et les privilèges	Contrôlez l'identité qui exécute un pipeline et qui peut créer, exécuter, refresh et afficher les pipelines et leurs résultats.
Charger les données	Ingérez des données dans votre pipeline depuis le stockage d'objets cloud et les bus de messages en streaming.
convertir des données, transformer des données	Appliquer des transformations, des jointures et des agrégations pour créer des datasets dérivés.
refresh complète pour les tables de streaming	Retraiter toutes les données source pour reconstruire une table de streaming.
Qualité des données	Validez les enregistrements avec des attentes et contrôlez ce qui se passe lorsqu'un enregistrement échoue.
Écrivez des dataset	Écrivez les résultats du pipeline vers des destinations telles que Apache Kafka et Azure Event Hubs, et utilisez des flux pour écrire vers des cibles de streaming.

Sujet	Description
Développez dans l'Éditeur LakeFlow Pipelines	Créez, exécutez et déboguez des pipelines dans l'éditeur, avec un Graphe de pipeline, des aperçus de données et une exécution sélective.
Utilisez Genie Code pour le développement de pipelines	Générez, modifiez et déboguez le code de pipeline à partir d'une seule invite avec le mode Agent Genie Code dans l'éditeur.
Gérer les identités et les privilèges	Contrôlez l'identité qui exécute un pipeline et qui peut créer, exécuter, refresh et afficher les pipelines et leurs résultats.
Charger les données	Ingérez des données dans votre pipeline depuis le stockage d'objets cloud et les bus de messages en streaming.
convertir des données, transformer des données	Appliquer des transformations, des jointures et des agrégations pour créer des datasets dérivés.
refresh complète pour les tables de streaming	Retraiter toutes les données source pour reconstruire une table de streaming.
Qualité des données	Validez les enregistrements avec des attentes et contrôlez ce qui se passe lorsqu'un enregistrement échoue.
Écrivez des dataset	Écrivez les résultats du pipeline vers des destinations telles que Apache Kafka et Azure Event Hubs, et utilisez des flux pour écrire vers des cibles de streaming.

Ressources supplémentaires

• Optimiser le traitement avec état avec des filigranes.
• refresh incrémentiel pour les vues matérialisées
• Accédez aux vues matérialisées et aux tables de streaming à l'aide de systèmes externes.
• Développer et déboguer des pipelines avec un Notebook (hérité)
• Développez le code de pipeline dans votre environnement de développement local.
• Utiliser les paramètres avec les pipelines
• Convertir un pipeline en projet de bundle
• Préparez vos données pour la conformité GDPR