Aller au contenu principal
Dernière mise à jour le

Spark Declarative Pipelines sur Lakeflow

Apache Spark™ Declarative Pipelines est un framework déclaratif pour la création de pipelines de données batch et en streaming en SQL et Python. Les pipelines LakeFlow Pipelines sont basés sur Apache Spark Declarative Pipelines et sont interopérables avec ce dernier. Ils l’étendent avec des fonctionnalités supplémentaires et s’exécutent sur Databricks Runtime, optimisé pour la performance. Les cas d'utilisation courants des pipelines incluent l'ingestion de données provenant de sources telles que le stockage cloud (comme Amazon S3, Azure ADLS Gen2 et Google Cloud Storage) et les bus de messages (comme Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub et Apache Pulsar), ainsi que les transformations batch et en streaming incrémentielles.

Les rubriques suivantes vous aident à démarrer avec les pipelines.

    • Concepts de pipeline
    • Découvrez les concepts généraux des pipelines, y compris les flux, les tables de streaming et les vues matérialisées.

Pour plus d’informations détaillées sur les pipelines, consultez :

    • Tutoriels
    • Suivez les tutoriels pour acquérir une expérience pratique de l'utilisation des pipelines.
    • Développez des pipelines
    • Découvrez comment développer et tester des pipelines qui créent des flux pour l'ingestion et la transformation de données.
    • Développeurs
    • Apprenez à utiliser Python et SQL lors du développement de pipelines.
    • Pipelines autonomes
    • Découvrez comment créer des tables de streaming autonomes et des vues matérialisées dans Databricks SQL ou Python.
    • Bonnes pratiques
    • Découvrez les modèles recommandés pour la construction de pipelines fiables, efficaces et maintenables.

Ressources supplémentaires​

Sur cette page