メインコンテンツまでスキップ
に最終更新

LakeflowにおけるSpark宣言型パイプライン

Apache Spark™宣言型パイプラインは、 SQLおよびPythonでバッチおよびストリーミング データ パイプラインを構築するための宣言型フレームワークです。LakeFlow Pipelinesは Apache Spark宣言型パイプラインに基づいて構築されており、それと相互運用可能です。これらは追加の機能でそれを拡張し、パフォーマンスが最適化されたDatabricks Runtimeで実行されます。パイプラインの一般的な使用例には、クラウド ストレージ ( Amazon S3 、 Azure ADLS Gen2、 Google Cloud Storageなど) やメッセージ バス ( Apache Kafka 、 Amazon Kinesis 、Google Pub/Sub、 Azure EventHub、 Apache Pulsar など) などのソースからのデータ取り込み、増分バッチおよびストリーミング変換が含まれます。

次のトピックは、パイプラインを使い始めるのに役立ちます。

    • How to use LakeFlow Pipelines
    • こちらから開始してください。 各ステージのタスクへのLinkを使用して、パイプラインのライフサイクル全体にわたる使用方法とその理由を理解します。
    • パイプラインの概念
    • フロー、ストリーミングテーブル、およびマテリアライズドビューなどのパイプラインの高レベルの概念について説明します。

パイプラインの詳細については、以下を参照してください：

    • チュートリアル
    • チュートリアルに従って、パイプラインの使用を実際に体験してください。
    • パイプラインの開発
    • データの取り込みと変換のためのフローを作成するパイプラインを開発およびテストする方法を学びます。
    • パイプラインの監視
    • パイプラインを監視し、パイプライン クエリのトラブルシューティングを行う方法を学びます。
    • 開発者
    • パイプラインを開発するときに Python と SQL を使用する方法を学びます。
    • スタンドアロンパイプライン
    • Databricks SQLまたはPythonでスタンドアロンのストリーミングテーブルおよびマテリアライズドビューの作成方法についてご確認ください。
    • ベストプラクティス
    • 信頼性が高く、効率的で、保守可能なパイプラインを構築するための推奨パターンを学習します。

その他のリソース​

このページの見出し