DLT
DLT は、 SQL と Pythonでバッチとストリーミング データパイプラインを作成するためのフレームワークです。 DLTの一般的なユースケースには、クラウドストレージ(Amazon S3、Azure ADLS Gen2、Google Cloud Storageなど)やメッセージバス(Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub、Apache Pulsarなど)などのソースからのデータ取り込み、およびインクリメンタル バッチおよびストリーミング変換が含まれます。
このセクションでは、 DLTの使用に関する詳細な情報を提供します。 次のトピックは、作業を開始するのに役立ちます。
トピック | 説明 |
|---|---|
DLTの高レベルの概念 (パイプライン、フロー、ストリーミングテーブル、マテリアライズドビューなど) について説明します。 | |
チュートリアルに従って、DLTの使用を実際に体験してください。 | |
データの取り込みと変換のためのフローを作成するパイプラインを開発およびテストする方法について説明します。 | |
パイプラインをスケジュールおよび構成する方法について説明します。 | |
パイプラインを監視し、パイプラインクエリのトラブルシューティングを行う方法を学びます。 | |
DLT パイプラインを開発するときに Python と SQL を使用する方法について説明します。 | |
で DLTストリーミングテーブルとマテリアライズドビュー の使用方法については、こちらをご覧ください。Databricks SQL |