Configure ストリーミングデータソース

Databricks は、ストリームメッセージングサービスと統合して、 Databricks レイクハウスにほぼリアルタイムデータインジェストを行うことができます。 Databricks は、レイクハウス内のエンリッチメントおよび変換されたデータを他のストリーミングシステムと同期することもできます。

構造化ストリーミングは、 Apache Sparkでサポートされているファイル形式へのネイティブストリーミングアクセスを提供しますが、 Databricks では、クラウドオブジェクトストレージからデータを読み取るほとんどの構造化ストリーミング操作に Auto Loader することをお勧めします。「Auto Loaderとは」を参照してください。

ストリーミングメッセージを Delta Lake に取り込むと、メッセージを無期限に保持できるため、保持しきい値によるデータ損失を心配することなくデータストリームを再生できます。