Databricks レイクハウスにデータを取り込む

Databricks は、Delta Lake がサポートするレイクハウスにさまざまなソースからデータを取り込むさまざまな方法を提供します。 この記事では、データソースの一覧と、各ソース タイプからデータを取り込むためのステップ へのリンクを提供します。

クラウドオブジェクトストレージ

クラウド・オブジェクト・ストレージからの増分インジェストを構成する方法については、 クラウド・オブジェクト・ストレージからのデータのインジェストを参照してください。

LakeFlowコネクト

Databricks LakeFlow Connect は、エンタープライズ アプリケーションおよびデータベースからの取り込み用のネイティブ コネクタを提供します。 結果として得られる取り込みパイプラインはUnity Catalogによって管理され、サーバレス コンピュートとDelta Live Tablesによって強化されます。

LakeFlow Connect は、効率的な増分読み取りと書き込みを活用して、データの取り込みをより高速かつスケーラブルに、そしてコスト効率よく行うと同時に、データを下流での使用に備えて最新の状態に維持します。

ストリーミングソース

Databricks は、ストリーム メッセージング サービスと統合して、リアルタイムに近いデータ をレイクハウスに取り込むことができます。 ストリーミングと増分インジェストを参照してください。

ローカル・データ・ファイル

ローカル データ ファイルを安全にアップロードしたり、公開 URL からファイルをダウンロードしたりできます。 「Databricks へのファイルのアップロード」を参照してください。

Delta Lakeへのデータの移行

既存のデータを Delta Lake に移行する方法については、Delta Lake へのデータの移行を参照してください。