マネージド取り込みパイプラインの一般的なパターン

LakeFlow Connect管理された取り込みパイプラインを最適化するためのパターンとテクニックを提供します。 これらのパターンを使用して、取り込まれるデータの制御、パイプラインの更新の管理、高度な動作の構成を行います。

すべてのコネクタがこのセクションの共通パターンをサポートしているわけではありません。

トピック	説明
列の選択	取り込み中に特定の列を選択または除外して、データ量を削減し、パフォーマンスを向上させます。
フルリフレッシュ	ソース システムからデータを完全に強制的に再ロードします。
履歴追跡	緩やかに変化するディメンション ( SCD ) タイプ 2 を使用して、データの履歴的な変更を追跡します。
複数の目的地	単一のソースから複数の宛先テーブルまたはカタログにデータを取り込みます。
パイプラインのメンテナンス	パイプラインの更新、停止する、ワークフローのトラブルシューティングを管理します。
テーブル名の変更	パイプラインを再作成せずに、宛先テーブルの名前を変更します。