マネージド取り込みパイプラインの一般的なパターン

LakeFlow Connect管理された取り込みパイプラインを最適化するためのパターンとテクニックを提供します。 これらのパターンを使用して、取り込まれるデータの制御、パイプラインの更新の管理、高度な動作の構成を行います。

すべてのコネクタがこのセクションの共通パターンをサポートしているわけではありません。

トピック	説明
列の選択	取り込み中に特定の列を選択または除外して、データ量を削減し、パフォーマンスを向上させます。
フルリフレッシュ	ソース システムからデータを完全に強制的に再ロードします。
履歴追跡	緩やかに変化するディメンション ( SCD ) タイプ 2 を使用して、データの履歴的な変更を追跡します。
複数宛先パイプライン	単一のソースから複数の宛先テーブルまたはカタログにデータを取り込みます。
パイプラインのメンテナンス	パイプラインの更新、停止する、ワークフローのトラブルシューティングを管理します。
行フィルタリング	SQL のような条件を使用して、取り込み中に行をフィルタリングします。
宛先テーブルに名前を付ける	宛先テーブルに名前を付けます。デフォルトでは、宛先テーブルには対応するソース テーブルの名前が付けられます。ただし、同じスキーマ内に同じソース オブジェクトを 2 回取り込む場合は、宛先テーブルに名前を付けると便利です。マネージド コネクタは、同じ宛先スキーマ内の重複するテーブル名をサポートしません。宛先テーブルに名前を付けると、組織の命名規則に従ってテーブルを調整することもできます。