ターゲット・カタログおよびスキーマの設定
宣言型パイプライン構成 UI の[宛先] セクションでは、パイプラインのデフォルト カタログとスキーマを設定します。LakeFlowこのデフォルトのカタログとスキーマは、すべてのデータセット定義とテーブルの読み取りに使用されます。
従来の公開モードでは、 LIVE 仮想スキーマを使用して同様の動作を実現します。 デフォルト パブリッシング モード (すべての新しいパイプラインで使用) では、 LIVE キーワードは無視されます。 LIVE スキーマ (レガシー)を参照してください。
別のカタログまたはスキーマ内のデータセットをターゲットにする
LakeFlow 宣言型パイプラインは、3 層の識別子解決セマンティクスをサポートしています。 Databricks では、パイプラインに設定されたデフォルト以外のデータセットを対象とするクエリとステートメントに完全修飾識別子を使用することをお勧めします。 「Unity Catalog 識別子の解決」を参照してください。
LakeFlow 宣言型パイプライン ソース コードは、 SQL コマンド コマンド USE CATALOG catalog_name と USE SCHEMA schema_nameをサポートしています。 これらのコマンドを実行して、現在のカタログとスキーマのスコープを、これらのコマンドを含むファイルまたはノートブックに設定します。ソース コード ファイルでこれらのコマンドに従い、修飾されていない識別子または部分的に修飾された識別子を使用する操作は、パイプライン構成で設定されたデフォルト値ではなく、現在のカタログとスキーマに解決されます。 現在のカタログとスキーマとはを参照してください。
データセットが存在しない場合はどうなりますか?
次の表では、 LakeFlow 宣言型パイプライン ソース コードが存在しないデータセットを参照する場合の動作について説明します。
オペレーション | 結果 |
|---|---|
読み取り | 指定した識別子のテーブル、マテリアライズドビュー、ストリーミングテーブル、またはビューが存在しない場合、更新は失敗します。 |
書き込み | 指定した識別子に対してマテリアライズドビュー、ストリーミングテーブル、ビュー、またはシンクが存在しない場合、更新はデータセットの作成を試みます。 必要に応じて、更新によって指定されたスキーマも作成されます。 |
データセットを表示するための十分な権限がない場合、データセットが存在しないことを示すエラーメッセージが表示されることがあります。
宣言型パイプラインを使用してデータセットの読み取り、書き込み、および作成を行うには LakeFlow 十分な権限が必要です。 「要件」を参照してください。