ターゲットカタログとスキーマを設定する
LakeFlow宣言型パイプライン構成 UI の データ資産の確実な場所 セクションでは、パイプラインのカタログとスキーマを設定します。 このデフォルトのカタログとスキーマは、クエリ内で上書きされない限り、すべてのデータセット定義とテーブル読み取りに使用されます。
従来の公開モードでは、同様の動作を実現するためにLIVE仮想スキーマが使用されます。デフォルトの公開モード (すべての新しいパイプラインで使用される) では、 LIVEキーワードは無視されます。LIVE スキーマ (レガシー)を参照してください。
別のカタログまたはスキーマ内のデータセットをターゲットにする
Lakeflow 宣言型パイプラインは、3 層の識別子解決セマンティクスをサポートしています。 Databricks では、パイプラインに設定されたデフォルト以外のデータセットを対象とするクエリとステートメントに完全修飾識別子を使用することをお勧めします。 「Unity Catalog 識別子の解決」を参照してください。
LakeFlow宣言型パイプライン ソース コードはSQLコマンドUSE CATALOG catalog_nameおよびUSE SCHEMA schema_nameをサポートしています。 これらのコマンドを実行して、現在のカタログとスキーマのスコープをこれらのコマンドを含むファイルに設定します。ソース コード ファイル内でこれらのコマンドに続き、修飾されていない識別子または部分的に修飾された識別子を使用する操作は、パイプライン構成で設定されたデフォルト値ではなく、現在のカタログとスキーマに解決されます。「現在のカタログとスキーマとは何ですか?」を参照してください。
データセットが存在しない場合はどうなりますか?
次の表では、 Lakeflow 宣言型パイプライン ソース コードが存在しないデータセットを参照する場合の動作について説明します。
オペレーション | 結果 |
|---|---|
読み取り | 指定された識別子にテーブル、マテリアライズドビュー、ストリーミングテーブル、またはビューが存在しない場合、更新は失敗します。 |
書き込み | 指定された識別子にマテリアライズドビュー、ストリーミング テーブル、ビュー、またはシンクが存在しない場合、更新ではデータセットの作成が試行されます。 必要に応じて、更新によって指定されたスキーマも作成されます。 |
データセットを表示するのに十分な権限がない場合は、データセットが存在しないことを示すエラー メッセージが表示されることがあります。
宣言型パイプラインを使用してデータセットの読み取り、書き込み、および作成を行うには Lakeflow 十分な権限が必要です。 要件を参照してください。