メインコンテンツまでスキップ

パイプラインでデフォルトの公開モードを有効にする

この記事では、 LIVE仮想スキーマ (従来の公開モード) を使用するパイプラインを仮公開モードに移行する方法について説明します。

デフォルトの公開モードでは、単一のパイプラインで複数のカタログとスキーマに書き込むことができ、パイプライン内のテーブルとビューを操作するための簡略化された構文が含まれます。レガシーな公開モードは非推奨であると考えられているため、 Databricksすべてのパイプラインをデフォルト公開モードに移行することをお勧めします。

移行はパイプラインのメタデータに影響しますが、データセットの読み取り、移動、書き込みは行われません。

パイプラインが従来の公開モードを使用しているかどうかを確認する方法​

従来の公開モード パイプラインは、Lakeflow宣言型パイプライン設定 UI の 概要 フィールドに示されます。また、パイプラインの JSON 仕様で target フィールドが設定されている場合は、パイプラインがレガシー公開モードを使用していることを確認することもできます。

デフォルトの公開モードへの移行に関する考慮事項​

移行中に留意しておくと役立つ注意事項は次のとおりです。

  • パイプラインをデフォルトの公開モードに移行した後は、 LIVE仮想スキーマを使用して再度移行することはできません。
  • レガシー公開モードとデフォルトの公開モード間の構文の変更に対処して、移行のためにパイプラインを準備する必要がある場合があります。ほとんどのパイプラインでは変更は必要ありません。詳細については、 移行のためのパイプラインの準備を参照してください。
  • 移行はメタデータにのみ影響します。データセットの読み取り、移動、書き込みは行いません。
  • デフォルト公開モードでは、マテリアライズドビューとストリーミングテーブルを作成後にスキーマ間で移動することはできません。
  • デフォルトの公開モードでは、Databricks CLI バージョン v0.230.0 以上が必要です。Databricks CLI をインストールまたは更新するを参照してください。

デフォルトの公開モードに移行する​

次のステップを使用して、当然公開モードに移行します。

  1. ワークスペースの左側のサイドバーから 「ジョブとパイプライン」 をクリックします。

  2. リスト内で移行するパイプラインの名前をクリックします。

  3. 更新を停止し、現在実行中のパイプラインを停止します。

    移行を完了する前の 60 日以内に少なくとも 1 回の更新が実行されている必要があります。パイプラインがトリガーされた場合、またはすでに停止している場合は、単一の更新を手動で実行します。 パイプラインが連続している場合は、パイプラインがRUNNING状態になる (またはすでに 状態にある) ことを確認してから停止します。

  4. 必要に応じて、移行する必要がある可能性のあるコードを準備します。

    通常、デフォルトの公開モードは従来の公開モードと下位互換性がありますが、アップグレード時にパイプライン コードが正しく実行されるように、移行に向けてパイプラインを適切に準備してください。ほとんどのパイプラインは変更する必要はありません。

  5. パイプライン 設定 に構成を追加します: pipelines.enableDPMForExistingPipeline 、 trueに設定します。

  6. 手動更新を開始し、更新を完了させます。

  7. 必要に応じて、パイプラインの [設定] で、 pipelines.enableDPMForExistingPipelineのパイプラインの構成を削除します。この設定は移行に使用され、移行が完了した後は必要ありません。

  8. 必要に応じて、スケジュールを更新し、パイプラインの更新を有効にします。

パイプラインでデフォルトの公開モードが有効になりました。問題が発生した場合は、次のセクションを参照してトラブルシューティングを行ってください。問題が解決しない場合は、Databricks アカウント マネージャーにお問い合わせください。

移行のためのパイプラインの準備​

デフォルトの公開モードは通常、従来の公開モードと下位互換性がありますが、一部のパイプラインは実行するために変更する必要がある場合があります。次の注意事項は、パイプラインの移行の準備に役立ちます。

LIVEキーワード​

レガシー公開モードのLIVEキーワードは、パイプラインのデフォルトでオブジェクトのカタログとスキーマを修飾します。デフォルトの公開モードでは、テーブルまたはビューを修飾するためにLIVEキーワードが使用されなくなりました。LIVEキーワードは無視され、パイプラインのデフォルトのカタログとスキーマに置き換えられます。通常、パイプラインに後でUSE CATALOGまたはUSE SCHEMAコマンドを追加しない限り、レガシー公開モードのLIVEキーワードと同じデフォルトのカタログとスキーマが使用されます。

レガシー公開モードでは、 LIVEキーワードのない部分的に修飾されたテーブルおよびビュー参照 ( table1など) では、Spark のデフォルトが使用されます。デフォルト公開モードでは、部分的に修飾された参照はパイプラインを確実に使用します。 Spark のデフォルトとパイプラインが異なる場合は、移行する前に、部分的に修飾されたテーブルまたはビューの名前を完全に修飾する必要があります。

注記

移行後、コードからLIVEキーワードを削除できます。必要に応じて、 LIVEキーワードを完全修飾テーブル名またはビュー名に置き換えることができます。

LIVEキーワードを使用した列参照​

デフォルトの公開モードでは、 LIVEキーワードを使用して列を定義することはできません。たとえば、次のコード:

SQL
CREATE OR REPLACE MATERIALIZED VIEW target AS SELECT LIVE.source.id FROM LIVE.source;

移行前に、次のように置き換える必要があります。

SQL
CREATE OR REPLACE MATERIALIZED VIEW target AS SELECT source.id FROM LIVE.source;

このバージョンはどちらの公開モードでも動作します。

flow_progressイベントの変更​

パイプラインを移行すると、イベント ログ内のflow_progressイベントのデータセット名が変更されます。このパイプラインのイベント ログにクエリがある場合は、クエリを更新する必要がある可能性があります。

レガシー公開モードでは、データセット名はtable名前です。デフォルトの公開モードでは、データセット名は完全修飾catalog.schema.table名になります。

イベント ログの使用方法の詳細については、 LakeFlow宣言型パイプライン イベント ログを参照してください。

警告とエラー​

従来の公開モードの一部の警告は、デフォルトの公開モードのエラーに置き換えられました。

自己参照 自己参照 (または循環参照) は、デフォルトの公開モードでは許可されません (レガシー公開モードでは未定義の結果になります)。例えば：

SQL
CREATE OR REPLACE MATERIALIZED VIEW table1 AS SELECT * FROM target_catalog.target_schema.table1;

レガシー公開モードでは警告が生成されます (結果は未定義になります)。デフォルトの公開モードでは、エラーが発生します。

マルチパート名 デフォルトの公開モード (マルチパート名) では、名前にピリオドを使用することはできません。たとえば、次の Python コードはレガシー モードでは有効ですが、デフォルト モードでは有効ではありません。

Python
@dlt.view(name=”a.b.c”)
def transform():
  return …

移行する前に、テーブルの名前をピリオド文字を含まない名前に変更します。

注記

この例では、古い構文@dlt.viewも使用されています。Databricks では、パイプラインに@dp.temporary_view()を使用することをお勧めします。詳細については、 LakeFlow宣言型パイプラインPython言語リファレンスを参照してください。

トラブルシューティング​

次の表では、レガシー公開モードから移行するときに発生する可能性のあるエラーについて説明します。

エラー

説明

CANNOT_MIGRATE_HMS_PIPELINE

Hive metastoreパイプラインの移行はサポートされていません。 代わりに、移行前にHive metastoreからUnity Catalogにパイプラインのクローンを作成できる場合があります。 Hive metastoreラインを複製してUnity Catalogパイプラインを作成するを参照してください。

MISSING_EXPECTED_PROPERTY

このエラーは、 pipelines.enableDPMForExistingPipeline構成を追加する前に最近の更新を実行しなかったことを示します。その構成を削除し、不足している場合は、 pipelines.setMigrationHints構成を追加して、 trueに設定します。アップデートを実行し、ステップ 3 から続行します。

PIPELINE_INCOMPATIBLE_WITH_DPM

このエラーは、パイプライン コードがデフォルトの公開モードと完全に互換性がないことを示しています。移行のためのパイプラインの準備を参照してください。

に最終更新