メインコンテンツまでスキップ

Lakeflow Designer でパラメーターを使用する

Lakeflow Designerの パラメーター は、ビジュアルデータ準備全体に対して定義される名前付きの値です。SQLコードやPythonコード、サポートされるオペレーターの構成フィールド、およびオペレーターの有効化/無効化を行う式でパラメーターを参照できます。パラメーターを使用すると、異なる環境で同じビジュアルデータ準備をランできます。たとえば、開発中にテストカタログをランし、本番運用中に本番運用カタログをランできます。

要件​

  • パラメーターを作成するか、フィールドバインディングを変更するには、ビジュアルデータの準備を編集する権限が必要です。
  • グループをパラメーター化するには、次の操作を行う権限が必要です
    • ビジュアルデータの準備を編集する
    • プレビューをランする

パラメーターの定義​

パラメーターを管理するには、左ペイン の[パラメーター] を選択します。各パラメーターには、定義時に設定する値があります。ビジュアルデータの準備がスケジュールに従って、またはジョブとしてランされる場合、その値を上書きできます。本番運用でパラメーター値を上書きするを参照してください。

このパネルには、各パラメーターを使用する演算子が一覧表示されます。演算子名を選択して、キャンバス上で焦点を合わせます。

演算子のパラメーターを参照する​

パラメーターを参照する方法は、その使用場所によって異なります。

  • SQL演算子 : :environmentなどの名前付きパラメーターマーカー構文を使用します。名前付きパラメーターマーカーの使用を参照してください。
  • Python演算子 :dbutils.widgets.get("environment")などのdbutils.widgets.get()を呼び出します。「ウィジェット・ツール(dbutils.widgets)」を参照してください。
  • サポートされているオペレーター構成フィールド :オペレーターの構成ペインでフィールドにカーソルを合わせ、波括弧アイコン。( パラメーターを使用 )を選択します。:source_tableのような式を入力するか、既存のパラメーターを選択してください。サポートされるフィールドには以下が含まれます。
    • ソース : テーブル 、 ファイルパス 、および ファイル形式 。
    • 出力 : カタログ 、 スキーマ 、 テーブル 、 ビュー 、 ボリューム 、 ファイル名 、および 書き込みモード 。
    • 制限 : 制限 。
    • フィルター :個々の条件式。
    • Prepare :個々の操作内のサポートされるフィールド。
    • Combine : セット操作 、 Merge戦略 、 名前による結合 、 不足している列を許可 。

サポートされるフィールドを構成中にパラメーターを定義するには、パラメーターピッカーで パラメーターの作成 を選択します。 パラメーター ペインで新しいパラメーターを構成してから、フィールドで使用します。

SQLまたはPython演算子を開いて編集する場合、Lakeflow Designerは、ソースエディタの上で利用可能なパラメーターを参照する方法の例を表示します。

パラメーターと固定テキストを組み合わせる​

ソースまたは出力演算子のパラメーター式で、 :parameter_name を使用して値全体を置き換えます。パラメーターと固定テキストを組み合わせるには、テキストを単一引用符で囲み、 || を使用します。たとえば、次のソース テーブル 式は、完全修飾テーブル名を構成します。

SQL
:catalog || '.' || :schema || '.' || :table

パラメーターで演算子を有効または無効にする​

設定されたオペレーターを実行するかどうかを制御するには、次のようにします。

  1. オペレーターの構成ペインを開き、歯車アイコン。( オペレーター設定 )を選択します。
  2. 波括弧アイコン。「無効」の横にある ( パラメーターを使用 )を選択します。
  3. :skip_operatorのようなBoolean式を入力してください。

式がTrueと評価されると、演算子は無効になります。無効な演算子は出力行を生成しません。

グループ全体を制御するには、グループのツールバーで グループを無効化 または グループを有効化 を開き、波括弧アイコン。 無効 の横にある ( パラメーターを使用 )を選択します。 Boolean式を入力し、エディターを閉じて適用します。

演算子を手動で有効または無効にする場合は、 演算子の名前変更、コピー、削除、無効化を参照してください。

本番運用でパラメーター値を上書きする​

ランタイムに、ビジュアルデータ準備は対話形式で実行されるかジョブとして実行されるかに関係なく同じ方法でパラメーターを読み取るため、同じファイルがすべての環境で変更なしで機能します。各環境に異なる値を次のように供給します。

  • UIでジョブをスケジュールする場合 :スケジュールのたびにパラメーター値を上書きします。たとえば、同じビジュアルデータ準備を毎日正午にenvironmentパラメーターをtestに設定して実行し、午後2時にenvironmentをproductionに設定して再度実行するようにスケジュールします。ジョブとしてスケジュール」を参照してください。
  • バンドルを使用してデプロイする場合 : ジョブの parameters を介してパラメータ値を設定し、バンドルターゲットを使用して環境ごとに異なる値を指定します。バンドルの開発および本番運用ターゲットを使用すると、環境固有の設定を使用して、同じジョブを個別の環境にデプロイできます。宣言型オートメーションバンドルのデプロイモードと宣言型オートメーションバンドルの構成を参照してください。

その他のリソース​