メインコンテンツまでスキップ

Lakeflow Designerで結果をプレビューおよび調整する

ビジュアルデータ準備を作成すると、 Lakeflow Designerは各演算子の結果をプレビューするため、ワークフロー全体を実行しなくても作業を確認できます。このページでは、プレビューの読み取りと制御、ビジュアルデータ準備の一部または全部のラン、チェックポイントを使用した演算子結果の保存、結果テーブルでの直接的なデータ調整の方法について説明します。

出力ペインを使用する​

任意の演算子を選択すると、画面下部の出力ペインに結果が表示されます。ほとんどの演算子タイプでは、入力データは左側に、出力データは右側にあります。プロット、HTML、画像など、テーブル以外の結果を生成する演算子は、それらの出力を出力ペインに直接レンダリングします。

出力ペインのビューコントロールを使用して、入力と出力(default)、入力のみ、出力のみを切り替えます。結合ビューでは、区切り文字をドラッグして入力ペインと出力ペインのサイズを変更できます。

選択した演算子のランにパフォーマンスデータがある場合は、出力ペインの [パフォーマンス] をクリックして、完全なクエリープロファイルを開きます。

キャンバス下のLFD出力ペイン。

データプレビューで処理する量を制御する​

Designer は演算子を自動的にプレビューします。defaultでは、演算子はプレビューのために最初の 1,000 入力行を処理します。defaultを変更するには、キャンバスツールバーの 「プレビュー」 メニューを使用して、新しい制限を入力するために 「最初の N 行」 を選択するか、 「すべての行」 を選択します。 「すべての演算子に適用」 を選択して、各演算子の 「スキャンされる行数」 のオーバーライドを消去し、現在のdefaultを使用するようにします。

出力ペインの スキャンする行数 メニューを使用して、個々の演算子のdefaultを上書きします。

  • スキャンする行: 継承 : プレビュー メニューのdefaultを使用します。
  • スキャンする行数:制限 :最初のNの入力行を処理します。メニューの横のフィールドに行制限を入力してください。
  • スキャンされた行:すべての行 :すべての入力行を処理します。

プレビューですべての行が処理されると、キャンバスに演算子の正確な出力行数が表示されます。複数の出力を持つオペレーターの場合は、行数バッジにカーソルを合わせると、出力ごとの行数が表示されます。

警告

スキャンする行:すべての行 でプレビューを生成すると、データセット全体に対して演算子とその上流の演算子が再実行されるため、時間がかかることがあります。

プレビュー制限は、スケジュール済みジョブまたは すべてラン には適用されません。

ビジュアルデータの準備をすべてランします​

[すべてラン] をクリックすると、各演算子を個別にプレビューすることなく、1回の操作でキャンバス上のすべての演算子を完全なデータセットに対して実行できます。Designerはビジュアルデータ準備ファイル全体をランして各演算子の結果を更新し、その後、キャンバス上で各演算子の下に出力の正確な行数を表示します。

ラン メニューには、ビジュアルデータの準備全体を実行するための追加アクションがあります:

  1. ファイルヘッダーの ケバブメニューアイコン。 をクリックして、 「ラン」 を選択します。
  2. アクションを選択します:
    • ランすべて :ビジュアルデータ前処理全体をランします。
    • 実行の割り込み : 実行中のビジュアルデータ準備を停止します。
    • 直近でランされた演算子に移動 : 最新でランされた演算子にフォーカスします。
    • [クリア] > [すべての演算子出力を消去] : 表示された結果を削除します。
    • クリア > 状態をクリアしてすべてラン : コンピュート状態をクリアし、ビジュアルデータの準備を再実行します。

消去するには、ビジュアルデータ準備ファイルを編集する権限が必要です。

演算子までラン​

演算子を右クリックして [この演算子までラン] を選択すると、プレビュー行の制限なしで、その演算子とその上流の演算子を完全なデータセットに対して実行できます。下流のオペレーターおよび接続解除されたBranchはランしません。

演算子チェックポイントの構成​

チェックポイントはオペレーターの結果を保存するため、プレビューでは上流オペレーターを再実行せずに結果を再利用できます。オペレーターの設定ペインで オペレーター設定 を開き、 チェックポイント を選択します:

  • 自動 :Designerが保存する結果を選択します。これは新しいオペレーターのdefaultです。
  • オン :このオペレーターの結果を保存します。
  • オフ :この演算子の結果を保存しません。

この設定を変更するには、ビジュアルデータ準備ファイルの編集、ラン、プレビューの生成を行う権限が必要です。プレビューは、同じコンピュートセッション内で保存された結果を再利用できます。 すべてラン 、 この演算子までラン 、およびスケジュールされたジョブは結果を再計算します。

チェックポイントが使用できないか失敗した場合、 Auto はチェックポイントなしで続行します。 オン にすると、プレビューまたはランが失敗します。

結果テーブルでデータを直接変換​

演算子を追加してデータを変換するだけでなく、結果テーブルでデータを直接操作して準備することもできます。プレビュー内の編集はプレビューサンプルのみを変更し、 保留中の変更 として収集されます。それらを適用するまで、データやワークフローは変更されません。

LFD 結果テーブルで直接データを編集する:列で操作を行うと保留中の変更がステージングされ、「キャンバスに適用」で演算子に変換されます。

データプレビューでは、次のアクションがサポートされています。

  • 列の挿入 : [列の挿入] を選択し、名前と式を入力します。
  • 列のタイプを変更 :「タイプを変更」を選択し、対象のタイプを選択します。
  • Null行の削除 :列がNullである行を削除するには、 [Nullの削除] を選択します。
  • 行のフィルター : 列に1つ以上のフィルター条件を追加します。
  • [列の名前を変更] : 列ヘッダーをダブルクリックし、新しい名前を入力します。
  • 列の非表示、並べ替え、削除 :列を非表示または削除するか、列ヘッダーをドラッグして並べ替えます。
  • [行の並べ替え] : 列に並べ替え方向を追加します。より多くの列で並べ替えると、並べ替え順序に追加されます。
  • 重複行を削除 : 重複を削除 を選択してから、比較する列を選択します。

保留中の変更を確認して適用​

ステージングされた編集は、 保留中の変更 ウィンドウに収集されます。それを開いて、編集を適用する前に確認または削除します。ステージングされた新しい列を変更するには、プレビューでダブルクリックし、その名前または式を更新します。

ステージングされた編集をワークフローに追加するには、 「キャンバスに適用」 を選択します。Lakeflow Designer は、ステージングされた順序で、ステージングされた編集の演算子を追加します。編集の各種類は、以下の演算子タイプにマップされます。

編集をプレビュー

演算子がキャンバスに追加されました

列の挿入

準備

列のタイプの変更

準備

NULL行を削除する

フィルタ

行をフィルター

フィルタ

列の削除、名前の変更、並べ替え、または非表示

選択

行を並べ替える

並べ替え

重複行を削除

ユニーク

編集をプレビュー

演算子がキャンバスに追加されました

列の挿入

準備

列のタイプの変更

準備

NULL行を削除する

フィルタ

行をフィルター

フィルタ

列の削除、名前の変更、並べ替え、または非表示

選択

行を並べ替える

並べ替え

重複行を削除

ユニーク

注記

保留中の変更がある状態で、プレビューの処理対象を完全なデータセットに切り替えると、Lakeflow Designerは、ステージング中の編集内容が失われないよう、先に変更を適用するよう促します。

データプロファイルの検証​

出力の一部の詳細を確認するには、調べたいデータを選択し、出力ペインの右上隅にある サイドバーのアイコン。 サイドバー ボタンをクリックして詳細ペインを開きます。

選択した出力データに関するグラフと詳細を示すサイドバー。

結果のdownload​

出力ペインのdownloadコントロールを使用してプレビュー結果をファイルにエクスポートします:

  • 表示される行 :プレビューに表示される行をCSVまたはExcelとしてdownloadします。
  • すべての行 :データセット全体をdownloadします。ワークフローを実行する権限がある場合に利用できます。すべての行をExcelにエクスポートするには、Serverless コンピュートが必要です。

ワークスペース管理者はdownloadを無効にできます。

その他のリソース​