Lakeflow Designer の組み込みオペレーター

Lakeflow Designerには、一般的なデータの準備と変換タスクのための組み込みオペレーターが含まれています。左側のサイドペインでオペレーターメニューを開いてカテゴリ別にオペレーターを閲覧するか、ペイン上部の 「オペレーターを検索...」 を使用してください。オペレーター検索は、ユーザーの意図に基づいてオペレーターを提案します。たとえば、average by monthと入力すると、 集計 オペレーターが返されます。キャンバスにオペレーターを追加した後、そのオペレーターを設定するには、ダブルクリックするか、オペレーターの上にカーソルを合わせて （ オペレーターの編集 ）をクリックし、設定ペインを開きます。

各オペレーターは、その機能のAI生成された説明を表示します。この説明はオペレーターのエディターとしても機能します。説明を編集すると、オペレーターが説明に合わせて再構成されます。

独自のユーザー定義演算子を作成する方法については、 「Lakeflow Designer のユーザー定義演算子」を参照してください。

ソースと出力

ソース

DesignerにUnity Catalogテーブルまたはその他のサポートされているソースからデータをインポートします。ソースを選択するには、名前でテーブルまたはファイルを検索するか、カタログとスキーマで参照します。このペインから新しいテーブルを作成することもできます。

テーブルを選択すると、ペインにテーブルの名前、所有者、最終更新時刻が表示されます。ソースを変更するには、「**新しいデータソースを選択**」をクリックします。ソースを変更すると、すべてのダウンストリームオペレーターの出力キャッシュが無効になります。

Unity Catalogメトリクスビューをソースとして使用することもできます。メトリクスビューを選択すると、含めるディメンションと測定値を選択し、Designerがアグリゲートクエリーを生成します。

Unity Catalog のボリュームまたはフォルダー全体をターゲットにすることを含め、データ取り込みオプションの全範囲については、Lakeflow Designer へのデータの取り込み」を参照してください。

データを入力

スプレッドシート形式のエディターに値を入力してテーブルを作成します。個別のソーステーブルを作成せずに、ルックアップ値やテストデータなどの少量の参照データを追加するには、このオペレーターを使用します。

フィールド	説明
テーブルデータ	データをテーブルとして入力してください。最初の行は列ヘッダーを定義し、残りの行はデータです。Designerは、各列のデータ型をその値から推測します。

フィールド	説明
テーブルデータ	データをテーブルとして入力してください。最初の行は列ヘッダーを定義し、残りの行はデータです。Designerは、各列のデータ型をその値から推測します。

出力

Designerからデータをエクスポートします。Output オペレーターは、結果を Unity Catalog テーブルに書き込んだり、マテリアライズドビューとして公開したり、Unity Catalog ボリューム内のファイルに書き込んだりできます。 出力タイプ を使用して宛先を選択します。

出力タイプ	説明
テーブル	結果をマネージドUnity Catalogテーブルに書き込みます。 **テーブル名**と**出力場所** (カタログおよびスキーマ)を設定し、**書き込みモード**を選択してください。
マテリアライズドビュー	ビジュアルデータ準備の実行時に更新されるUnity Catalogのマテリアライズドビューとして、結果を発行します。
ファイル	結果を Unity Catalog ボリューム内のファイルに書き込みます。**ファイルの種類**をCSV、Excel、またはJSONから選択し、ターゲットボリュームとファイル名を設定します。

出力タイプ	説明
テーブル	結果をマネージドUnity Catalogテーブルに書き込みます。 **テーブル名**と**出力場所** (カタログおよびスキーマ)を設定し、**書き込みモード**を選択してください。
マテリアライズドビュー	ビジュアルデータ準備の実行時に更新されるUnity Catalogのマテリアライズドビューとして、結果を発行します。
ファイル	結果を Unity Catalog ボリューム内のファイルに書き込みます。**ファイルの種類**をCSV、Excel、またはJSONから選択し、ターゲットボリュームとファイル名を設定します。

**テーブル**または**ファイル**出力の場合、**書き込みモード**で各ランが宛先に書き込む方法を選択します。

書き込みモード	説明
上書き	既存のコンテンツを現在のランの結果に置き換えます。これがdefaultです。
追加	現在のラン結果を既存の行に追加します。
マージ	指定した Merge キーに一致することで、ターゲット テーブルに行をアップサートします。テーブル出力で使用できます。

書き込みモード	説明
上書き	既存のコンテンツを現在のランの結果に置き換えます。これがdefaultです。
追加	現在のラン結果を既存の行に追加します。
マージ	指定した Merge キーに一致することで、ターゲット テーブルに行をアップサートします。テーブル出力で使用できます。

ラン をクリックして、ビジュアルデータ準備を実行し、結果を書き込みます。テーブル出力の場合、テーブルが存在しないと、オペレーターが作成します。スケジュールされたランは、同じ書き込みモードを使用して宛先に書き込みます。

AI機能

組み込みのAI操作をデータ上で実行します。設定ペインで、「関数の選択」を開き、以下の表のいずれかの関数を選択します。各関数は、入力用（例：列、プロンプト、ラベル、または言語）および出力用として、ペインにオプションを提供します。

関数	説明
ai_analyze_sentiment	入力テキストに対して感情分析を実行します。
ai_classify	ユーザーが指定したラベルを使用して、テキストまたは解析済みドキュメントを分類します。
ai_extract	定義したフィールドを使用して、テキストまたは解析済みドキュメントから構造化データを抽出します。
ai_fix_grammar	テキスト内の文法的な誤りを修正します。
ai_forecast	指定した範囲までの時系列データを予測します。ai_forecast は、入力テーブル全体を処理するテーブル値関数です。
ai_gen	入力内容に対して、ユーザーが指定したプロンプトに回答します。
ai_mask	テキスト内の特定のエンティティをマスクします（たとえば、匿名化のため）。
ai_parse_document	非構造化ドキュメントからテキスト、表、Layoutを抽出します。
ai_prep_search	解析されたドキュメントの出力を、ベクトル検索と検索拡張生成（RAG）パイプライン用の検索に対応したチャンクに変換します。
ai_query	汎用的なタスクとモデルの柔軟性のために、サポートされている任意の基盤モデルを使用してプロンプトに応答します。
ai_similarity	2つの文字列を比較し、意味的な類似度スコアを返します。
ai_summarize	テキストの要約を生成します。
ai_translate	指定した言語にテキストを翻訳します。

関数	説明
ai_analyze_sentiment	入力テキストに対して感情分析を実行します。
ai_classify	ユーザーが指定したラベルを使用して、テキストまたは解析済みドキュメントを分類します。
ai_extract	定義したフィールドを使用して、テキストまたは解析済みドキュメントから構造化データを抽出します。
ai_fix_grammar	テキスト内の文法的な誤りを修正します。
ai_forecast	指定した範囲までの時系列データを予測します。ai_forecast は、入力テーブル全体を処理するテーブル値関数です。
ai_gen	入力内容に対して、ユーザーが指定したプロンプトに回答します。
ai_mask	テキスト内の特定のエンティティをマスクします（たとえば、匿名化のため）。
ai_parse_document	非構造化ドキュメントからテキスト、表、Layoutを抽出します。
ai_prep_search	解析されたドキュメントの出力を、ベクトル検索と検索拡張生成（RAG）パイプライン用の検索に対応したチャンクに変換します。
ai_query	汎用的なタスクとモデルの柔軟性のために、サポートされている任意の基盤モデルを使用してプロンプトに応答します。
ai_similarity	2つの文字列を比較し、意味的な類似度スコアを返します。
ai_summarize	テキストの要約を生成します。
ai_translate	指定した言語にテキストを翻訳します。

各機能の詳細については、AI Functionsを使用したエンリッチデータを参照してください。

変換

以下の演算子は、データに対して変換処理を実行します。

集計

データをグループ化し、集計値を計算することで、行を要約します。

フィールド	説明
集計条件	列を選択し、集計関数を選択して、出力列の名前を指定します。 「**+ 集計の追加**」をクリックして、さらに追加します。サポートされている関数: AVG、COUNT、MAX、MEAN、MEDIAN、MIN、PERCENTILE、STDDEV、SUM、VARIANCE。
グループ	グループ化する列を選択してください。[ + グループ化を追加 ] をクリックします。 Group by で使用される列は、自動的に出力に含まれます。

フィールド	説明
集計条件	列を選択し、集計関数を選択して、出力列の名前を指定します。 「**+ 集計の追加**」をクリックして、さらに追加します。サポートされている関数: AVG、COUNT、MAX、MEAN、MEDIAN、MIN、PERCENTILE、STDDEV、SUM、VARIANCE。
グループ	グループ化する列を選択してください。[ + グループ化を追加 ] をクリックします。 Group by で使用される列は、自動的に出力に含まれます。

組み合わせる

複数のテーブルから、スキーマが一致するデータを1つの出力にマージします。

フィールド	説明
設定操作	Union 、 Intersect 、または Except を選択してください。
マージ戦略	出力から重複する行を除外するには**Distinct**を選択し、重複する行を含むすべての行を保持するには**All**を選択します。

フィールド	説明
設定操作	Union 、 Intersect 、または Except を選択してください。
マージ戦略	出力から重複する行を除外するには**Distinct**を選択し、重複する行を含むすべての行を保持するには**All**を選択します。

フィルター

グラフィカルな条件ビルダーを使用して、1 つ以上の条件を満たすかどうかに基づいて行を分割します。

フィールド	説明
条件	各条件について、条件付きで一致させる*列*、*条件タイプ*、および*値*を選択します。サポートされている条件タイプ： 等しい / 等しくない 1つである / 1つではない 含む/含まない で始まる / で始まらない 終わる/終わらない より大きい / より小さい null です / null ではありません 日付列の条件の場合、日付ピッカーは年と月の間を移動するのに対応しています。

フィールド	説明
条件	各条件について、条件付きで一致させる*列*、*条件タイプ*、および*値*を選択します。サポートされている条件タイプ： 等しい / 等しくない 1つである / 1つではない 含む/含まない で始まる / で始まらない 終わる/終わらない より大きい / より小さい null です / null ではありません 日付列の条件の場合、日付ピッカーは年と月の間を移動するのに対応しています。

フィルター演算子には 2 つの出力があり、条件を満たすかどうかに基づいてデータをBranchできます。

出力	説明
含まれるもの	フィルター条件を満たす行。
除外	フィルター条件を満たさない行。これには、条件がnullと評価される行も含まれます。

出力	説明
含まれるもの	フィルター条件を満たす行。
除外	フィルター条件を満たさない行。これには、条件がnullと評価される行も含まれます。

結合

一致する列値に基づいて2つの入力データセットを結合することにより、キーに基づいて2つのテーブルをリンクします。

フィールド	説明
入力テーブル	結合する 2 つの入力テーブルを選択します。
結合条件	2つのテーブルから一致する列を選択して、結合条件を少なくとも1つ指定します。 条件を追加するには、**+ 結合式の追加**をクリックします。オプション：左右のテーブル間の矢印をクリックしてカスタム結合条件を追加し、AIが生成した説明を編集するか、SQLを記述します。
大文字と小文字の区別	オフの場合（default）、文字列結合キーは大文字と小文字を区別せずに照合されます（先頭と末尾の空白は無視されます）。文字列キーを完全に照合するには、「大文字と小文字を区別」をオンにします。このオプションは、カスタム結合条件ではなく、結合キーに適用されます。
結合タイプ	結合タイプを選択します。defaultでは、結合演算子は結果を3つの出力に分割します（次のセクションを参照してください）。単一の結合出力を作成するには、 完全結合 、 内部結合 、 左結合 、または 右結合 を選択します。
出力列	オプション：含める列を選択してください。デフォルトでは、両方のテーブルのすべての列が含まれます。重複する列名には、テーブル名のプレフィックスが付与されます。
カスタム式列	オプション: 結合された結果に基づいて、カスタム式列を追加します。

フィールド	説明
入力テーブル	結合する 2 つの入力テーブルを選択します。
結合条件	2つのテーブルから一致する列を選択して、結合条件を少なくとも1つ指定します。 条件を追加するには、**+ 結合式の追加**をクリックします。オプション：左右のテーブル間の矢印をクリックしてカスタム結合条件を追加し、AIが生成した説明を編集するか、SQLを記述します。
大文字と小文字の区別	オフの場合（default）、文字列結合キーは大文字と小文字を区別せずに照合されます（先頭と末尾の空白は無視されます）。文字列キーを完全に照合するには、「大文字と小文字を区別」をオンにします。このオプションは、カスタム結合条件ではなく、結合キーに適用されます。
結合タイプ	結合タイプを選択します。defaultでは、結合演算子は結果を3つの出力に分割します（次のセクションを参照してください）。単一の結合出力を作成するには、 完全結合 、 内部結合 、 左結合 、または 右結合 を選択します。
出力列	オプション：含める列を選択してください。デフォルトでは、両方のテーブルのすべての列が含まれます。重複する列名には、テーブル名のプレフィックスが付与されます。
カスタム式列	オプション: 結合された結果に基づいて、カスタム式列を追加します。

defaultでは、Join演算子には3つの出力があり、結合結果に基づいてワークフローをBranchさせることができます。

出力	説明
一致しないまま	右側の入力に一致するものがない左側の入力の行。
一致しました	両方の入力にわたって一致する行。
右側の不一致	左側の入力に一致しない右側の入力の行。

出力	説明
一致しないまま	右側の入力に一致するものがない左側の入力の行。
一致しました	両方の入力にわたって一致する行。
右側の不一致	左側の入力に一致しない右側の入力の行。

特定の 結合タイプ （完全、内部、左、または右）を選択すると、オペレーターは3つの分割された出力ではなく、単一の結合された出力を生成します。

制限

指定した最大行数までしか処理を通過させないことで、行数を制限します。

フィールド	説明
最大行数	渡す行の最大数を指定してください。

フィールド	説明
最大行数	渡す行の最大数を指定してください。

ピボット

表形式データを双方向に整形します。構成ペインの上部にあるtabを使用して、モードを選択してください。

行 → 列 (ピボット)

1つの列にある異なる値を新しい列ヘッダーに変換し、別の列からの集計値で埋めます。

フィールド	説明
ピボット列	一意の値が新しいヘッダーになる列を選択します。
値＆集計	ピボットされたセルを埋める値を持つ列を選択し、集計関数（たとえば、SUM、AVG、COUNT、MIN、またはMAX）を選択します。（利用可能な場合）ペインで欠損値（null 値やゼロなど）を処理する方法を設定します。

フィールド	説明
ピボット列	一意の値が新しいヘッダーになる列を選択します。
値＆集計	ピボットされたセルを埋める値を持つ列を選択し、集計関数（たとえば、SUM、AVG、COUNT、MIN、またはMAX）を選択します。（利用可能な場合）ペインで欠損値（null 値やゼロなど）を処理する方法を設定します。

列 → 行 (アンピボット)

1つまたは複数の列を行に折りたたみます。

フィールド	説明
列をアンピボット	アンピボットする列を選択してください。
キーと値の列	出力キーと値の列の名前を設定します。

フィールド	説明
列をアンピボット	アンピボットする列を選択してください。
キーと値の列	出力キーと値の列の名前を設定します。

列を含める

どちらのモードでも、ピボットまたはアンピボットされた値とともに、出力に残す列を選択し、変換前に不要な列は削除します。デザイナーは、ピボット、値、またはアンピボットのロールに割り当てていない列から、固定 (グループ化) 列を推測します。

ソート

1つまたは複数の列で行を順序付けします。

フィールド	説明
並べ替え順	各列に対して、 ASC （昇順）または DESC （降順）を選択します。追加の列で並べ替えるには、 + ソート式を追加 をクリックします。並べ替えは標準の辞書式順序に従います。

フィールド	説明
並べ替え順	各列に対して、 ASC （昇順）または DESC （降順）を選択します。追加の列で並べ替えるには、 + ソート式を追加 をクリックします。並べ替えは標準の辞書式順序に従います。

SQL

他の演算子でカバーされていない変換処理に対して、カスタムSQLコードを作成します。

フィールド	説明
SQLエディタ	SQL SELECT ステートメントを入力してください。入力演算子の出力を参照するには、クエリーでその演算子の名前をテーブル名として使用します。例: SQL SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 ボタンをクリックして、完全な SQL コード ペインを開き、ステートメントが完全なワークフローにどのように適合するかを確認します。
パラメータ	ビジュアルデータ準備のパラメーターを参照するには、たとえば、:environment のような名前付きパラメーターマーカー構文を使用します。編集のためにオペレーターを開くと、Designer はエディターの上に例を表示します。See パラメーター.

フィールド	説明
SQLエディタ	SQL SELECT ステートメントを入力してください。入力演算子の出力を参照するには、クエリーでその演算子の名前をテーブル名として使用します。例: SQL SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 ボタンをクリックして、完全な SQL コード ペインを開き、ステートメントが完全なワークフローにどのように適合するかを確認します。
パラメータ	ビジュアルデータ準備のパラメーターを参照するには、たとえば、:environment のような名前付きパラメーターマーカー構文を使用します。編集のためにオペレーターを開くと、Designer はエディターの上に例を表示します。See パラメーター.

選択

入力データから列を選択、名前変更、並べ替えを行います。

フィールド	説明
列を含める/除外する	**すべての列を含めて開始**または**列なしで開始**を選択し、チェックボックスを使用して個々の列を含めるか除外します。列をドラッグして並べ替えます。
列の名前を変更する	任意の列の横にある [名前の変更] フィールドに、新しい名前を入力します。

フィールド	説明
列を含める/除外する	**すべての列を含めて開始**または**列なしで開始**を選択し、チェックボックスを使用して個々の列を含めるか除外します。列をドラッグして並べ替えます。
列の名前を変更する	任意の列の横にある [名前の変更] フィールドに、新しい名前を入力します。

準備

入力データに1つ以上のアクションを連結することで、列をクリーンアップして導出します。 「+ Add action」をクリックし、アクションを選択します。 必要なだけアクションを追加します。それらは順番に適用されます。

操作	説明
公式	自然言語またはSQL式を使用して、新しい列を作成するか、既存の列を上書きします。
タイプを変更	列を別のデータ型に変換します。
値を置き換えます	列の値を検索および置換
null値を埋める	Null値を定数で置き換えます。
テキストの大文字・小文字	大文字、小文字、またはタイトルケースに変更します。
空白を削除	両端または片方から空白を削除します。
正規表現置換	正規表現パターンに一致するテキストを置換します。
抽出（Extract）	正規表現グループに一致する部分文字列を抽出。
日付を解析	文字列を日付やTimestampに変換します。

操作	説明
公式	自然言語またはSQL式を使用して、新しい列を作成するか、既存の列を上書きします。
タイプを変更	列を別のデータ型に変換します。
値を置き換えます	列の値を検索および置換
null値を埋める	Null値を定数で置き換えます。
テキストの大文字・小文字	大文字、小文字、またはタイトルケースに変更します。
空白を削除	両端または片方から空白を削除します。
正規表現置換	正規表現パターンに一致するテキストを置換します。
抽出（Extract）	正規表現グループに一致する部分文字列を抽出。
日付を解析	文字列を日付やTimestampに変換します。

アクションを削除するには、その行にカーソルを合わせ、 をクリックします。

カスタム列

「**Formula**」アクションにより、式エディターが開き、自然言語またはSQLコードを使用して新しい列を作成したり、既存の列を上書きしたりできます。エディターには2つの入力ボックスがあり、双方向です：

• 説明 : 列に何を実行させたいかを自然言語で説明します。Designer は Genie を使用して、以下の対応するコード式を生成します。
• 式 : コードを直接記述または編集する場合は、式の編集ボタンをクリックします。式を編集すると、自然言語による説明が自動的に生成されます。

Python

入力データに対してカスタム Python (PySpark) を実行します。

フィールド	説明
result	単一のDataFrameをresultに割り当てると、それがオペレーターの出力になります。
inputs["data"]	入力 DataFrames のリストを、アップストリームの順に示します。オペレーターの詳細ペインには、各入力の名前が順番に表示されます。たとえば、Available inputs: inputs["data"][0] (customers), inputs["data"][1] (sales)です。
パラメータ	dbutils.widgets.get("environment")のようなdbutils.widgets.get()を呼び出して、ビジュアルデータ準備パラメーターを参照します。編集のために演算子を開くと、デザイナーはエディターの上に例を表示します。See パラメーター.

フィールド	説明
result	単一のDataFrameをresultに割り当てると、それがオペレーターの出力になります。
inputs["data"]	入力 DataFrames のリストを、アップストリームの順に示します。オペレーターの詳細ペインには、各入力の名前が順番に表示されます。たとえば、Available inputs: inputs["data"][0] (customers), inputs["data"][1] (sales)です。
パラメータ	dbutils.widgets.get("environment")のようなdbutils.widgets.get()を呼び出して、ビジュアルデータ準備パラメーターを参照します。編集のために演算子を開くと、デザイナーはエディターの上に例を表示します。See パラメーター.

最小限のパターンとしては、入力値が存在する場合は最初の入力値を使用し、存在しない場合は空のDataFrame使用する方法があります。

Python

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

そこから、代入が終了する前にresultに対して DataFrame の操作 (例えば、 select 、 filter 、 withColumn 、または結合) を連鎖させたり、 result inputs["data"]から構築された新しい DataFrame に置き換えたりすることができます。

組織

注記

キャンバスにメモを追加して、ワークフロー自体（目的、前提条件、注意事項、視覚的なデータ準備を後で開く人への引き渡しコンテキスト）を文書化できるようにします。

フィールド	説明
コンテンツ	リッチテキストエディターを使用して、キャンバスでメモの内容をインライン編集します。プレーンテキストでは不十分な場合、見出し、テキストのスタイル設定、Link、画像、テーブルを追加できます。ノートは、オペレーターを介したデータの流れに影響しません。

フィールド	説明
コンテンツ	リッチテキストエディターを使用して、キャンバスでメモの内容をインライン編集します。プレーンテキストでは不十分な場合、見出し、テキストのスタイル設定、Link、画像、テーブルを追加できます。ノートは、オペレーターを介したデータの流れに影響しません。

グループ

キャンバス上の演算子を視覚的にグループ化し、データの流れを変更することなく、視覚的なデータ準備が大規模になる場合や論理的な段階を反映したい場合に役立ちます。

フィールド	説明
グループに追加します	1つまたは複数のオペレーターをグループにドラッグして追加してください。
選択から作成	1つまたは複数の演算子を選択し、ショートカットメニューを開いて（右クリック）、 [新しいグループを作成] を選択して、選択範囲を新しいグループにまとめます。
名前	グループに説明的な名前を付けます。
最小化 / 拡大	キャンバスでグループのコンテンツを表示または非表示にするには、**最小化**または**拡大**をクリックします。

フィールド	説明
グループに追加します	1つまたは複数のオペレーターをグループにドラッグして追加してください。
選択から作成	1つまたは複数の演算子を選択し、ショートカットメニューを開いて（右クリック）、 [新しいグループを作成] を選択して、選択範囲を新しいグループにまとめます。
名前	グループに説明的な名前を付けます。
最小化 / 拡大	キャンバスでグループのコンテンツを表示または非表示にするには、**最小化**または**拡大**をクリックします。

可視化

入力データから可視化を作成し、それをキャンバスに直接レンダリングします。表形式データを生成する任意の演算子に可視化演算子を接続し、Designerを離れることなく結果をグラフ化します。

ビジュアライゼーションを構成するには、演算子を開き、 ビジュアライゼーション の種類を選択してから、列をチャートにマップします。

フィールド	説明
可視化	レンダリングするチャートの種類は、**棒グラフ**、**面グラフ**、または**カウンター**などです。

フィールド	説明
可視化	レンダリングするチャートの種類は、**棒グラフ**、**面グラフ**、または**カウンター**などです。

その他のリソース

• Lakeflow Designer でビジュアルデータ準備を作成します
• Lakeflow Designerにデータを取り込む