Lakeflow Designer とは何ですか?
Lakeflow Designer は、アナリストがデータ分析、準備、および基本的な自動化を実行するための視覚的なキャンバスを提供します。Designerでは、ビジュアルデータ準備ファイルを作成します。各ファイルは、結果を生成するためにグラフとして配置された一連の演算子（フィルタ、結合、変換など）で構成されています。すべての変換はコードによってサポートされており、Git でファイルのバージョン管理を行い、ジョブとしてスケジュールしてシームレスに本番運用へ移行できます。
Lakeflow Designer を使用すると、次のことが可能になります。
- ドラッグ＆ドロップ式のキャンバスを使った デザインワークフロー 。
- 組み込み演算子を使用してデータをフィルタリング、集計、結合、および再形成することで 、コードを記述せずにデータを変換します 。
- Genie Code を使用すると 、自然言語を使ってビジュアルデータ準備における変換を生成または調整できます。
- パイプライン全体を実行せずに、 各中間ステップをプレビューできます 。
上の画像には、以下のものが写っています。
- オペレーター 、 目次 、 パラメーター メニューがある 左側のパネル
- オペレーター
- 2人のオペレーター間の接続
- ドラッグ＆ドロップキャンバス
- Genie Codeプロンプト
- 出力ペイン
- 出力のデータプロファイリング
重要な概念
左側パネル
左パネルには、ビジュアルデータの準備の構築とナビゲーションに使用するメニューがまとめられています。
- オペレーター:組み込みオペレーター を参照して検索します。リストからオペレータータイプをキャンバスにドラッグアンドドロップして追加します。
- パラメーター : ビジュアルデータプレップ向けのパラメーターを定義および管理します。
- 目次 ：ビジュアルデータの準備で任意のオペレーターを見つけて移動し、それぞれに生成されたコードを表示できます。目次をご覧ください。
キャンバス
キャンバスは、オペレーターを追加、設定、接続してビジュアルデータ準備を構築するメインのワークスペースです。
キャンバス内を移動するには:
- パン : スペースキー を押しながらクリックしてドラッグするか、トラックパッド上で 2 本の指をスライドします。
- ズーム : トラックパッド上でピンチまたはストレッチするか、 Ctrl キー を押しながらスクロールします。
キャンバスツールバーは、キャンバスナビゲーションツールとともにヘッダー部分に配置されています。
ズームイン、
ズームアウトして、
フィットビュー、
自動レイアウト、そして
ドラッグモード。
キャンバス上の任意の場所を右クリックすると、演算子の追加、元に戻すとやり直し、自動レイアウト、ビューの調整、コード ペインのオープンなどの一般的なアクションにアクセスできます。
エディターのアクションにすばやくアクセスするには、macOS では Cmd+Shift+P 、Windows では Ctrl+Shift+P を押してコマンド パレットを開きます。
Excel または CSV ファイルをキャンバスに直接ドラッグ アンド ドロップして、そのファイルのソース演算子を作成することもできます。
オペレーター
オペレーターはビジュアルデータの準備の構成要素です。演算子は、結合、変換、フィルタなどのアクションです。キャンバス上でオペレーターを連結して、ワークフローを構築できます。各演算子は、その種類に基づいて設定できます。演算子には、AI支援による効果の説明が表示されます。説明を編集すると、演算子が再構成されます。
演算子を選択して、キャンバス上でそのリネージを強調表示します。上流のソースまで遡る接続と下流のシンクへ向かう接続が強調表示されるため、データがその演算子にどのように到達し、そこからどのように流れるかを追跡できます。
Lakeflow Designer には、一般的なデータ変換タスク用の組み込み演算子が含まれています。 詳細については、 Lakeflow Designer の組み込み演算子」を参照してください。
接続
接続によって、オペレーター間でデータがどのように流れるかが定義されます。接続を作成するには、あるオペレーターの右端にあるポートをドラッグして、別のオペレーターの左端にあるポートに接続します。これは、データが最初のオペレーターから2番目のオペレーターに流れることを示します。データはビジュアルデータの準備を通じて左から右へ流れます。 Join や Combine などの一部のオペレーターは、複数の入力接続を受け入れます。
ノードポートは大きな接続ターゲットと明確な視覚的合図を提供するため、オペレーターの接続が簡単になります。
演算子のポートは、その設定ステータスも示します。
- 未設定のオペレーターには破線の境界線があります。
- 接続されていない必須入力ポートは黄色でハイライトされます。
出力ペイン
オペレーターを選択すると、出力ペインが画面の下部に表示されます。いずれかの演算子を選択して、画面下部の出力ウィンドウで結果を確認します。ほとんどの演算子では、入力データは左側に、出力データは右側にあります。プロット、HTML、または画像など、表形式以外の結果を生成するオペレーターは、その出力を出力ペインに直接表示します。
出力ペインの表示コントロールを使用して、入力と出力（デフォルト）、入力のみ、または出力のみを切り替えます。結合ビューで、区切りをドラッグして入力ペインと出力ペインのサイズを変更します。
結果テーブルでデータを直接フィルタリングして変換し、それらの変更を演算子としてキャンバスに適用することもできます。結果テーブルでデータを直接変換するを参照してください。
Designer は演算子のプレビューを自動的に実行します。ツールバーの [プレビュー] メニューを使用して、プレビューで処理する入力行のdefault数を設定するか、出力ペインの [スキャンされた行] メニューを使用して特定の演算子に対して上書きします。結果をプレビューをご覧ください。
データプロファイリング
出力の一部に関する詳細を表示するには、検査したいデータを選択し、出力ペインの右上隅にある 
サイドバーボタンをクリックして詳細パネルを開きます。
Genie Code
Genie Codeを使用すると、自然言語で変換を記述できます。すべてのインタラクションはエージェントによって行われ、Databricksプラットフォームのコンテキストを使用します。See Genie Code.
変換を生成または修正するプロンプトを入力します。Genie Codeのやり取りの履歴を表示し、各応答の詳細を確認するには、右サイドバーの
をクリックしてGenie Codeサイドペインを開きます。サイドペインが開いているとき、キャンバス内ツールバーは最小化されます。Genie Codeは、入力ボックスの上に最新の編集の1行の要約を表示します。
目次
左パネルの 「目次」 メニューには、ビジュアルデータの準備におけるすべての演算子が一覧表示されます。演算子名、またはカラム名などの演算子の構成内の値で検索します。構成の一致について、Designer は演算子の下部に一致する構成パスを表示します。キャンバス上で演算子を選択してフォーカスを合わせます。すべてのビジュアルデータの準備は、生成されたコードによって支えられています。演算子のコードを検査するには、目次でその演算子を選択し、 「生成されたコード」 セクションを展開してその基礎となるコードを表示します。
パラメーター
パラメーター は、ビジュアルデータの準備全体に対して定義される名前付きの値です。これらを SQL および Python オペレーターコードで参照したり、ソースおよび出力オペレーターのサポートされている設定フィールドで使用したりできます。パラメーターを管理するには、左側のパネルで パラメーター を選択します。
各パラメーターには、定義するときに設定する値があります。ビジュアルデータの準備をスケジュールして実行する際、各スケジュールで必要に応じてこれらの値を上書きできます。例えば、同じビジュアルデータの準備を、environmentパラメーターをtestに設定して毎日正午に実行するように、またenvironmentをproductionに設定して午後2時に実行するようにスケジュール設定できます。
オペレーターからパラメーターを次のように参照します。
- SQL operator : Use named パラメーター marker syntax, such as
:environment. 名前付きパラメーターマーカーの使用を参照してください。 - Python演算子 ：
dbutils.widgets.get()を呼び出します（例：dbutils.widgets.get("environment")）。ウィジェットツール (dbutils.widgets)をご覧ください。 - Source or Output operator : Open the operator's configuration pane and select the Parameters button in the upper-right corner.Select a configuration field, then enter an expression that references a パラメーター, such as
:source_table.ソース operators support table, file path, and file format fields.Output operators support catalog, schema, table, view, volume, file name, and write mode fields.
ソースまたは出力オペレーターのパラメーター式では、:parameter_nameを使用して値全体を置き換えます。パラメーターと固定テキストを組み合わせるには、テキストをシングルクォートで囲み、||を使用します。たとえば、次のソース Table 式は、完全修飾テーブル名を構築します。
:catalog || '.' || :schema || '.' || :table
編集のために SQL または Python オペレーターを開くと、Lakeflow Designer はソースエディターの上に利用可能なパラメーターを参照する方法の例を表示します。