ジョブのノートブックタスク
Databricks ノートブックをデプロイするには、ノートブック タスクを使用します。
要件
- ノートブックは、ジョブを設定するユーザーがアクセス可能な場所にある必要があります。
ノートブックタスクの設定
ジョブUIは、他の構成された設定に基づいてオプションを動的に表示します。
Notebookタスクの設定を開始する手順。
- ジョブUIの タスク タブに移動します。
タスクを追加 をクリックします。- 「タスク名」フィールドに名前を入力します。
- タイプ ドロップダウンメニューで、
Notebookを選択します。
ソースを構成します
ソース ドロップダウンメニューで、ノートブックの場所を、次のいずれかのオプションを使用して選択します。
workspace
次のステップを完了して、ワークスペースに保存されているノートブックを構成するには、 ワークスペース を使用します。
- パス フィールドをクリックします。 「ノートブックの選択」 ダイアログが表示されます。
- ノートブックを参照し、ファイルをクリックして強調表示し、 確認 をクリックします。
このオプションを使用すると、Databricks Git フォルダーに保存されているノートブックのタスクを構成できます。Databricksでは、ジョブでスケジュールされたアセットのバージョン管理には、「**Gitプロバイダー**」オプションとリモートGitリポジトリの使用を推奨しています。
Git プロバイダー
リモート Git リポジトリでノートブックを構成するには、**[Git プロバイダー]** を使用します。
UI に表示されるオプションは、他の場所で Git プロバイダーをすでに構成しているかどうかに応じて異なります。ジョブ内のすべてのタスクには、リモート Git リポジトリは 1 つのみ使用できます。LakeFlow ジョブで Git を使用するを参照してください。
Lakeflowによって作成されたノートブック リモートGitリポジトリから実行されるジョブはエフェメラルであり、MLflow実行、エクスペリメント、またはモデルの追跡に頼ることはできません。ジョブからノートブックを作成する場合は、 トラッキングコードを実行する前に、ワークスペースMLflowノートブック エクスペリメント (エクスペリメント ノートブックではなく)MLflow mlflow.set_experiment("/path/to/experiment")を使用し、ワークスペース ノートブックでMLflow を呼び出します。詳細については、「MLflow エクスペリメントでデータ損失を防ぐ」を参照してください。
パス フィールドは、git 参照を設定した後に表示されます。
etl/bronze/ingest.pyのようなノートブックの相対パスを入力します。
相対パスを入力するときは、/または./で開始しないでください。たとえば、アクセスするノートブックの絶対パスが/etl/bronze/ingest.py の場合は、[パス]etl/bronze/ingest.py フィールドに を入力します。
コンピュートと依存ライブラリを構成する
ノートブックが完全にSQLで記述されており、SQLがそのデフォルト言語として設定されている場合にのみ、ノートブックタスクのコンピュートとしてSQLウェアハウスを選択できます。ノートブックが別のデフォルト言語を使用している場合、または言語を混在させている場合は、クラスター、または別のサポートされているコンピュートを選択してください。
- コンピュート を使用して、ノートブックのロジックをサポートするクラスターを選択または構成します。
- 依存ライブラリ の下にある **追加**をクリックします。 依存ライブラリの追加 ダイアログが表示されます。
- 既存のライブラリを選択するか、新しいライブラリをアップロードできます。
- コンピュート構成によってサポートされている場所に保存されているライブラリのみを使用できます。Python ライブラリ サポートを参照してください。
- 各 ライブラリ ソース には、ライブラリを選択またはアップロードするための異なるフローがあります。ライブラリのインストールを参照してください。
ジョブ構成を確定する
- (オプション) パラメーター は、ノートブックで
dbutils.widgetsを使用してアクセスできるキーと値のペアとして構成します。 タスク パラメーターの設定を参照してください。 - (オプション) 再試行、実行時間またはストリーミングバックログのしきい値、または通知を設定するには、高度なタスク設定を参照してください。
- タスクの保存 をクリックします。
このタスクを編集、複製、無効化、または削除するには、「Lakeflowジョブでタスクを構成および編集する」を参照してください。
ビジュアルデータの準備
タスクの**タイプ**ドロップダウンの**ビジュアルデータ準備**は、ビジュアルデータ準備ファイル用のノートブックタスクを作成します。これらのファイルは、Lakeflow Designerの視覚的なキャンバスで作成され、それぞれが<name>.designer.ipynbという名前のノートブックとして保存されます。ジョブとして実行するには、ノートブックタスクを追加し、その.designer.ipynbファイルをソースとして選択します。See Lakeflow Designer.
制限事項：
ノートブック・セルの合計出力（すべてのノートブック・セルの合計出力）には、30MBのサイズ制限が適用されます。さらに、個々のセル出力には8MBのサイズ制限が適用されます。セル出力の合計サイズが30MBを超える場合、または個々のセルの出力が8MBを超える場合、実行はキャンセルされ、失敗としてマークされます。
限界に近いセルや限界を超えているセルを見つけたい場合は、汎用クラスタでノートブックを実行し、このノートブック自動保存テクニックを使用してください。
その他のリソース
- ノートブックタスク：Declarative Automation Bundles を使用して、ノートブックタスクをコードとして定義します。
- Lakeflow Jobs で Git を使用する：Git プロバイダーを使用してノートブックをバージョン管理します。
- タスク パラメーターの設定: ノートブックにパラメーターを渡します。