Lakeflowジョブのモニタリングと可観測性

このページでは、アクセス権のあるジョブの表示、ジョブの実行履歴の表示、およびジョブ実行の詳細の表示のためにDatabricks UI で使用できる機能について説明します。 ジョブの通知を構成するには、 「ジョブに通知を追加する」を参照してください。

Databricks CLI を使用してジョブを表示し、ジョブを実行する方法については、CLI コマンド databricks jobs list -h、 databricks jobs get -h、および databricks jobs run-now -hを実行します。 Jobs API の使用方法については、 Jobs API を参照してください。

system.lakeflowスキーマにアクセスできる場合は、アカウント全体からジョブ実行とタスクのレコードを表示およびクエリすることもできます。Jobs システムテーブル リファレンスを参照してください。また、ジョブシステムテーブルを請求テーブルと結合して、アカウント全体のジョブのコストを監視することもできます。 システムテーブルによるジョブのコストとパフォーマンスの監視を参照してください。

ジョブとパイプラインを表示する

アクセス権のあるジョブのリストを表示するには、サイドバーの「 ジョブとパイプライン をクリックします。 ジョブ UI の[ジョブとパイプライン] タブには、作成者、トリガー (存在する場合)、最後の 5 つの実行の結果など、使用可能なすべてのジョブとパイプラインに関する情報が一覧表示されます。 Lakeflow

リストに表示される列を変更するには、[ ] をクリックし、列を選択または選択解除します。

備考

preview

統合された ジョブとパイプライン リストは パブリック プレビュー段階です。この機能を無効にしてデフォルトのエクスペリエンスに戻すには、 ジョブとパイプライン: 統合管理、検索、フィルタリング を無効にします。 詳細については、「Databricks プレビューの管理 」を参照してください。

次のスクリーンショットに示すように、 ジョブとパイプライン リストでジョブをフィルタリングできます。

1. テキスト検索 : キーワード検索は、[ 名前 ] フィールドと [ジョブ ID ] フィールドでサポートされています。キーと値を使用して作成されたタグを検索するには、キー、値、またはキーと値の両方で検索できます。たとえば、キーが department で値が financeのタグの場合、 department または finance を検索して一致するジョブを見つけることができます。キーと値で検索するには、キーと値をコロンで区切って入力します(例: department:finance)。
2. 種類 : ジョブのみ、パイプライン、またはすべてを選択します。
3. 所有者 : 所有しているジョブまたはパイプラインのみを選択します。
4. お気に入り : お気に入りとしてマークしたすべてのジョブまたはパイプラインを選択します。
5. タグ : タグを使用します。タグで検索するには、タグのドロップダウンメニューを使用して同時に最大5つのタグをフィルタリングするか、キーワード検索を直接使用できます。
6. 実行: 最大 2 つの run as 値でフィルター処理します。

ジョブまたはパイプラインを開始するには、再生ボタン。ワークフローを停止するには、停止ボタン。その他の操作にアクセスするには、ケバブメニューをクリックしてください。 。例えば、このメニューからワークフローやパイプラインのアクセス設定を削除できます。

1 つのジョブの実行を表示する

Apache Airflow や Azure Data Factory などの外部オーケストレーション ツールによって開始された実行を含む、アクセス権を持つジョブの現在実行中の実行と最近完了した実行の一覧を表示できます。 最近のジョブ実行のリストを表示するには:

1. Databricks ワークスペースのサイドバーで、[ ジョブとパイプライン] をクリックします。

2. 必要に応じて、[ ジョブ ] と [自分が所有] フィルターを選択します。

3. ジョブ の [名前 ] リンクをクリックします。

   実行 タブが表示され、アクティブな実行と完了した実行のマトリックス ビューとリスト ビューが表示されます。

マトリックス ビューには、各ジョブ タスクを含む、ジョブの実行履歴が表示されます。

マトリックスの実行 合計期間 行には、実行の合計期間と実行の状態が表示されます。 開始時刻、期間、ステータスなど、実行の詳細を表示するには、 実行合計期間 行のバーにカーソルを合わせます。

タスク 行の各セルは、タスクとタスクの対応するステータスを表します。開始時刻、期間、クラスター、ステータスなど、各タスクの詳細を表示するには、そのタスクのセルにカーソルを合わせます。

ジョブ実行とタスク実行のバーは、実行状況を示すために色分けされています。成功した実行は緑色になります。 失敗した実行は赤色、スキップされた実行はピンク色、再試行待ちは黄色で表示されます。保留中、キャンセル済み、またはタイムアウト済みのものは灰色で表示されます。個々のジョブ実行およびタスク実行のバーの高さは、実行時間を視覚的に示します。

予想される完了時間を構成した場合、実行時間が構成された時間を超えると、マトリックス ビューに警告が表示されます。

デフォルト別では、実行リストビューには次の情報が表示されます。

• 実行の開始時刻。
• 実行識別子。実行 URL を検索して共有する方法については、「ジョブの実行 URL と ID」を参照してください。
• 実行がジョブ・スケジュールまたは API 要求によってトリガーされたか、または手動で開始されたか。
• 現在実行中のジョブの経過時間、または完了した実行の合計実行時間。 期間が設定された 予定完了時間を超えると、警告が表示されます。
• 実行のステータス ( キューに登録済み 、 保留中 、 実行中 、 スキップ 、 成功 、 失敗 、 タイムアウト 、 キャンセル中 、 またはキャンセル 済み)。
• 実行が終了したエラーコード。
• 実行パラメーター。

現在アクティブな実行には、停止ボタンが表示されます。 アクティブな実行とキューに入っているすべての実行を停止するには、ドロップダウン メニューから [実行のキャンセル] または [ キューに入っているすべての実行のキャンセル ] を選択します。

実行のコンテキスト固有のアクションにアクセスするには、ケバブメニュー をクリックします (たとえば、アクティブな実行を停止したり、完了した実行を削除したりします)。

実行リスト ビューに表示される列を変更するには、[ ] をクリックし、列を選択または選択解除します。

ジョブ実行の詳細を表示するには、実行リスト・ビューの「 開始時刻 」列で実行のリンクをクリックします。このジョブの最新の成功した実行の詳細を表示するには、[ 最新の成功した実行に移動 ] をクリックします。

Databricks は、ジョブの実行履歴を最大 60 日間保持します。 ジョブの実行を保持する必要がある場合、Databricks では、有効期限が切れる前に結果をエクスポートすることをお勧めします。 詳細については、「 ジョブ実行結果のエクスポート」を参照してください。

ジョブ実行の詳細を表示する

ジョブ実行の詳細ページには、ジョブ出力とログへのリンク (ジョブ実行の各タスクの成功または失敗に関する情報を含む) が含まれています。 ジョブの実行詳細には、ジョブ の実行 タブからアクセスできます。

[実行 ] タブからジョブの実行の詳細を表示するには、実行リスト ビューの [開始時刻 ] 列で実行のリンクをクリックします。ジョブ の実行 タブに戻るには、 ジョブ ID の値をクリックします。

複数のタスクを持つジョブには、グラフ、タイムライン、およびリスト ビューが追加されています。

グラフ表示

グラフ内のタスクノードをクリックすると、次のようなタスク実行の詳細が表示されます。

• タスクの詳細には、実行者、ジョブの起動方法、開始時刻、終了時刻、所要時間、ステータスが含まれます。
• ソース コード。
• タスクを実行し、そのクエリ履歴とログにリンクするクラスター。
• タスクのメトリクス。

タイムラインビュー

複数のタスクを含むジョブには、完了に時間がかかっているタスクを特定し、依存関係と重複を理解して、これらのジョブのデバッグと最適化に役立つタイムライン ビューがあります。

サーバレス ジョブの場合、クエリとクエリ プロファイルはタイムライン ビューに統合されます。 タスク名の横にある矢印をクリックすると、クエリステートメントとその実行時間が表示されます。次に、ステートメントをクリックすると、対応するクエリプロファイルに移動します。ジョブ実行のクエリ詳細の表示を参照してください。

リスト表示

デフォルトでは、リストビューにはステータス、名前、タイプ、リソース、期間、および依存関係が表示されます。このビューでは、列を追加したり削除したりできます。

名前でタスクを検索したり、タスクのステータスまたはタスクの種類でフィルターしたり、ステータス、名前、または期間でタスクを並べ替えたりできます。

ジョブ ID の値をクリックして、ジョブ の実行 タブに戻ります。

Databricks はジョブの実行ステータスをどのように判断しますか?

Databricks は、ジョブの 末端タスク の結果に基づいて、ジョブの実行が成功したかどうかを判断します。リーフタスクとは、下流のタスクに依存関係を持たないタスクのことです。ジョブの実行結果は、以下のいずれかになります。

• 成功: すべてのタスクが成功しました。
• 失敗して成功しました: 一部のタスクは失敗しましたが、すべてのリーフ タスクは成功しました。
• 失敗: 1 つ以上のリーフ タスクが失敗しました。
• スキップ: ジョブの実行がスキップされました (たとえば、ジョブまたはワークスペースの最大並列実行を超えたためにタスクがスキップされた可能性があります)。
• タイムアウト: ジョブの実行が完了するまでに時間がかかりすぎたため、タイムアウトしました。
• キャンセル済み: ジョブの実行がキャンセルされました (たとえば、ユーザーが進行中の実行を手動でキャンセルしたなど)。

個々のタスクは、ジョブ設定で明示的に無効にした場合、または上流のタスクが無効になっているために実行用にLakeFlowジョブが無効にした場合にも、 Disabledステータスで終了することがあります。 無効化されたタスクは、 DAGの右上隅。LakeFlowジョブの「無効なタスク」を参照してください。

ストリーミングタスクのメトリクスを表示する

備考

プレビュー

ストリーミング オブザーバビリティ for Lakeflow ジョブは パブリック プレビュー段階です。

ジョブ実行の詳細を表示すると、ジョブ UI のストリーミング監視メトリクスを使用して、ストリーミングワークロードに関するデータを取得できます。 これらのメトリクスには、バックログ秒数、バックログバイト数、バックログレコード、およびソースSpark ApacheKafka(AmazonKinesis 、 、Auto Loader 、Google Pub/Sub、 テーブルなど 構造化ストリーミングでサポートされているバックログファイルが含まれます。Deltaメトリクスは、タスクの実行詳細を表示すると、右側のペインにグラフとして表示されます。 各チャートに示されているメトリクスは、分単位で集計された最大値であり、過去48時間まで含めることができます。

各ストリーミング ソースは、特定のメトリクスのみをサポートします。 ストリーミングソースでサポートされていないメトリクスは、UIで表示できません。 次の表は、サポートされているストリーミング ソースで使用できるメトリクスを示しています。

ソース	バックログバイト	バックログ レコード	バックログ秒数	バックログ ファイル
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Auto Loader	✓			✓
Google Pub/Sub	✓	✓

また、各ストリーミングメトリクスのしきい値を指定し、タスクの実行中にストリームがしきい値を超えた場合の通知を設定することもできます。 「低速ジョブの通知を構成する」を参照してください。

サポートされている構造化ストリーミング ソースの 1 つからデータをストリームするタスク実行のストリーミング メトリクスを表示するには:

1. ( ジョブ実行の詳細 ) ページで、メトリクスを表示するタスクをクリックします。
2. タスク実行 ペインの メトリクス タブをクリックします。
3. メトリクスのグラフを開くには、メトリクス名の横にある [ ] をクリックします。
4. 特定のストリームのメトリクスを表示するには、[ ストリームによるフィルター ] テキスト ボックスにストリーム ID を入力します。 ストリーム ID は、ジョブ 実行の出力で確認できます 。
5. メトリクスグラフの期間を変更するには、時間ドロップダウンメニューを使用します。
6. 実行に 10 を超えるストリームが含まれている場合にストリームをスクロールするには、[ 次へ ] または [ 前へ ] をクリックします。

ストリーミング可観測性の制限

• メトリクスは、実行に 4 つ以上のストリームがある場合を除き、毎分更新されます。 実行に 4 つ以上のストリームがある場合、メトリクスは 5 分ごとに更新されます。
• メトリクスは、各実行の最初の 50 ストリームについてのみ収集されます。
• メトリクスは 1 秒間隔で収集されます。triggerInterval設定が 1 秒未満の場合、メトリクスが表示されないことがあります。
• ほとんどのデータソースは、デフォルトでストリーミングメトリクスを収集します。ただし、それ以外の場合は、この機能を有効にする必要があります。データソースがストリーミングメトリクスを収集していない場合は、 spark.sql.streaming.metricsEnabled フラグを Trueに設定します。

サーバレス ジョブのクエリ パフォーマンス メトリクスを表示する

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

サーバーレス ジョブを実行すると、 Databricksは選択したクエリ プロファイル メトリクスとパフォーマンスの知見をジョブ実行 UI に直接表示するため、クエリごとに個別のクエリ プロファイルを開かなくてもパフォーマンスの問題を特定できます。 これらのメトリクスを使用して、実行が遅い理由を調査したり、2 つの実行間のパフォーマンスを比較したりできます。

これらのメトリクスを表示する前に、次のことを行ってください。

• ワークスペースに対して、 改良されたサーバーレス ワークロードの可観測性 プレビューを有効にする必要があります。 ワークスペース管理者は、プレビューページからこれを有効にできます。
• ワークスペースはクエリ パフォーマンスの知識にアクセスできる必要があります。 それがないと、電球のインジケーターは表示されませんが、集計されたメトリクス（読み込まれた行数、書き込まれた行数、およびクエリの合計数）は表示されます。

Databricks 、サーバレス ジョブ実行のクエリから集計された次のメトリクスを表示します。

• タスク実行ごとに 読み込まれた行数 と 書き込まれた行数 。
• タスク実行ごとの クエリ総数 。
• タスク内の 1 つ以上のクエリにパフォーマンスに関する知見がある場合の、タスク上のパフォーマンスに関する 知見インジケーター (電球)。

これらのメトリクスは、実行をどのように表示しているかに応じて、さまざまな場所に表示されます。

現れる場所	あなたが見るもの
タスク実行サイドバー	読み取られた行と書き込まれた行、合計クエリ数、およびタスク実行に関する知識インジケーター。
DAGビュー	タスクのクエリのいずれかにパフォーマンスに関する知識がある場合、タスク ノード上の電球バッジ。
タイムラインビュー	タスク名の横にある電球に、タスクのクエリ全体にわたる知識の数が表示されます。さらに、知識のあるタスク内の各クエリにも電球が表示されます。
リストビュー	タスクのクエリのいずれかにパフォーマンスに関する知見がある場合、 知見 列に電球が表示されます。 この列が表示されない場合は、列選択ツールから追加してください。

注記

今回のベータ版では、単一タスクのジョブでもタイムライン表示が利用できるようになりました。以前は、タイムライン表示はマルチタスクジョブにのみ適用されていました。

クリックとホバーの動作:

• タイムライン ビュー で、タスクの上にマウスを置くと、そのタスクの集計されたメトリクスと、タスクのクエリに関するパフォーマンスの知見が表示されます。
• DAGビュー または リストビュー で、タスクの電球アイコンをクリックすると、そのタスクのクエリが展開された タイムラインビュー が開きます。
• タイムライン ビュー で、電球アイコンが付いているクエリの クエリ テキスト をクリックすると、そのクエリのパフォーマンスの概要を示すサイド パネルが開きます。

サーバーレス ジョブの実行が予想よりも遅い理由を調査するには、次のようにします。

1. ジョブ実行を開始します。

2. タイムライン表示 に切り替えます。

3. 所要時間の分布に基づいて、予想よりも時間がかかっているタスクを特定する。

4. 長時間実行中のタスクにカーソルを合わせると、次の情報が表示されます。

   • 読み込まれた行数 と 書き込まれた行数 ― タスクが通常よりも多くのデータを処理したかどうかを確認するため。
   • クエリの総数 ― ワークロードの形状の変化を把握するため。
   • パフォーマンス指標 - 回帰や非効率的なコード変更を特定します。

5. データ量の増加によって処理時間が長くなったのであれば、処理速度の低下は予想される。それ以外の場合は、タイムライン上でタスクを展開して、個々のクエリを確認してください。検出されたクエリには、その横に電球が表示されます。

6. 電球アイコンが付いたクエリの クエリテキスト をクリックすると、そのクエリのパフォーマンスを示すサイドパネルが開きます。

7. 推奨される変更を適用し、ジョブを再実行して問題が解決したことを確認してください。

知識の完全なリストとその意味については、 「クエリ パフォーマンスの知識」を参照してください。 クエリ実行の詳細については、 「クエリプロファイル」を参照してください。

ヒント

2つの実行結果を比較する

これらの同じメトリクスを使用すると、遅い実行と以前の速い実行の違いを簡単に見つけることができます。 両方の実行結果を並べて表示し、比較してください。

• データ量の変化を把握するために、 読み込まれた行数 と 書き込まれた行数を計測します 。
• ワークロードの形状変化を特定するため のクエリの総数 。
• 前回の実行以降に生じた非効率性を特定するため のパフォーマンスに関する知識 。

クエリのパフォーマンスのメトリクスの制限事項

• これらのメトリクスと知見は 、サーバレス LakeFlowジョブにのみ適用されます。 クラシック コンピュートでのジョブ実行では、この情報は表示されません。
• メトリクスは、ジョブ実行における 最初の100件のクエリ を集計したものです。実行されたクエリが複数ある場合、合計には最初の100件のみが反映されます。

タスクの実行履歴を表示する

タスクの実行履歴(成功および失敗した実行を含む)を表示するには:

1. ジョブ実行詳細 ページでタスクをクリックします。 タスク実行の詳細 ページが表示されます。
2. 実行履歴のドロップダウンメニューでタスクの実行を選択します。

For eachタスクのタスク実行履歴を表示する

For eachタスクの実行履歴へのアクセスは、標準のLakeFlowジョブ タスクの場合と同じです。 ジョブ実行詳細 ページのタスクノードFor eachをクリックするか、マトリックスビューの対応するセルをクリックしてください。ただし、標準タスクとは異なり、 For eachタスクの実行詳細は、ネストされたタスクの反復の表として表示されます。

失敗したイテレーションのみを表示するには、[ 失敗したイテレーションのみ ] をクリックします。

イテレーションの出力を表示するには、イテレーションの開始時間または終了時間の値をクリックします。

すべてのジョブとパイプラインにおける最近の実行状況を表示する

アクセス権のあるワークスペース内のすべてのジョブとパイプラインについて、現在実行中および最近完了した実行の一覧を表示できます。これには、Apache AirflowやAzure Data Factoryなどの外部オーケストレーションツールによって開始された実行も含まれます。最近の実行のリストを表示するには:

1. サイドバーの「 ジョブとパイプライン 」をクリックします。
2. 「実行」 タブをクリックすると、完了実行数グラフとジョブおよびパイプライン実行のリストが表示されます。
3. （オプション） 「ジョブ」 または 「パイプライン」 をクリックすると、種類別にリストを絞り込むことができます。

実行リストには、上部のフィルタリング オプション、最近完了した実行と上位 5 つのエラーのグラフ、最近完了した実行のリストが含まれます。

次の条件でフィルタリングできます:

• ジョブまたはパイプラインの 名前 。
• すべて 、 ジョブ 、または パイプライン 。
• パイプラインの種類 (ETL、取り込み、MV/ST、またはデータベース テーブル同期)。
• 実行 ユーザー。
• 特定の実行を検索するための 実行 ID 。
• 実行の 開始時刻 (過去 48 時間以内)。
• 実行ステータス 。
• 失敗した実行の エラー コード 。

フィルターは、グラフ、エラー コード、実行リストに適用されます。

完了した実行回数のグラフ

完了実行数 グラフは、過去48時間に完了した実行回数を示します。デフォルトでは、グラフには失敗した実行、スキップされた実行、成功した実行が表示されます。グラフをフィルタリングして特定の実行状況を表示したり、グラフを特定の期間に限定したりすることもできます。

注記

完了した実行回数の グラフは、 ジョブ または パイプライン でフィルタリングした場合にのみ表示されます。 「すべて」 を選択した場合は表示されません。このグラフは、管理者向けにすべての実行結果について表示されています。管理者以外の場合は、 「実行」 をクリックして 「自分」 を選択する必要があります。

「実行」 タブの上部にあるフィルターがグラフに適用されます。

完了した実行回数 グラフに表示される時間範囲を制限するには、フィルターで時間範囲を定義します。または、グラフ上でカーソルをクリックしてドラッグすることで、時間範囲を選択することもできます。グラフと実行回数表は、指定された期間の実行回数のみを表示するように更新されます。

上位 5 つのエラータイプの 表には、選択した期間で最も頻繁に発生するエラータイプのリストが表示され、問題の最も一般的な原因をすばやく確認できます。 。

実行リスト

この タブ には、過去 60 日間のジョブとパイプライン実行の表も含まれています。 Databricksは、ジョブとパイプラインの両方について、実行履歴を60日間保持します。デフォルトでは、この表には失敗した実行、スキップされた実行、成功した実行に関する詳細情報が含まれます。

「実行」 タブの上部にあるフィルターがリストに適用されます。

デフォルト別では、実行テーブルの実行リストには次のように表示されます。

• 実行の開始時刻。
• 実行に関連付けられたジョブまたはパイプラインの名前。
• 実行のタイプ ( ジョブ または パイプライン )。
• 実行のユーザー名。
• 実行がどのようにトリガーされたか（ 起動されたか ）、スケジュールまたはAPIリクエストによるものか、あるいは手動で開始されたものか。
• 現在実行中のジョブまたはパイプラインの経過時間、あるいは完了した実行の合計実行時間。処理時間が設定された予想完了時間を超えた場合、警告が表示されます。
• 実行の状態 ( キューに登録済み 、 保留中 、 実行中 、 スキップ、 成功 、 失敗 、 タイムアウト 、 キャンセル 中、 またはキャンセル 済み)。
• 実行が終了したエラー・コード。
• 実行のための任意のパラメーター。
• 実行中のジョブまたはパイプラインを停止するには、停止ボタンをクリックします。実行のアクションにアクセスするには、 (たとえば、アクティブな実行を停止したり、完了した実行を削除したりするため)。

実行リストに表示される列を変更するには、[ ] をクリックし、列を選択または選択解除します。

ジョブ実行の詳細を表示するには、実行 開始時刻の 列にあるリンクをクリックしてください。ジョブまたはパイプラインの詳細を表示するには、 「ジョブ」 列の名前をクリックします。

宣言型自動化バンドルで作成されたジョブを表示および実行する

LakeFlowジョブ UI を使用して、 Declarative Automation Bundlesによってデプロイされたジョブを表示および実行できます。 デフォルトでは、これらのジョブはジョブUIでは読み取り専用です。バンドルによってデプロイされたジョブを編集するには、バンドル構成ファイルを変更してジョブを再デプロイします。バンドル構成のみに変更を適用することで、バンドルソースファイルが常に最新のジョブ構成を反映することが保証されます。

ただし、ジョブをすぐに変更する必要がある場合は、バンドル設定からジョブを切断して、UI でジョブ設定を編集できるようにすることができます。 ジョブを切断するには、[ ソースから切断] をクリックします。 「ソースから切断 」ダイアログで、「 切断 」をクリックして確定します。

UI でジョブに加えた変更は、バンドル設定には適用されません。 UI で行った変更をバンドルに適用するには、バンドル設定を手動で更新する必要があります。 ジョブをバンドル構成に再接続するには、バンドルを使用してジョブを再デプロイします。

ジョブ実行結果のエクスポート

すべてのジョブ・タイプのノートブック実行結果とジョブ実行ログをエクスポートできます。

ノートブックの実行結果をエクスポートする

ジョブの実行は、結果をエクスポートすることで保持できます。 ノートブック ジョブの実行では、レンダリングされたノートブックを エクスポート して、後で Databricks ワークスペース にインポート できます。

1 つのタスクを含むジョブのノートブック実行結果をエクスポートするには、次のようにします。

1. ジョブの詳細ページで、[ Completed run (past 60 days)] (完了実行 (過去 60 日間)) テーブルの [実行 ] 列にある実行の [View Details] (詳細の表示 ) リンクをクリックします。
2. 「 HTMLにエクスポート」 をクリックします。

複数のタスクを持つジョブのノートブック実行結果をエクスポートするには:

1. ジョブの詳細ページで、[ Completed run (past 60 days)] (完了実行 (過去 60 日間)) テーブルの [実行 ] 列にある実行の [View Details] (詳細の表示 ) リンクをクリックします。
2. エクスポートするノートブック タスクをクリックします。
3. 「 HTMLにエクスポート」 をクリックします。

ジョブ実行ログのエクスポート

また、ジョブ実行のログをエクスポートすることもできます。 ジョブ コンピュートの設定DBFS (コンピュート設定リファレンス を参照) またはジョブ を使用して、ログを に自動的に配信するようにジョブを設定できます。APIジョブ API の Create a new job 操作 (POST /jobs/create) に渡される要求本文の new_cluster.cluster_log_conf オブジェクトを参照してください。