メインコンテンツまでスキップ
に最終更新

ジョブ用Pythonスクリプトタスク

Pythonスクリプト タスクを使用して、Pythonファイルを実行します。

要件​

  • Pythonスクリプトは、ジョブを構成するユーザーがアクセスできる場所にアップロードする必要があります。Databricksでは、Pythonスクリプトにワークスペースファイルを使用することをお勧めします。ワークスペースファイルとは何ですか？

Pythonスクリプトタスクを構成する​

注記

ジョブUIは、他の構成された設定に基づいてオプションを動的に表示します。

Databricksでは、DBFSルートまたはマウントを使用してコードやデータを保存することを推奨していません。代わりに、Pythonスクリプトをワークスペースファイルまたはボリュームに移行するか、URIを使用してクラウドオブジェクトストレージにアクセスできます。

Python scriptタスクの設定を開始する手順。

  1. ジョブUIの タスク タブに移動します。
  2. プラスアイコン。 タスクを追加 をクリックします。
  3. 「タスク名」 フィールドに名前を入力します。
  4. タイプ ドロップダウンメニューで、Python scriptを選択します。

ソースを構成​

ソース ドロップダウン メニューで、次のいずれかのオプションを使用して Python スクリプトの場所を選択します。

workspace​

ワークスペース ファイルを使用して格納されたPythonスクリプトを構成するには、 ワークスペース を使用します。

  1. パス フィールドをクリックします。 Python ファイルの選択 ダイアログが表示されます。
  2. Python スクリプトを参照し、ファイルをクリックしてハイライト表示し、 確認 をクリックします。
注記

このオプションを使用すると、Databricks Git フォルダーに保存されている Python スクリプトでタスクを構成できます。Databricks では、ジョブでスケジュールされるアセットのバージョン管理に Git provider オプションとリモート Git リポジトリを使用することを推奨しています。

DBFS/GCS​

DBFS/GCS を使用して、ボリューム、クラウド オブジェクト ストレージの場所、またはDBFS ルートに格納されているPythonスクリプトを構成します。

Databricksでは、PythonスクリプトをUnity Catalogボリュームまたはクラウドオブジェクトストレージに保存することをお勧めします。

パス フィールドに、Python スクリプトの URI を入力します。たとえば、 dbfs:/path/to/script.py や gs://bucket-name/path/to/script.pyなどです。

Git プロバイダー​

**「Git プロバイダー」**を使用して、リモート Git リポジトリに格納されている Python スクリプトを構成します。

UI に表示されるオプションは、他の場所で Git プロバイダーをすでに構成しているかどうかに応じて異なります。ジョブ内のすべてのタスクには、リモート Git リポジトリは 1 つのみ使用できます。LakeFlow ジョブで Git を使用するを参照してください。

パス フィールドは、git 参照を設定した後に表示されます。

Pythonスクリプトの相対パスを入力します。たとえば、etl/bronze/ingest.pyのように。

重要

相対パスを入力するときは、/または./で開始しないでください。例えば、アクセスしたいPythonコードの絶対パスが/etl/bronze/ingest.pyの場合、 パス フィールドにetl/bronze/ingest.pyを入力します。

コンピュートと依存ライブラリの構成​

  1. コンピュート を使用して、スクリプト内のロジックをサポートするクラスターを選択または構成します。
  2. プラスアイコン。 依存ライブラリ の下にある 追加 をクリックします。 依存ライブラリの追加 ダイアログが表示されます。
    • 既存のライブラリを選択するか、新しいライブラリをアップロードできます。
    • コンピュート構成でサポートされている場所に保存されているライブラリのみ使用できます。Python ライブラリのサポートを参照してください。
    • 各 ライブラリ ソース には、ライブラリを選択またはアップロードするための異なるフローがあります。ライブラリのインストールを参照してください。

ジョブ構成を確定する​

  1. (オプション)PythonスクリプトにCLIの引数として渡される文字列のリストとして パラメーター 構成します。タスク パラメーターの設定を参照してください。
  2. （オプション）再試行、実行時間またはストリーミングバックログしきい値、または通知を構成するには、「高度なタスク設定」を参照してください。
  3. タスクの保存 をクリックします。

このタスクを編集、複製、無効化、または削除するには、「Lakeflowジョブでタスクを構成および編集する」を参照してください。

その他のリソース​

このページの見出し