メインコンテンツまでスキップ
に最終更新

Databricks IDE 拡張機能を使用して、Databricks でクラスター上のファイル、またはファイルやノートブックをジョブとして実行する

Databricks IDE 拡張機能を使用すると、Python コードをクラスターで実行したり、Python、R、Scala、または SQL コードやノートブックを Databricks のジョブとして実行したりできます。

この情報は、Databricks IDE 拡張機能を既にインストールして設定していることを前提としています。Databricks IDE 拡張機能のインストールを参照してください。

注記

Visual Studio Code 内からコードまたはノートブックをデバッグするには、Databricks Connect を使用します。Databricks IDE 拡張機能で Databricks Connect を使用したコードのデバッグおよびDatabricks IDE 拡張機能を使用して Databricks Connect でノートブック セルを実行およびデバッグするを参照してください。

クラスター上の Python ファイルの実行​

注記

この機能は、サーバレス コンピュートを使用している場合は使用できません。

Databricks IDE拡張機能を使用してDatabricksクラスター上でPythonファイルを実行するには、拡張機能とプロジェクトを開いた状態で、次のようにします。

  1. クラスターで実行する Python ファイルを開きます。
  2. 以下のいずれかを実行します。

    • ファイル エディターのタイトル バーで、[ Databricks で実行 ] アイコンをクリックし、[ ファイルのアップロードと実行 ] をクリックします。

      アイコンからファイルをアップロードして実行する

    • エクスプローラー ビュー ( 表示 > エクスプローラー ) で、ファイルを右クリックし、コンテキスト メニューから Databricks > アップロードしてファイルを実行 を選択します。

      コンテキストメニューからのファイルのアップロードと実行

クラスターで実行され、出力されたファイルは デバッグコンソール ( 表示 > デバッグコンソール )で使用できます。

Python ファイルをジョブとして実行する​

Databricks IDE 拡張機能を使用して Python ファイルを Databricks ジョブとしてランするには、拡張機能とプロジェクトを開いた状態で、次のようにします。

  1. ジョブとして実行する Python ファイルを開きます。
  2. 以下のいずれかを実行します。

    • ファイル エディターのタイトル バーで、 Databricks で実行 アイコンをクリックし、 ファイルをワークフローとして実行 をクリックします。

      アイコンからファイルをワークフローとして実行

    • エクスプローラー ビュー ( 表示 > エクスプローラー ) で、ファイルを右クリックし、コンテキスト メニューから Databricks で実行 > ファイルをワークフローとして実行 を選択します。

      コンテキストメニューからワークフローとしてファイルを実行する

Databricks ジョブの実行 というタイトルの新しいエディター タブが表示されます。ファイルはワークスペースでジョブとして実行され、出力は新しいエディター タブの 出力 領域に表示されます。

ジョブ実行に関する情報を表示するには、新しい Databricks ジョブ実行 エディタータブの タスク 実行 ID リンクをクリックします。ワークスペースが開き、ジョブ実行の詳細がワークスペースに表示されます。

Python、R、Scala、または SQL ノートブックをジョブとして実行する​

Visual Studio Code の Databricks 拡張機能を使用してノートブックを Databricks ジョブとして実行し、その拡張機能とプロジェクトを開いた状態で実行するには、次のようにします。

  1. ジョブとして実行するノートブックを開きます。
ヒント

Python、R、Scala、または SQL ファイルを Databricks ノートブックに変換するには、ファイルの先頭にコメント # Databricks notebook source を追加し、各セルの前にコメント # COMMAND ---------- を追加します。詳細については、「 ファイルをノートブックに変換する」を参照してください。

Databricks ノートブック1として書式設定された Python コード ファイル

  1. 以下のいずれかを実行します。

    • ノートブック ファイル エディターのタイトル バーで、 Databricks で実行 アイコンをクリックし、 ファイルをワークフローとして実行 をクリックします。
注記

ワークフローとしてDatabricksを実行 が使用できない場合は、カスタム実行構成の作成を参照してください。

  • エクスプローラー ビュー ( 表示 > エクスプローラー ) で、ノートブック ファイルを右クリックし、コンテキスト メニューから Databricks で実行 > ファイルをワークフローとして実行 を選択します。

Databricks ジョブの実行 というタイトルの新しいエディター タブが表示されます。ノートブックは、ワークスペースでジョブとして実行されます。ノートブックとその出力は、新しいエディター タブの 出力 領域に表示されます。

ジョブ実行に関する情報を表示するには、 Databricks ジョブ実行 エディター タブの タスク実行 ID リンクをクリックします。ワークスペースが開き、ジョブ実行の詳細がワークスペースに表示されます。

カスタム実行構成を作成する​

Databricks IDE拡張機能のカスタム実行構成を使用すると、ジョブやノートブックにカスタム引数を渡したり、ファイルごとに異なる実行設定を作成したりできます。詳細については、Visual Studio Codeドキュメントの「起動構成」を参照してください。

カスタム実行構成を作成するには、Visual Studio Code のメイン メニューから 実行 > 構成の追加 をクリックします。 次に、クラスターベースの実行構成の場合は Databricks を、ジョブベースの実行構成の場合は Databricks: ワークフロー を選択します。

たとえば、次のカスタム実行構成では、 実行ファイルをワークフロー 起動コマンドとして変更し、 --prod 引数をジョブに渡します。

JSON
{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}
ヒント

Python 構成を使用し、拡張機能のセットアップの一部である Databricks Connect 認証を利用する場合は、 "databricks": true "type": "python"構成に追加します。

このページの見出し