メインコンテンツまでスキップ
に最終更新

AI Runtimeに接続する

備考

プレビュー

この機能は パブリック プレビュー段階です。

AI Runtimeには、インタラクティブノートブック、SSHトンネル経由のIDE、スケジュールされたジョブ、Jobs API、または宣言型オートメーションバンドルから接続できます。ノートブックをAI Runtimeにアタッチすることは、トレーニングおよびファインチューニングのワークロードを実行する主要な方法であり、同じノートブックを定期的なジョブとしてスケジュールしたり、デプロイメントパイプラインで自動化したりできます。

ヒント

主なポイント

  • ノートブックを Serverless GPU にアタッチすることが、AI Runtime ワークロードを実行するための主要な方法です。
  • IDE から SSH トンネル経由で接続したり、スケジュールされたジョブ、Jobs API、宣言型自動化バンドルを実行したりすることもできます。
  • 同じノートブックをインタラクティブに実行することも、定期的なジョブとして実行することもできます。

インタラクティブ (ノートブック)​

これがAI Runtime主な使用方法です。 ノートブックに接続して環境を構成するには:

  1. ノートブックから、上部の [コンピュート] ドロップダウン メニューをクリックし、 [サーバレス GPU] を選択します。
  2. クリック環境アイコン。 環境 サイドパネルを開きます。
  3. Select an accelerator from the Accelerator field.For distributed トレーニング workloads, select 8xH100 .See Hardware options for guidance on choosing an accelerator.
  4. ベース環境 フィールドから、スタンダード環境の場合は Standard v6 を、AI環境の場合は AI v6 を選択してください。
  5. [適用] をクリックし、 AI Runtimeノートブック環境に適用することを 確認します 。
注記

コンピュートへの接続は、何も操作しない状態が 60 分間続くと自動的に終了します。

ヒント

GPU を必要としない操作 ( Gitリポジトリのクローン作成、データ形式の変換、探索的データ分析など) の場合は、ノートブックを CPU クラスターに接続して GPU リソースを保持します。

IDEターミナルからの接続​

AI Runtime on サーバレス GPU コンピュートには、IDE のターミナルからSSH トンネル経由で直接接続できます。

AI Runtimeに接続するには、IDE内のターミナルから --accelerator オプションを指定して databricks ssh connect コマンドを実行します。個別のセットアップステップは必要ありません。コマンドに関する情報については、「sshコマンドグループ」を参照してください。

Bash
databricks ssh connect --accelerator=GPU_1xA10

Visual Studio CodeまたはCursorでセッションを接続して開始するには、--ideオプションを使用してください。CLIは、ホームワークスペースフォルダを指すIDEウィンドウを開きます。

Bash
databricks ssh connect --ide=vscode

セットアップ、プロジェクトの開き方、およびコードの実行の詳細については、「SSHトンネルを使用してDatabricksに接続する」を参照してください。

求人情報（予定）​

AI Runtimeを使用するノートブックを定期的なジョブとしてスケジュールできます。詳細については、「スケジュールされたノートブックジョブの作成と管理」を参照してください。

備考

ベータ版

Databricks AI 環境を含む、ワークスペースの基本環境を使用する定期的なノートブックジョブの実行は、ベータ版です。ワークスペース管理者が Serverless workspace base environment support in Jobs のプレビューを有効にする必要があります。Databricksのプレビューを管理するを参照してください。

使用したいノートブックを開いた後：

  1. 右上の 「スケジュール」 ボタンを選択してください。
  2. 「スケジュールを追加」 を選択してください。
  3. 新しいスケジュール フォームに ジョブ名 、 スケジュール 、および コンピュート を入力します。
  4. 「作成」 を選択します。

ジョブとパイプラインの UIからジョブを作成したり、スケジュールを設定したりすることもできます。手順の詳細については、 「新しいジョブを作成する」を参照してください。

注記

環境 パネルを使用した依存関係の追加は、AI Runtimeのスケジュールされたジョブではサポートされていません。依存関係は、ノートブック内にプログラムによってインストールする必要があります（例: %pip install）。自動回復はサポートされていません。互換性のないパッケージが原因でジョブが失敗した場合は、手動で修正して再実行する必要があります。

7日間の最大ランタイムを超える可能性があるワークロードには、再開できるように手動チェックポイントを実装してください。serverless_gpu.data から UCVolumeWriter および UCVolumeReader を介して Unity Catalog ボリュームを使用することを推奨しています。モデルチェックポイントを参照してください。

Jobs API および宣言型オートメーションバンドル​

Databricks Jobs API または 宣言型オートメーションバンドルを使用して、AI Runtime ジョブをプログラムで作成および管理できます。展開パイプラインを自動化するには、ジョブまたはバンドル定義でコンピュートタイプをサーバレス GPU として構成します。

ノートブックの代わりにコードのディレクトリに対して独自のトレーニング コマンドを実行し、マルチタスク ジョブとスケジュールされたパイプラインを構築する方法については、トレーニング ワークロードの本番稼働化を参照してください。

次の例は、標準環境を使用した AI Runtime ジョブの宣言型オートメーションバンドル構成を示しています。

YAML
resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Standard環境の代わりにDatabricks AI環境を使用するには、環境specでbase_environmentをAI環境識別子（例：AI v6の場合はdatabricks_ai_v6）に設定し、タスクのenvironment_keyから参照します：

備考

ベータ版

ジョブのワークスペースの基本環境として Databricks AI 環境を選択することは、ベータ版です。ワークスペース管理者が Serverless workspace base environment support in Jobs のプレビューを有効にする必要があります。Databricksのプレビューを管理するを参照してください。

YAML
resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
このページの見出し