メインコンテンツまでスキップ
に最終更新

ノートブックから AI ランタイム に接続する

備考

プレビュー

この機能は パブリック プレビュー段階です。

ノートブックを AI ランタイムにアタッチすることは、トレーニングおよびファインチューニングのワークロードを実行するための主要な方法です。GPU に対してインタラクティブに開発を行い、本番運用に対応できる状態になったら、同じノートブックを定期的なジョブとしてスケジュールします。

このページの主なポイント：

  • クラスターを設定せずに、ノートブックを Serverless GPU にアタッチして GPU 上でインタラクティブに開発を行います。
  • 同じノートブックを、ノートブック UI、Jobs API、または Declarative Automation Bundles から定期ジョブとしてスケジュールします。
  • ノートブックからマルチ GPU トレーニングを実行する方法については、ノートブックでの分散トレーニングを参照してください。

このページではノートブックについて説明します。別の方法でAI ランタイムにアクセスするには、SSHトンネル経由でIDEから接続するか、Databricks CLIをAI ランタイムで使用するを使用してラップトップからジョブを送信するか、Rayをランします。Declarative Automation Bundlesを使用してトレーニングコード（ノートブックではない）の本番運用を行うには、GPUワークロードのスケジュールとタスクの構成を参照してください。

ノートブックに接続する​

これがAI Runtime主な使用方法です。 ノートブックに接続して環境を構成するには:

  1. ノートブックから、上部の [コンピュート] ドロップダウン メニューをクリックし、 [サーバレス GPU] を選択します。

    AI Runtime ノートブックでコンピュートとして Serverless GPU が選択されている、ノートブックのコンピュート・ドロップダウンメニュー。

  2. クリック環境アイコン。 環境 サイドパネルを開きます。

  3. アクセラレータ フィールドからアクセラレータを選択します。分散トレーニングワークロードの場合は、 8xH100 または 8xB300 を選択します。アクセラレータの選択に関するガイダンスについては、 ハードウェアオプション を参照してください。

  4. ベース環境 フィールドから、スタンダード環境の場合は Standard v6 を、AI環境の場合は AI v6 を選択してください。

  5. [適用] をクリックし、 AI Runtimeノートブック環境に適用することを 確認します 。

    AI Runtime ノートブックのアクセラレーターおよびベース環境フィールドを表示する環境サイドパネル。

注記

コンピュートへの接続は、何も操作しない状態が 60 分間続くと自動的に終了します。

ヒント

GPU を必要としない操作 ( Gitリポジトリのクローン作成、データ形式の変換、探索的データ分析など) の場合は、ノートブックを CPU クラスターに接続して GPU リソースを保持します。

ノートブックのスケジュール設定​

AI Runtime を使用するノートブックを、ノートブック UI から、またはプログラムで定期ジョブとしてスケジュールできます。詳細については、スケジュールされたノートブックジョブの作成と管理を参照してください。

実行するノートブックからスケジュールを設定するには：

  1. 右上の 「スケジュール」 ボタンを選択してください。
  2. 「スケジュールを追加」 を選択してください。
  3. 新しいスケジュール フォームに ジョブ名 、 スケジュール 、および コンピュート を入力します。
  4. 「作成」 を選択します。

スケジュールされたノートブックジョブのジョブ名、スケジュール、およびコンピュートフィールドを示す「新しいスケジュール」フォーム。

注記

環境 パネルを使用した依存関係の追加は、AI Runtimeのスケジュールされたジョブではサポートされていません。依存関係は、ノートブック内にプログラムによってインストールする必要があります（例: %pip install）。自動回復はサポートされていません。互換性のないパッケージが原因でジョブが失敗した場合は、手動で修正して再実行する必要があります。

7日間の最大ランタイムを超える可能性のあるワークロードの場合は、再開できるように手動チェックポイントを実装してください。We recommend using Unity Catalog volumes via UCVolumeWriter and UCVolumeReader from databricks.air.data.See Checkpoint with Distributed Checkpoint (DCP).

Jobs and パイプライン UIでスケジュールする​

ジョブとパイプラインの UIからジョブを作成したり、スケジュールを設定したりすることもできます。手順の詳細については、 「新しいジョブを作成する」を参照してください。

Jobs and pipelines UI での AI ランタイム ノートブックのジョブの作成とスケジュール

備考

ベータ版

Databricks AI 環境を含む、ワークスペースの基本環境を使用する定期的なノートブックジョブの実行は、ベータ版です。ワークスペース管理者が Serverless workspace base environment support in Jobs のプレビューを有効にする必要があります。Databricksのプレビューを管理するを参照してください。

Jobs APIおよびDeclarative Automation Bundlesを使用したスケジュール設定​

Databricks Jobs API または Declarative Automation Bundles を使用して、AI ランタイム ノートブックのジョブをプログラムで作成および管理できます。デプロイメントパイプラインを自動化するには、ジョブまたはバンドルの定義でコンピュートタイプをServerless GPUとして設定します。

ノートブックの代わりにコードのディレクトリに対して独自のトレーニング コマンドを実行し、マルチタスク ジョブやスケジュールされたパイプラインを構築するには、GPU ワークロードのスケジュールとタスクの構成を参照してください。

次の例は、Standard 環境を使用した、スケジュールされた AI Runtime ノートブックジョブのための Declarative Automation Bundles 設定を示しています。

YAML
resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Standard環境の代わりにDatabricks AI環境を使用するには、環境specでbase_environmentをAI環境識別子（例：AI v6の場合はdatabricks_ai_v6）に設定し、タスクのenvironment_keyから参照します：

備考

ベータ版

ジョブのワークスペースの基本環境として Databricks AI 環境を選択することは、ベータ版です。ワークスペース管理者が Serverless workspace base environment support in Jobs のプレビューを有効にする必要があります。Databricksのプレビューを管理するを参照してください。

YAML
resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
このページの見出し