基盤モデルAPIsを使用したバッチ推論

この記事では、基盤モデルAPIsを使用して、リアルタイム エンドポイントでバッチ推論を実行するサンプル コンピュータを示します。 基盤モデルAPIsを使用してバッチ推論を実行するには、両方の機械学習が必要です。

この例では、チャット タスク用のDBRX Instructモデルを使用したバッチ推論を示します。

要件

  • 基盤モデルAPIsサポートされているリージョン内のワークスペース

  • Databricks Runtime 14.0 ML 以上

  • provisioned-throughput-batch-inferenceノートブックとchat-batch-inference-apiノートブックはワークスペース内の同じディレクトリに存在する必要があります

入力テーブルの設定、バッチ推論

次のノートブックは、Python を使用して次のタスクを実行します。

  • 入力テーブルと入力列からデータを読み取ります

  • リクエストを構築し、基盤モデルAPIsエンドポイントに送信します。

  • 入力行を応答データと共に出力テーブルに永続化します。

Python ノートブックを使用したチャット モデルのバッチ推論タスク

ノートブックを新しいタブで開く

次のノートブックは、Spark を使用して上記のノートブックと同じタスクを実行します。

  • 入力テーブルと入力列からデータを読み取ります

  • リクエストを構築し、基盤モデルAPIsエンドポイントに送信します。

  • 入力行と応答データを出力テーブルに保持します。

PySpark Pandas UDF ノートブックを使用したチャット モデルのバッチ推論タスク

ノートブックを新しいタブで開く

プロビジョニングされたスループットエンドポイントを作成する

Pythonノートブックの代わりに spark ノートブックを使用する場合は、 Pythonノートブックを呼び出すコマンドを必ず更新してください。

  • プロビジョニングされたスループットサービングエンドポイントを作成する

  • 準備完了状態になるまでエンドポイントを監視します

  • 準備されたエンドポイントに対してバッチ推論タスクを同時に実行するために、 chat-batch-inference-apiノートブックを呼び出します。 Spark を使用する場合は、この参照を変更してchat-batch-inference-udfノートブックを呼び出します。

  • バッチ推論が完了したら、プロビジョニングされたスループット サービング エンドポイントを削除します。

プロビジョニングされたスループット エンドポイント ノートブックでバッチ推論を実行する

ノートブックを新しいタブで開く