基盤モデルAPIsを使用したバッチ推論
この記事では、基盤モデルAPIsを使用して、リアルタイム エンドポイントでバッチ推論を実行するサンプル コンピュータを示します。 基盤モデルAPIsを使用してバッチ推論を実行するには、両方の機械学習が必要です。
この例では、チャット タスク用のDBRX Instructモデルを使用したバッチ推論を示します。
要件
基盤モデルAPIsサポートされているリージョン内のワークスペース
Databricks Runtime 14.0 ML 以上
provisioned-throughput-batch-inference
ノートブックとchat-batch-inference-api
ノートブックはワークスペース内の同じディレクトリに存在する必要があります
入力テーブルの設定、バッチ推論
次のノートブックは、Python を使用して次のタスクを実行します。
入力テーブルと入力列からデータを読み取ります
リクエストを構築し、基盤モデルAPIsエンドポイントに送信します。
入力行を応答データと共に出力テーブルに永続化します。
次のノートブックは、Spark を使用して上記のノートブックと同じタスクを実行します。
入力テーブルと入力列からデータを読み取ります
リクエストを構築し、基盤モデルAPIsエンドポイントに送信します。
入力行と応答データを出力テーブルに保持します。
プロビジョニングされたスループットエンドポイントを作成する
Pythonノートブックの代わりに spark ノートブックを使用する場合は、 Pythonノートブックを呼び出すコマンドを必ず更新してください。
プロビジョニングされたスループットサービングエンドポイントを作成する
準備完了状態になるまでエンドポイントを監視します
準備されたエンドポイントに対してバッチ推論タスクを同時に実行するために、
chat-batch-inference-api
ノートブックを呼び出します。 Spark を使用する場合は、この参照を変更してchat-batch-inference-udf
ノートブックを呼び出します。バッチ推論が完了したら、プロビジョニングされたスループット サービング エンドポイントを削除します。