バッチ推論と予測のためのモデルをデプロイする

この記事では、Databricks がバッチ推論とストリーミング推論に推奨する内容について説明します。

Databricksでのリアルタイム モデルサービングについては、 Databricks付きモデルサービング を参照してください。

バッチ推論に ai_query を使用する

プレビュー

この機能はパブリックプレビュー段階です。

Databricks バッチ推論には 、モデルサービング と ai_query を使用することをお勧めします。 ai_queryは、 を使用して既存のモデルサービングエンドポイントをクエリできる組み込みDatabricks SQL SQL関数です。数十億トークンの範囲のデータセットを確実かつ一貫して処理することが確認されています。 この AI 関数の詳細については 、ai_query 関数 を参照してください。

迅速な実験のために、 ai_query は トークン単位の従量課金エンドポイント と共に使用できます。これらのエンドポイントはワークスペースで事前に構成されているためです。

大規模なデータまたは本番運用データに対してバッチ推論を実行する準備ができたら、 Databricks はプロビジョン済み スループット エンドポイントを使用してパフォーマンスを高速化することをお勧めします。 プロビジョニング プロビジョン済みスループット エンドポイントを作成するには、プロビジョン済み スループット 基盤モデル APIs を参照してください。