バッチ推論と予測のためのモデルをデプロイする

この記事では、Databricks がバッチ推論とストリーミング推論に推奨する内容について説明します。

Databricksでのリアルタイム モデルサービングについては、 Databricks付きモデルサービング を参照してください。

バッチ推論に ai_query を使用する

プレビュー

この機能はパブリックプレビュー段階です。

Databricks バッチ推論には 、モデルサービング と ai_query を使用することをお勧めします。 ai_queryは、 を使用して既存のモデルサービングエンドポイントをクエリできる組み込みDatabricks SQL SQL関数です。数十億トークンの範囲のデータセットを確実かつ一貫して処理することが確認されています。 この AI 関数の詳細については 、ai_query 関数 を参照してください。

迅速な実験のために、 ai_query は トークン単位の従量課金エンドポイント と共に使用できます。これらのエンドポイントはワークスペースで事前に構成されているためです。

大規模なデータまたは本番運用データに対してバッチ推論を実行する準備ができたら、 Databricks はプロビジョニング スループット エンドポイントを使用してパフォーマンスを高速化することをお勧めします。 ai_queryを使用したバッチ LLM 推論の実行を参照してください。