バッチ推論と予測のためのモデルのデプロイ

この記事では、Databricks がバッチ推論に推奨する内容について説明します。

Databricksでのリアルタイム モデルサービングについては、「Mosaic AI Model Servingを使用したモデルのデプロイ」を参照してください。

バッチ推論のためのAI関数

備考

プレビュー

この機能は パブリック プレビュー段階です。

AI関数は、Databricksに保存されているデータにAIを適用するために使用できる組み込み関数です。バッチ推論は、 タスク固有の AI 関数 または汎用関数 ai_queryを使用して実行できます。

以下は、タスク固有の AI 関数 ai_translateを使用したバッチ推論の例です。テーブル全体に対してバッチ推論を実行する場合は、クエリから limit 500 を削除できます。

SQL

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

または、汎用関数 ( ai_query ) を使用してバッチ推論を実行することもできます。

• ai_queryがサポートするモデルタイプと関連モデルを確認します。
• を使用したバッチLLM 推論の実行AI Functions を参照してください。

Spark データフレーム を使用したバッチ推論

Spark を使用したモデル推論ワークフローのステップ バイ ステップ ガイドについては、「 Spark データフレーム を使用してバッチ推論を実行する 」を参照してください。

ディープラーニング モデルの推論の例については、次の記事を参照してください。

• TensorFlow と TensorRT を使用したモデル推論
• PyTorch を使用したモデル推論