バッチ推論と予測のためのモデルのデプロイ
この記事では、Databricks がバッチ推論に推奨する内容について説明します。
Databricksでのリアルタイム モデルサービングについては、「Mosaic AI Model Servingを使用したモデルのデプロイ」を参照してください。
バッチ推論のためのAI関数
プレビュー
この機能は パブリック プレビュー段階です。
AI関数は、Databricksに保存されているデータにAIを適用するために使用できる組み込み関数です。バッチ推論は、 タスク固有の AI 関数 または汎用関数 ai_queryを使用して実行できます。柔軟性を確保するために、Databricks ではバッチ推論に ai_query を使用することをお勧めします。
バッチ推論に ai_query を使用するには、主に 2 つの方法があります。
ai_queryと Databricks でホストされている基盤モデルを使用したバッチ推論。この方法を使用すると、 Databricks はワークロードに基づいて自動的にスケーリングするモデルサービングエンドポイントを設定します。 サポートされている 事前プロビジョニングされた LLM を確認します。- バッチ推論
ai_queryと、自分で構成するモデルサービング エンドポイントを使用します。 この方法は、Databricks の外部でホストされている基盤モデル、微調整された基盤モデル、または従来の ML モデルを使用するバッチ推論ワークフローに必要です。デプロイ後、エンドポイントはai_queryで直接使用できます。
Spark データフレーム を使用したバッチ推論
Spark を使用したモデル推論ワークフローのステップ バイ ステップ ガイドについては、「 Spark データフレーム を使用してバッチ推論を実行する 」を参照してください。
ディープラーニング モデルの推論の例については、次の記事を参照してください。
Spark UDF を使用した構造化データの抽出とバッチ推論
次のノートブックの例は、自動抽出手法を使用して生の非構造化データを整理された使用可能な情報に変換するための構造化データ抽出用の単純なエージェントの開発、ロギング、および評価を示しています。このアプローチでは、MLflow の PythonModel クラスを使用してバッチ推論用のカスタム エージェントを実装し、ログに記録されたエージェント モデルを Spark ユーザー定義関数 (UDF) として使用する方法を示します。このノートブックでは、Mosaic AI Agent Evaluation を活用して、グラウンド トゥルース データを使用して精度を評価する方法も示しています。
Spark UDF を使用した構造化データの抽出とバッチ推論
:::