Databricksのモデルサービング

このセクションでは、Mosaic AI Model Serving を使用して REST エンドポイントを通じて AI モデルと ML モデルをサービングする方法と、MLflow を使用してバッチ推論とストリーミング推論を行う方法について説明します。

Mosaic AI Model Serving

Mosaic AI Model Serving は、AI モデルと ML モデルをデプロイ、制御、クエリするための Databricks の統合インターフェイスです。 サービングする各モデルは、Web アプリケーションまたはクライアント アプリケーションに統合できる REST API として使用できます。

Mosaic AI Model Serving は、以下のサービスをサポートしています。

• MLflow 形式でパッケージ化されたカスタム Python モデル。例としては、scikit-learn、XGBoost、PyTorch、Hugging Face トランスフォーマーモデルなどがあります。

  • AI Agent の提供 は、カスタムモデルとしてサポートされています。

• DBRX、Meta 、Llama、Mixtral などの 基盤モデルAPI。

• Databricks の外部でホストされている外部モデルは、Databricks から一元的に管理できます。これにより、組織内の OpenAI や Anthropic などのさまざまな LLM プロバイダーの使用と管理が効率化されます。

バッチ推論

バッチ推論とストリーミング推論の場合、Databricks では MLflow を使用して MLflow モデルをデプロイすることをお勧めします。 詳細については、「 バッチ推論と予測のためのモデルのデプロイ」を参照してください。