Databricks でモデルを提供する

このセクションでは、Mosaic AI Model Serving を使用して REST エンドポイントを通じて AI モデルと ML モデルを提供する方法と、MLflow を使用してバッチ推論とストリーミング推論を行う方法について説明します。

Mosaic AI Model Serving

Mosaic AI Model Serving は、AI モデルと ML モデルをデプロイ、制御、クエリするための Databricks の統合インターフェイスです。提供する各モデルは、Web アプリケーションまたはクライアントアプリケーションに統合できる REST API として使用できます。

Mosaic AI Model Serving は、以下のサービスをサポートしています。

MLflow 形式でパッケージ化されたカスタム Python モデル。例としては、scikit-learn、XGBoost、PyTorch、Hugging Face トランスフォーマーモデルなどがあります。
- AI Agent の提供は、カスタムモデルとしてサポートされています。
DBRX、Meta 、などの基盤モデル。APIsLlamaMixtral
Databricks の外部でホストされている外部モデルは、Databricks から一元的に管理できます。彼は、組織内のOpenAIやAnthropicなどのさまざまなLLMプロバイダーの使用と管理を合理化します。

バッチ推論とストリーミング推論の場合、Databricks では MLflow を使用して MLflow モデルをデプロイすることをお勧めします。詳細については、「バッチ推論と予測のためのモデルのデプロイ」を参照してください。