メインコンテンツまでスキップ

エンドポイントを提供する基盤モデルの作成

この記事では、基盤モデルをデプロイして提供するモデルサービングエンドポイントを作成する方法について説明します。

Mosaic AI Model Serving は、以下のモデルをサポートしています。

  • 外部モデル。 これらは、Databricks の外部でホストされている基盤モデルです。 外部モデルを提供するエンドポイントを一元管理し、顧客はレート制限とアクセス制御を確立できます。 例としては、OpenAIのGPT-4やAnthropicのClaudeなどの基盤モデルが含まれます。

  • 基盤モデルAPIが提供する最先端のオープン基盤モデル。これらのモデルは、最適化された推論をサポートするキュレーションされた基盤モデル アーキテクチャです。 Meta-Llama-3.1-70B-Instructのような基本モデル、 GTE-Large と Mistral-7B は、 トークン単位の従量課金 price ですぐに使用できます。 基本モデルまたは微調整されたモデルを使用した本番運用ワークロードは、 プロビジョニング済みスループット を使用してパフォーマンス保証付きでデプロイできます。

モデルサービングには、モデルサービングエンドポイントの作成に次のオプションがあります。

  • サービングUI
  • REST API
  • MLflow デプロイ SDK

従来の ML モデルまたは Python モデルを提供するエンドポイントを作成するには、「 カスタムモデルサービングエンドポイントを作成する」を参照してください。

必要条件​

  • サポートされているリージョン内の Databricks ワークスペース。

  • MLflow Deployments SDK を使用してエンドポイントを作成するには、MLflow Deployments クライアントをインストールする必要があります。 インストールするには、次のコマンドを実行します。

Python
import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

基盤モデルの提供エンドポイントを作成する​

プロビジョニング スループット の基盤モデルAPIを使用して利用可能になった、きめ細かいバリアントを提供するエンドポイントを作成できます。REST API を使用してプロビジョニングされたスループットエンドポイントを作成するを参照してください。

トークン 単位の従量課金 基盤モデルAPIを使用して利用可能になる基盤モデルの場合は、Databricks Databricksワークスペースでサポートされているモデルにアクセスするための特定のエンドポイントを自動的に提供します。それらにアクセスするには、ワークスペースの左側のサイドバーにある サービング タブを選択します。 基盤モデル API は、エンドポイント リスト ビューの上部にあります。

これらのエンドポイントのクエリについては、「 基盤モデルの使用」を参照してください。

外部モデルサービングエンドポイントの作成​

次に、Databricks 外部モデルを使用して利用可能になった基盤モデルをクエリするエンドポイントを作成する方法について説明します。

  1. [ 名前 ] フィールドに、エンドポイントの名前を入力します。

  2. [Served entities ] セクションで

    1. [エンティティ ] フィールドをクリックして、[ 提供済みエンティティの選択 ] フォームを開きます。
    2. [基盤モデル ] を選択します。
    3. [ 基盤モデルの選択 ] フィールドで、[ 外部モデル プロバイダー ] の下にリストされているものから、使用するモデル プロバイダーを選択します。 フォームは、モデル・プロバイダの選択に基づいて動的に更新されます。
    4. 確認 をクリックします。
    5. 選択したモデルプロバイダーにアクセスするための設定の詳細を指定します。これは通常、エンドポイントがこのモデルにアクセスするために使用する 個人用アクセス トークン を参照するシークレットです。
    6. タスクを選択します。使用可能なタスクは、チャット、完了、埋め込みです。
    7. 使用する外部モデルの名前を選択します。モデルのリストは、タスクの選択に基づいて動的に更新されます。使用可能な外部モデルを参照してください。

  3. 作成 をクリックします。[ エンドポイントの提供中 ] ページが表示され、 提供エンドポイントの状態 が [準備ができていません] と表示されます。

モデルサービングエンドポイントを作成する

モデルサービングエンドポイントの更新​

モデルの端点を有効にした後、必要に応じてコンピュート構成を設定できます。 この構成は、モデルに追加のリソースが必要な場合に特に役立ちます。 ワークロードのサイズとコンピュートの設定は、モデルを提供するためにどのリソースが割り当てられるかにおいて重要な役割を果たします。

新しい設定の準備が整うまで、古い設定は予測トラフィックを提供し続けます。 更新が進行中の間は、別の更新を行うことはできません。 Serving UI では、エンドポイントの詳細ページの右上にある 更新のキャンセル を選択することで、進行中の設定更新をキャンセルできます。 この機能は、サービングUIでのみ使用できます。

エンドポイント設定に external_model が存在する場合、提供されるエンティティ リストには 1 つのserved_entity オブジェクトのみを含めることができます。 external_modelを持つ既存のエンドポイントを更新して、external_modelをなくすことはできません。エンドポイントが external_modelなしで作成されている場合、エンドポイントを更新して external_modelを追加することはできません。

エンドポイントを更新するには、要求と応答のスキーマの詳細については、REST API 更新設定のドキュメント を参照してください。

Bash
{
  "name": "openai_endpoint",
  "served_entities":
  [
    {
      "name": "openai_chat",
      "external_model":{
        "name": "gpt-4",
        "provider": "openai",
        "task": "llm/v1/chat",
        "openai_config":{
          "openai_api_key": "{{secrets/my_scope/my_openai_api_key}}"
        }
      }
    }
  ]
}

追加のリソース​

に最終更新