メインコンテンツまでスキップ
に最終更新

サービングのコンセプト

このページでは、モデルサービング Endpoint、Feature Serving Endpoint、オンライン Feature Store など、Databricks のオンラインサービング全体で使用される主要な概念を定義します。

モデルサービングEndpoint​

推論用に1つ以上のサービングされるモデルを公開するREST API。モデルサービング Endpointでは、自動特徴量検索がFeature Storeからオプションでサポートされています。

Feature Serving Endpoint​

FeatureSpec としてグループ化された特徴量の値を検索するための REST API。Databricks の外部でランするモデルに特徴量データを渡す場合に便利です。情報については、機能ビューの提供を参照してください。

ルート最適化エンドポイント​

推論中にクライアントと Endpoint 間でより高速かつ直接的な通信を行うネットワーク パスを有効にし、オーバーヘッドのレイテンシーを低減して throughput を向上させる Endpoint プロパティ。カスタム model serving Endpointと Feature Serving Endpointの両方で使用できます。情報については、 Route optimization on serving endpoints をご覧ください。

プロビジョニングされた同時実行​

エンドポイントが処理できる並列リクエストの最大数を指定するエンドポイント プロパティ。次の式を使用して必要な同時実行性を推定します: provisioned concurrency = queries per second (QPS) × model execution time (s) 。

ゼロにスケール​

エンドポイントが使用されていないときにリソース消費を自動的にゼロにするエンドポイント プロパティ。テストおよび開発の場合は、ゼロにスケールすることをお勧めします。ただし、ゼロにスケールするとレイテンシが大きくなり、容量が保証されないため、本番運用エンドポイントではゼロにスケールすることは推奨されません。

サービス対象エンティティ​

ルーティングされたトラフィックを受信できるコンピュート構成を持つ特定のモデルを表すエンドポイント内の名前付きデプロイメント ユニット。

オンライン Feature Store​

低遅延でリアルタイムのアプリケーションやサービングEndpointに特徴量の値を提供するデータストア。DatabricksオンラインFeature Storeは、Lakebaseオートスケールによって駆動され、Feature Viewsまたは特徴量テーブルから特徴量データを同期します。情報については、DatabricksオンラインFeature Storeを参照してください。

トラフィック構成​

エンドポイントへのトラフィックの何パーセントを各モデルに割り当てるかを指定します。複数のサービス モデルを持つエンドポイントではトラフィック構成が必要です。

次の例では、 multi-pt-modelという名前のエンドポイントが、エンドポイント トラフィックの 60% を取得するmeta_llama_v3_1_70b_instructのバージョン 2 をホストし、エンドポイント トラフィックの 40% を取得するmeta_llama_v3_1_8b_instructのバージョン 3 もホストしています。詳細については、 「モデルサービング エンドポイントに複数のモデルを提供する」を参照してください。

Bash

POST /api/2.0/serving-endpoints
{
   "name":"multi-pt-model"
   "config":
   {
      "served_entities":
      [
         {
            "name":"meta_llama_v3_1_70b_instruct",
            "entity_name":"system.ai.meta_llama_v3_1_70b_instruct",
            "entity_version":"4",
            "min_provisioned_throughput":0,
            "max_provisioned_throughput":2400
         },
         {
            "name":"meta_llama_v3_1_8b_instruct",
            "entity_name":"system.ai.meta_llama_v3_1_8b_instruct",
            "entity_version":"4",
            "min_provisioned_throughput":0,
            "max_provisioned_throughput":1240
         }
      ],
      "traffic_config":
      {
         "routes":
         [
            {
               "served_model_name":"meta_llama_v3_1_8b_instruct",
               "traffic_percentage":"60"
            },
            {
               "served_model_name":"meta_llama_v3_1_70b_instruct",
               "traffic_percentage":"40"
            }
         ]
      }
   }
}
このページの見出し