Databricksによるモデルサービング

この記事ではMosaic AI Model Serving 、その利点と制限を含めて説明します。

Mosaic AI Model Servingとは?

Mosaic AI Model Serving は、リアルタイムおよびバッチ推論のための AI モデルをデプロイ、制御、クエリするための統一されたインターフェイスを提供します。 提供する各モデルは、Web アプリケーションまたはクライアント アプリケーションに統合できる REST API として使用できます。

モデルサービングでは、モデルをデプロイするための高可用性と低レイテンシのサービスが提供されます。 このサービスは、需要の変化に合わせて自動的にスケールアップまたはスケールダウンし、インフラストラクチャ コストを節約しながらレイテンシ パフォーマンスを最適化します。 この機能はサーバレスコンピュートを使用します。 詳細はモデルサービング価格ページをご覧ください。

モデルサービングは、次のサービスをサポートしています。

  • カスタムモデル。 これらは、MLflow 形式でパッケージ化された Python モデルです。 これらは、Unity Catalog またはワークスペース モデル レジストリに登録できます。 例としては、 Scikit-Learn、XGBoost、PyTorch、Hugging Face トランスフォーマー モデルなどがあります。

  • 基盤モデルAPIが提供する最先端のオープンモデル。これらのモデルは、最適化された推論をサポートするキュレーションされた基盤モデルアーキテクチャです。 基本モデルである、Meta-Llama-3.1-70B-Instruct、GTE-Large、Mistral-7B は、 トークン単位の従量課金 価格ですぐに使用でき、パフォーマンスの保証と微調整されたモデル バリアントが必要なワークロードは 、プロビジョニングスループットでデプロイできます。

    • Databricks では、バッチ推論に ai_query とモデルサービングを使用することをお勧めします。 迅速な実験のために、 ai_query を トークン単位の従量課金エンドポイントと共に使用できます。 大規模なデータまたは本番運用データに対してバッチ推論を実行する準備ができたら、 Databricks はプロビジョニング スループット エンドポイントを使用してパフォーマンスを高速化することをお勧めします。 ai_queryを使用したバッチ LLM 推論の実行を参照してください。

  • 外部モデル。 これらは、 の外部でホストされている生成AI モデルです。Databricks例としては、OpenAIのGPT-4、AnthropicのClaudeなどのモデルが含まれます。 外部モデルを提供するエンドポイントを一元管理し、顧客はレート制限とアクセス制御を確立できます。

注

AI Playground を使用して、サポートされている大規模言語モデルを操作できます。AI Playground は、LLM のテスト、プロンプト、比較を行うことができるチャットのような環境です。 この機能は、Databricks ワークスペースで使用できます。

モデルサービングは、CRUD とクエリ タスク用の統合された REST API と MLflow デプロイ API を提供します。 さらに、すべてのモデルとそれぞれの提供エンドポイントを管理するための単一のUIを提供します。 また、 AI 関数 を使用して SQL から直接モデルにアクセスすることもでき、アナリティクス ワークフローに簡単に統合できます。

Databricks でカスタム モデルを提供する方法に関する入門チュートリアルについては、 「チュートリアル: カスタム モデルのデプロイとクエリ」を参照してください。

Databricks で基盤モデルをクエリする方法に関する入門チュートリアルについては、「Databricks で LLM のクエリを開始する」を参照してください。

モデルサービングを使用する理由

  • 任意のモデルのデプロイとクエリ: モデルサービングは、Databricks でホストされているか外部でホストされているかに関係なく、すべてのモデルを 1 つの場所で管理し、1 つの API でクエリを実行できる統合インターフェイスを提供します。 このアプローチにより、さまざまなクラウドやプロバイダー間で本番運用のモデルを使用したエクスペリメント、カスタマイズ、およびデプロイのプロセスが簡素化されます。

  • プライベート データを使用してモデルを安全にカスタマイズ: データ インテリジェンス プラットフォーム上に構築されたモデルサービングは、 Databricks Feature StoreおよびMosaic AI Vector Searchとのネイティブ統合を通じて、モデルへの特徴とエンベディングの統合を簡素化します。 精度とコンテキストの理解をさらに向上させるために、モデルを独自のデータでファインチューニングし、モデルサービングに簡単に展開できます。

  • モデルの管理と監視: サービング UI を使用すると、外部でホストされているものを含め、すべてのモデルエンドポイントを 1 か所で一元管理できます。 アクセス許可の管理、使用制限の追跡と設定、 およびすべての種類のモデルの品質の監視を行うことができます。 これにより、組織内のSaaSおよびオープンLLMへのアクセスを民主化し、適切なガードレールを確保することができます。

  • 最適化された推論と高速スケーリングによるコスト削減:Databricks は、大規模モデルに対して最高のスループットとレイテンシを実現するために、さまざまな最適化を実装しています。 エンドポイントは、需要の変化に合わせて自動的にスケールアップまたはスケールダウンし、インフラストラクチャのコストを節約しながら、レイテンシパフォーマンスを最適化します。 モデルサービングのコストを監視する。

注

レイテンシーの影響を受けやすいワークロードや、1 秒あたりのクエリ数が多いワークロードの場合、 Databricks はカスタムモデルサービングエンドポイントで ルート最適化 を使用することをお勧めします。 Databricks アカウント チームに連絡して、ワークスペースが高いスケーラビリティを実現できることを確認してください。

  • モデルサービングに信頼性とセキュリティをもたらす: モデルサービングは、高可用性、低レイテンシの本番運用用に設計されており、50 ミリ秒未満のオーバーヘッド待機時間で毎秒 25K を超えるクエリをサポートできます。 サービスワークロードは複数のセキュリティ層によって保護され、最も機密性の高いタスクに対しても安全で信頼性の高い環境を確保します。

注

モデルサービングは、本番運用の展開が不安定になるリスクがあるため、既存のモデル イメージにセキュリティ パッチを提供しません。 新しいモデルバージョンから作成された新しいモデルイメージには、最新のパッチが含まれます。 詳細については、 Databricksアカウント チームにお問い合わせください。

要件

ワークスペースでモデルサービングを有効にする

モデルサービングを使用するには、アカウント管理者がアカウントコンソールでサーバレス コンピュートを有効にするための利用規約を読み、同意する必要があります。

注

アカウントが 2022 年 3 月 28 日以降に作成された場合、サーバレス コンピュートはワークスペースに対して [デフォルト] によって有効になります。

アカウント管理者でない場合は、これらの手順を実行できません。 ワークスペースにサーバレス コンピュートへのアクセスが必要な場合は、アカウント管理者に問い合わせてください。

  1. アカウント管理者は、 アカウントコンソールの設定ページの [機能の有効化] タブに移動します。

  2. ページ上部のバナーが表示され、追加の条件に同意するように求められます。 利用規約を読みたら、[ 同意する]をクリックします。 条項への同意を求めるバナーが表示されない場合、この手順は既に完了しています。

利用規約に同意すると、アカウントでサーバレスが有効になります。

ワークスペースでモデルサービングを有効にするために追加の手順は必要ありません。

制限事項と利用可能なリージョン

Mosaic AI Model Serving では、信頼性の高いパフォーマンスを確保するためにデフォルトの制限が課せられます。 モデルサービングの制限とリージョンを参照してください。 これらの制限やサポートされていないリージョンのエンドポイントに関するフィードバックがある場合は、Databricks アカウント チームにお問い合わせください。

モデルサービングにおけるデータ保護

Databricks はデータ セキュリティを真剣に受け止めています。 Databricks は、Mosaic AI Model Serving を使用して分析するデータの重要性を理解しており、データを保護するために次のセキュリティ制御を実装しています。

  • モデルサービングに対するすべての顧客の要求は、論理的に分離され、認証され、承認されます。

  • Mosaic AI Model Serving は、保存中のすべてのデータ (AES-256) と転送中のすべてのデータ (TLS 1.2+) を暗号化します。

すべての有料アカウントについて、 Mosaic AI Model Servingサービスに送信されたユーザー入力やサービスからの出力を、モデルの作成やDatabricksサービスの改善に使用しません。

Databricks基盤モデルAPIsについては、サービスの提供の一環として、Databricks、乱用または有害な使用を防止、検出、および軽減する目的で、入力と出力を一時的に処理および保存する場合があります。お客様の入力と出力は、他の顧客の入力と出力から分離され、ワークスペースと同じリージョンに最大 30 日間保存され、セキュリティや不正使用の懸念を検出して対応するためにのみアクセスできます。 基盤モデル APIs は Databricks Designated サービスであり、Databricks Geosによって実装されているデータ レジデンシーの境界に準拠しています。