基盤モデルを使用する
この記事では、基盤モデルのクエリ要求を記述するために使用できるオプションと、それらをモデルサービングエンドポイントに送信する方法について説明します。 Databricks によってホストされている基盤モデルと、Databricks の外部でホストされている基盤モデルに対してクエリを実行できます。
従来の ML モデルまたは Python モデルのクエリ要求については、 カスタム モデルのクエリ サービング エンドポイントを参照してください。
Mosaic AI Model Serving は、基盤モデルにアクセスするための基盤モデル API と外部モデルをサポートしています。モデルサービングは、統一されたOpenAI互換の API とクエリ SDK を使用します。 これにより、エクスペリメントを行い、サポートされているクラウドやプロバイダー間での本番運用のための基盤モデルをカスタマイズすることが可能になります。
クエリオプション
Mosaic AI Model Serving は、基盤モデルを提供するエンドポイントにクエリリクエストを送信するための次のオプションを提供します。
メソッド | 詳細 |
---|---|
オープンAIクライアント | OpenAI クライアントを使用して、 Mosaic AI Model Servingエンドポイントによってホストされているモデルをクエリします。 |
SQL 関数 |
|
サービングUI | サービングエンドポイント ページから エンドポイントのクエリー を選択します。JSON形式のモデル入力データを挿入し、 リクエストを送信 をクリックします。 モデルに入力例がログに記録されている場合は、 例を表示 を使用して読み込みます。 |
REST API | REST API を使用してモデルを呼び出し、クエリを実行します。 詳細は POST /serving-endpoints/{name}/invocations を参照してください。 複数のモデルを提供するエンドポイントへの要求のスコアリングについては、エンドポイントの背後にある個々のモデルのクエリを参照してください。 |
MLflow Deployments SDK | MLflow Deployments SDK の predict() 関数を使用して、モデルに対してクエリを実行します。 |
Databricks Python SDK | Databricks Python SDK は、REST API の上位にあるレイヤーです。 認証などの低レベルの詳細を処理するため、モデルとの対話が容易になります。 |
必要条件
-
サポートされているリージョン内の Databricks ワークスペース。
-
OpenAI クライアント、REST API、または MLflow Deployment SDK を使用してスコアリング要求を送信するには、Databricks API トークンが必要です。
本番運用シナリオのセキュリティのベスト プラクティスとして、 Databricks では、本番運用中の認証に マシン間 OAuth トークン を使用することをお勧めします。
テストと開発のために、 Databricks ワークスペース ユーザーではなく 、サービスプリンシパル に属する個人用アクセス トークンを使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンの管理」を参照してください。
パッケージのインストール
クエリ方法を選択したら、まず適切なパッケージをクラスターにインストールする必要があります。
- OpenAI client
- REST API
- MLflow Deployments SDK
- Databricks Python SDK
OpenAI クライアントを使用するには、 databricks-sdk[openai]
パッケージをクラスターにインストールする必要があります。 Databricks SDK 、生成モデルのクエリを実行するように自動的に構成された承認を使用して OpenAI クライアントを構築するためのラッパーAI 提供されます。 ノートブックまたはローカルターミナルで次のコマンドを実行します。
!pip install databricks-sdk[openai]>=0.35.0
以下は、パッケージを Databricks ノートブックにインストールする場合にのみ必要です
dbutils.library.restartPython()
Serving REST API へのアクセスは、Databricks Runtime for Machine Learning で使用できます。
!pip install mlflow
以下は、パッケージを Databricks ノートブックにインストールする場合にのみ必要です
dbutils.library.restartPython()
Databricks Runtime 13.3 LTS以降を使用するすべての Databricksクラスターには、Databricks SDK for Python が既にインストールされています。DatabricksDatabricks Runtime12.2LTS 以前を使用する クラスターの場合は、最初に 12.2DatabricksSDK のPython をインストールする必要があります。Databricks SDK for Pythonを参照してください。
基盤モデル types
次の表は、タスクタイプに基づいてサポートされている基盤モデルをまとめたものです。
タスクのタイプ | 説明 | サポートされているモデル | いつ使うの?推奨される使用例 |
---|---|---|---|
自然なマルチターンの会話を理解し、参加するように設計されたモデル。彼らは人間の対話の大規模なデータセットで微調整されているため、文脈的に関連性のある応答を生成し、会話の履歴を追跡し、さまざまなトピックにわたって一貫した人間のような対話を提供することができます。 | Databricks でホストされる基盤モデルは次のとおりです。
サポートされている外部モデルは次のとおりです。
| 自然なマルチターンの対話と文脈の理解が必要なシナリオに推奨されます。
| |
エンベッディングモデルは、テキスト、画像、オーディオなどの複雑なデータをエンベディングと呼ばれるコンパクトな数値ベクトルに変換する機械学習システムです。これらのベクトルは、データ内の重要な特徴と関係をキャプチャするため、効率的な比較、クラスタリング、およびセマンティック検索が可能になります。 | Databricks でホストされる基盤モデルは次のとおりです。 サポートされている外部モデルは次のとおりです。
| セマンティックな理解、類似性の比較、複雑なデータの効率的な取得またはクラスタリングが不可欠なアプリケーションに推奨されます。
| |
画像やビデオなどの視覚データを処理、解釈、分析するように設計されたモデルにより、機械は視覚世界を「見て」理解できます。 | Databricks でホストされる基盤モデルは次のとおりです。 サポートされている外部モデルは次のとおりです。
| 視覚情報の自動化、正確性、拡張性の向上が必要な場合に推奨されます。
| |
人間のような論理的思考をシミュレートするように設計された高度なAIシステム。推論モデルは、シンボリックロジック、確率的推論、ニューラルネットワークなどの手法を統合して、コンテキストを分析し、タスクを分解し、その意思決定を説明します。 | Databricks でホストされる基盤モデルは次のとおりです。 サポートされている外部モデルは次のとおりです。
| 視覚情報の自動化、正確性、拡張性の向上が必要な場合に推奨されます。
|
関数呼び出し
Databricks Function Calling は OpenAI と互換性があり、 基盤モデル API の一部としてモデルサービング中のみ使用でき、 外部モデルを提供するサービング エンドポイントを利用できます。 詳細については、「 Databricks での関数呼び出し」を参照してください。
構造化された出力
Structured outputs は OpenAI と互換性があり、基盤モデル APIの一部としてモデルサービング中のみ使用できます。詳細については、「 Databricks での構造化出力」を参照してください。
AI Playground を使用してサポートされている LLM とチャットする
サポートされている大規模言語モデルは、 AI Playgroundを使用して操作できます。 AI Playground は、Databricks ワークスペースから LLM をテスト、プロンプト、比較できるチャットのような環境です。