メインコンテンツまでスキップ

基盤モデルを使用する

この記事では、基盤モデルのクエリ要求を記述するために使用できるオプションと、それらをモデルサービングエンドポイントに送信する方法について説明します。 Databricks によってホストされている基盤モデルと、Databricks の外部でホストされている基盤モデルに対してクエリを実行できます。

従来の ML モデルまたは Python モデルのクエリ要求については、 カスタム モデルのクエリ サービング エンドポイントを参照してください。

Mosaic AI Model Serving は、基盤モデルにアクセスするための基盤モデル API と外部モデルをサポートしています。モデルサービングは、統一されたOpenAI互換の API とクエリ SDK を使用します。 これにより、エクスペリメントを行い、サポートされているクラウドやプロバイダー間での本番運用のための基盤モデルをカスタマイズすることが可能になります。

クエリオプション​

Mosaic AI Model Serving は、基盤モデルを提供するエンドポイントにクエリリクエストを送信するための次のオプションを提供します。

メソッド

詳細

オープンAIクライアント

OpenAI クライアントを使用して、 Mosaic AI Model Servingエンドポイントによってホストされているモデルをクエリします。 model入力としてモデルサーバーのエンドポイント名を指定します。 基盤モデルAPIまたは外部モデルによって提供されるチャット、埋め込み、補完モデルがサポートされます。

SQL 関数

ai_query SQL 関数を使用して、SQL から直接モデル推論を呼び出します。例: 基盤モデルのクエリを参照してください。

サービングUI

サービングエンドポイント ページから エンドポイントのクエリー を選択します。JSON形式のモデル入力データを挿入し、 リクエストを送信 をクリックします。 モデルに入力例がログに記録されている場合は、 例を表示 を使用して読み込みます。

REST API

REST API を使用してモデルを呼び出し、クエリを実行します。 詳細は POST /serving-endpoints/{name}/invocations を参照してください。 複数のモデルを提供するエンドポイントへの要求のスコアリングについては、エンドポイントの背後にある個々のモデルのクエリを参照してください。

MLflow Deployments SDK

MLflow Deployments SDK の predict() 関数を使用して、モデルに対してクエリを実行します。

Databricks Python SDK

Databricks Python SDK は、REST API の上位にあるレイヤーです。 認証などの低レベルの詳細を処理するため、モデルとの対話が容易になります。

必要条件​

important

本番運用シナリオのセキュリティのベスト プラクティスとして、 Databricks では、本番運用中の認証に マシン間 OAuth トークン を使用することをお勧めします。

テストと開発のために、 Databricks ワークスペース ユーザーではなく 、サービスプリンシパル に属する個人用アクセス トークンを使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンの管理」を参照してください。

パッケージのインストール​

クエリ方法を選択したら、まず適切なパッケージをクラスターにインストールする必要があります。

OpenAI クライアントを使用するには、 databricks-sdk[openai] パッケージをクラスターにインストールする必要があります。 Databricks SDK 、生成モデルのクエリを実行するように自動的に構成された承認を使用して OpenAI クライアントを構築するためのラッパーAI 提供されます。 ノートブックまたはローカルターミナルで次のコマンドを実行します。

!pip install databricks-sdk[openai]>=0.35.0

以下は、パッケージを Databricks ノートブックにインストールする場合にのみ必要です

Python
dbutils.library.restartPython()

基盤モデル types​

次の表は、タスクタイプに基づいてサポートされている基盤モデルをまとめたものです。

タスクのタイプ

説明

サポートされているモデル

いつ使うの?推奨される使用例

Chat

自然なマルチターンの会話を理解し、参加するように設計されたモデル。彼らは人間の対話の大規模なデータセットで微調整されているため、文脈的に関連性のある応答を生成し、会話の履歴を追跡し、さまざまなトピックにわたって一貫した人間のような対話を提供することができます。

Databricks でホストされる基盤モデルは次のとおりです。

サポートされている外部モデルは次のとおりです。

  • OpenAI GPTおよびoシリーズモデル
  • Anthropic クロードモデル
  • Google Geminiモデル

自然なマルチターンの対話と文脈の理解が必要なシナリオに推奨されます。

  • バーチャルアシスタント
  • 顧客サポート ボット
  • インタラクティブな個別指導システム。

Embeddings

エンベッディングモデルは、テキスト、画像、オーディオなどの複雑なデータをエンベディングと呼ばれるコンパクトな数値ベクトルに変換する機械学習システムです。これらのベクトルは、データ内の重要な特徴と関係をキャプチャするため、効率的な比較、クラスタリング、およびセマンティック検索が可能になります。

Databricks でホストされる基盤モデルは次のとおりです。

サポートされている外部モデルは次のとおりです。

  • OpenAIテキスト埋め込みモデル
  • Cohere テキスト埋め込みモデル
  • Google テキスト埋め込みモデル

セマンティックな理解、類似性の比較、複雑なデータの効率的な取得またはクラスタリングが不可欠なアプリケーションに推奨されます。

  • セマンティック検索
  • 検索拡張生成（RAG）
  • トピックのクラスタリング
  • 感情分析とテキストアナリティクス

視覚

画像やビデオなどの視覚データを処理、解釈、分析するように設計されたモデルにより、機械は視覚世界を「見て」理解できます。

Databricks でホストされる基盤モデルは次のとおりです。

サポートされている外部モデルは次のとおりです。

  • ビジョン機能を備えたOpenAIGPTおよびoシリーズモデル
  • Anthropic 視覚機能を備えたクロードモデル
  • ビジョン機能を備えたGoogle Geminiモデル
  • OpenAI APIと互換性のあるビジョン機能を備えた他の外部基盤モデルもサポートされています。

視覚情報の自動化、正確性、拡張性の向上が必要な場合に推奨されます。

  • 物体の検出と認識
  • 画像分類
  • 画像のセグメンテーション
  • ドキュメントの理解

理由

人間のような論理的思考をシミュレートするように設計された高度なAIシステム。推論モデルは、シンボリックロジック、確率的推論、ニューラルネットワークなどの手法を統合して、コンテキストを分析し、タスクを分解し、その意思決定を説明します。

Databricks でホストされる基盤モデルは次のとおりです。

サポートされている外部モデルは次のとおりです。

  • 推論機能を備えたOpenAIモデル
  • Anthropic クロードは推論能力を持つモデルです
  • 推論機能を備えたGoogle Geminiモデル

視覚情報の自動化、正確性、拡張性の向上が必要な場合に推奨されます。

  • コードの生成
  • コンテンツの作成と要約
  • エージェントのオーケストレーション

関数呼び出し​

Databricks Function Calling は OpenAI と互換性があり、 基盤モデル API の一部としてモデルサービング中のみ使用でき、 外部モデルを提供するサービング エンドポイントを利用できます。 詳細については、「 Databricks での関数呼び出し」を参照してください。

構造化された出力​

Structured outputs は OpenAI と互換性があり、基盤モデル APIの一部としてモデルサービング中のみ使用できます。詳細については、「 Databricks での構造化出力」を参照してください。

AI Playground を使用してサポートされている LLM とチャットする​

サポートされている大規模言語モデルは、 AI Playgroundを使用して操作できます。 AI Playground は、Databricks ワークスペースから LLM をテスト、プロンプト、比較できるチャットのような環境です。

AI playground

追加のリソース​

に最終更新