メインコンテンツまでスキップ

外部モデルプロバイダー(モデルプロバイダーサービス)の管理

外部モデルプロバイダーを使用すると、独自のキー(BYOK)を持ち込むことができます。OpenAI、Anthropic、Amazon Bedrock など、既に使用している LLM プロバイダーを接続し、1 つのコントロールポイントを通じてそれらを管理できます。各プロバイダーを一度登録すれば、多くのユーザーやモデル APIs が認証情報を直接扱うことなく、そのプロバイダーにリクエストを転送できます。

Databricks において、外部モデルプロバイダーは、プロバイダーの接続詳細と暗号化された資格情報を格納する Unity Catalog のセキュリティ保護可能なオブジェクト(モデルプロバイダーサービス)です。Unity Catalog はプロバイダーを格納するため、データに使用するのと同じ権限でアクセスを管理し、シークレットを公開することなく Unity Gateway を介して外部モデルをクエリーし、単一のガバナンスレイヤーから使用状況とコストを追跡できます。

モデルプロバイダーサービスとは何ですか?

モデルプロバイダーサービスはUnity Catalogのカタログとスキーマに存在し、main.default.openai_prodのような3部構成の名前を使用します。含まれるもの:

  • プロバイダータイプ (例: OpenAI または Amazon Bedrock)。
  • そのプロバイダーの 接続構成 (エンドポイントベースURLやクラウドリージョンなど)。
  • プロバイダーの 資格情報 。これは Databricks が暗号化して保存します。Databricks は読み取り時に資格情報を返しません。Google Gemini Enterpriseでは、APIキーを保存する代わりに既存のサービス認証情報を名前で参照でき、認証情報はそのまま保持されます。サービス認証情報を使用したGoogle Gemini Enterpriseの認証を参照してください。

モデルプロバイダーサービスはUnity Catalogのセキュリティ保護可能なオブジェクトであるため、他の管理対象オブジェクトと同じ方法で管理します。

  • Unity Catalog の権限を使用してアクセスを付与および取り消します。
  • 他のデータおよびAIアセットと共にCatalog Explorerで検出できます。
  • レート制限や推論テーブルなどのUnity Gateway機能を構成します。

呼び出し元は、モデルプロバイダーサービスの名前を参照することで、Unity Gatewayを介して直接クエリーを実行でき、保存された認証情報が表示されることはありません。モデルプロバイダーサービスは、モデルサービスがルーティングする外部プロバイダーを提供することもでき、管理者にプロバイダーの認証情報に対する単一の管理されたボトルネックを提供します。

サポートされているプロバイダー

モデルプロバイダーサービスは、以下の外部プロバイダーと認証方法のみをサポートしています。

プロバイダー

認証

OpenAI

APIキー

Azure OpenAI

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Anthropic

APIキー

Amazon Bedrock

AWSアクセスキーペア(アクセスキーIDとシークレットアクセスキー)

Microsoft Foundry

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Google Gemini Enterprise

GCPプロジェクトIDとリージョンを含むAPIキー、またはサービス資格情報

カスタム

Bearerトークン、または指定したHTTPヘッダーで送信されるAPIキー(EndpointのベースURLを含む)

プロバイダー

認証

OpenAI

APIキー

Azure OpenAI

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Anthropic

APIキー

Amazon Bedrock

AWSアクセスキーペア(アクセスキーIDとシークレットアクセスキー)

Microsoft Foundry

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Google Gemini Enterprise

GCPプロジェクトIDとリージョンを含むAPIキー、またはサービス資格情報

カスタム

Bearerトークン、または指定したHTTPヘッダーで送信されるAPIキー(EndpointのベースURLを含む)

カスタムプロバイダーのEndpointが、ベアラートークンではなく特定のヘッダーでAPIキーを要求する場合、そのヘッダー名を指定できます。ヘッダーでカスタムプロバイダーのAPIキーを送信するを参照してください。

Unity Catalog で外部プロバイダーを管理する理由

中央レジストリがない場合、外部モデルを使用する各チームは、独自のプロバイダー資格情報をアプリケーションコードまたはノートブックに埋め込みます。モデルプロバイダーサービスは、その構成をUnity Catalogに移行することで、次のことができるようになります:

  • プロバイダーを一度定義します。 資格情報と接続の詳細を一か所に登録し、多くのユーザーとモデルサービスがシークレットを処理することなく共有できるようにします。
  • Unity Catalog 権限でアクセスを管理します。 他のセキュリティ保護可能なアイテムに使用するのと同じ GRANT および REVOKE ステートメントを使用して、各プロバイダーをクエリできるユーザーを管理します。
  • ワークスペース全体をクエリする。 そのメタストアを共有するどのワークスペースでも、モデルプロバイダーサービスが利用できます。
  • 使用状況とコストを追跡します。 Unity Gatewayは、モデルプロバイダーサービスを経由してルーティングされるクエリーの使用状況を記録します。モデルの使用状況の追跡を参照してください。Databricksは、外部モデルにルーティングされたリクエストの推定支出も計算します。外部モデルを参照してください。
  • リネージを追跡します。 プロバイダーにルーティングするモデルサービスと、そのペイロードを使用する下流のアセットを参照してください。モデルAPIとプロバイダーのリネージを追跡するを参照してください。

権限

以下のUnity Catalog権限は、モデルプロバイダーサービスに適用されます。プリンシパルには、親カタログおよびスキーマに対するUSE CATALOGUSE SCHEMAも必要です。

権限

〜する権限を付与します。

CREATE SERVICE (スキーマ上)

スキーマでモデルプロバイダーサービスを作成します。

EXECUTE

Unity Gateway経由でモデルプロバイダーサービスに対してクエリーを実行します。

READ METADATA

モデルプロバイダーサービスとその構成を照会せずに表示します。

MANAGE

モデルプロバイダーサービスを編集、削除し、アクセスを付与します。

権限

〜する権限を付与します。

CREATE SERVICE (スキーマ上)

スキーマでモデルプロバイダーサービスを作成します。

EXECUTE

Unity Gateway経由でモデルプロバイダーサービスに対してクエリーを実行します。

READ METADATA

モデルプロバイダーサービスとその構成を照会せずに表示します。

MANAGE

モデルプロバイダーサービスを編集、削除し、アクセスを付与します。

これらの権限を付与および取り消す方法については、「外部モデルプロバイダー (モデルプロバイダーサービス) へのアクセスの検出と管理」を参照してください。

予算でモデルプロバイダーサービスの支出を追跡する

モデルプロバイダーサービスの推定支出を Unity Gateway 予算に含めるには、予算作成時に [ 外部モデルの使用量を含める ] を選択します。外部モデルの支出は、予算のアラートおよび使用ブロックのthresholdにカウントされます。

外部モデルの推定利用料金の詳細については、「外部モデル」を参照してください。

次のステップ