メインコンテンツまでスキップ

外部モデルプロバイダー(モデルプロバイダーサービス)の管理

外部モデルプロバイダーを使用すると、独自のキー(BYOK)を持ち込むことができます。OpenAI、Anthropic、Amazon Bedrock など、既に使用している LLM プロバイダーを接続し、1 つのコントロールポイントを通じてそれらを管理できます。各プロバイダーを一度登録すれば、多くのユーザーやモデル APIs が認証情報を直接扱うことなく、そのプロバイダーにリクエストを転送できます。

Databricks における外部モデルプロバイダーとは、プロバイダーの接続詳細と暗号化された資格情報を格納する Unity Catalog の保護可能なオブジェクト(モデルプロバイダーサービス)のことです。Unity Catalog はプロバイダーを格納するため、データに使用するのと同じ権限でアクセスを管理し、シークレットを公開することなく Unity AI Gateway を介して外部モデルをクエリーし、単一のガバナンスレイヤーから使用状況とコストを追跡できます。

モデルプロバイダーサービスとは何ですか?

モデルプロバイダーサービスはUnity Catalogのカタログとスキーマに存在し、main.default.openai_prodのような3部構成の名前を使用します。含まれるもの:

  • プロバイダータイプ (例: OpenAI または Amazon Bedrock)。
  • そのプロバイダーの 接続構成 (エンドポイントベースURLやクラウドリージョンなど)。
  • プロバイダーの 資格情報 で、これは Databricks が暗号化して保存します。Databricks は読み取り時に資格情報を返しません。

モデルプロバイダーサービスはUnity Catalogのセキュリティ保護可能なオブジェクトであるため、他の管理対象オブジェクトと同じ方法で管理します。

  • Unity Catalog の権限を使用してアクセスを付与および取り消します。
  • 他のデータおよびAIアセットと共にCatalog Explorerで検出できます。
  • Unity AI Gatewayで、レート制限や推論テーブルなどの機能を設定します。

呼び出し元は、名前を参照してUnity AI Gatewayを介してモデルプロバイダーサービスを直接照会するため、保存された資格情報は表示されません。モデルプロバイダーサービスは、モデルサービスがルーティングする外部プロバイダーも提供でき、管理者に対してプロバイダー資格情報の一元的な管理ポイントを提供します。

サポートされているプロバイダー

モデルプロバイダーサービスは、以下の外部プロバイダーと認証方法のみをサポートしています。

プロバイダー

認証

OpenAI

APIキー

Azure OpenAI

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Anthropic

APIキー

Amazon Bedrock

AWSアクセスキーペア(アクセスキーIDとシークレットアクセスキー)

Microsoft Foundry

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Google Gemini Enterprise

APIキー、GCPプロジェクトID、およびリージョン

カスタム

Bearerトークン、または指定したHTTPヘッダーで送信されるAPIキー(EndpointのベースURLを含む)

プロバイダー

認証

OpenAI

APIキー

Azure OpenAI

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Anthropic

APIキー

Amazon Bedrock

AWSアクセスキーペア(アクセスキーIDとシークレットアクセスキー)

Microsoft Foundry

APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット)

Google Gemini Enterprise

APIキー、GCPプロジェクトID、およびリージョン

カスタム

Bearerトークン、または指定したHTTPヘッダーで送信されるAPIキー(EndpointのベースURLを含む)

カスタムプロバイダーのEndpointが、ベアラートークンではなく特定のヘッダーでAPIキーを要求する場合、そのヘッダー名を指定できます。ヘッダーでカスタムプロバイダーのAPIキーを送信するを参照してください。

Unity Catalog で外部プロバイダーを管理する理由

中央レジストリがない場合、外部モデルを使用する各チームは、独自のプロバイダー資格情報をアプリケーションコードまたはノートブックに埋め込みます。モデルプロバイダーサービスは、その構成をUnity Catalogに移行することで、次のことができるようになります:

  • プロバイダーを一度定義します。 資格情報と接続の詳細を一か所に登録し、多くのユーザーとモデルサービスがシークレットを処理することなく共有できるようにします。
  • Unity Catalog 権限でアクセスを管理します。 他のセキュリティ保護可能なアイテムに使用するのと同じ GRANT および REVOKE ステートメントを使用して、各プロバイダーをクエリできるユーザーを管理します。
  • ワークスペース全体をクエリする。 そのメタストアを共有するどのワークスペースでも、モデルプロバイダーサービスが利用できます。
  • 使用状況とコストを追跡します。 Unity AIゲートウェイは、モデルプロバイダーサービスを介してルーティングされるクエリーの使用状況を記録します。モデルの使用状況の追跡を参照してください。Databricksは、外部モデルにルーティングされたリクエストの推定支出もコンピュートします。外部モデルを参照してください。
  • リネージを追跡します。 プロバイダーにルーティングするモデルサービスと、そのペイロードを使用する下流のアセットを参照してください。モデルAPIとプロバイダーのリネージを追跡するを参照してください。

権限

以下のUnity Catalog権限は、モデルプロバイダーサービスに適用されます。プリンシパルには、親カタログおよびスキーマに対するUSE CATALOGUSE SCHEMAも必要です。

権限

〜する権限を付与します。

CREATE SERVICE (スキーマ上)

スキーマでモデルプロバイダーサービスを作成します。

EXECUTE

Unity AI Gatewayを介してモデルプロバイダーサービスをクエリします。

READ_METADATA

モデルプロバイダーサービスとその構成を照会せずに表示します。

MANAGE

モデルプロバイダーサービスを編集、削除し、アクセスを付与します。

権限

〜する権限を付与します。

CREATE SERVICE (スキーマ上)

スキーマでモデルプロバイダーサービスを作成します。

EXECUTE

Unity AI Gatewayを介してモデルプロバイダーサービスをクエリします。

READ_METADATA

モデルプロバイダーサービスとその構成を照会せずに表示します。

MANAGE

モデルプロバイダーサービスを編集、削除し、アクセスを付与します。

これらの権限を付与および取り消す方法については、「外部モデルプロバイダー (モデルプロバイダーサービス) へのアクセスの検出と管理」を参照してください。

制限事項

モデルプロバイダーサービスからの支出は、予算では追跡されません。予算の通知、アラート、およびハード支出上限は、モデルプロバイダーサービスの利用には適用されません。

次のステップ