外部モデルプロバイダー(モデルプロバイダーサービス)の管理
外部モデルプロバイダーを使用すると、独自のキー(BYOK)を持ち込むことができます。OpenAI、Anthropic、Amazon Bedrock など、既に使用している LLM プロバイダーを接続し、1 つのコントロールポイントを通じてそれらを管理できます。各プロバイダーを一度登録すれば、多くのユーザーやモデル APIs が認証情報を直接扱うことなく、そのプロバイダーにリクエストを転送できます。
Databricks において、外部モデルプロバイダーは、プロバイダーの接続詳細と暗号化された資格情報を格納する Unity Catalog のセキュリティ保護可能なオブジェクト(モデルプロバイダーサービス)です。Unity Catalog はプロバイダーを格納するため、データに使用するのと同じ権限でアクセスを管理し、シークレットを公開することなく Unity Gateway を介して外部モデルをクエリーし、単一のガバナンスレイヤーから使用状況とコストを追跡できます。
モデルプロバイダーサービスとは何ですか?
モデルプロバイダーサービスはUnity Catalogのカタログとスキーマに存在し、main.default.openai_prodのような3部構成の名前を使用します。含まれるもの:
- プロバイダータイプ (例: OpenAI または Amazon Bedrock)。
- そのプロバイダーの 接続構成 (エンドポイントベースURLやクラウドリージョンなど)。
- プロバイダーの 資格情報 。これは Databricks が暗号化して保存します。Databricks は読み取り時に資格情報を返しません。Google Gemini Enterpriseでは、APIキーを保存する代わりに既存のサービス認証情報を名前で参照でき、認証情報はそのまま保持されます。サービス認証情報を使用したGoogle Gemini Enterpriseの認証を参照してください。
モデルプロバイダーサービスはUnity Catalogのセキュリティ保護可能なオブジェクトであるため、他の管理対象オブジェクトと同じ方法で管理します。
- Unity Catalog の権限を使用してアクセスを付与および取り消します。
- 他のデータおよびAIアセットと共にCatalog Explorerで検出できます。
- レート制限や推論テーブルなどのUnity Gateway機能を構成します。
呼び出し元は、モデルプロバイダーサービスの名前を参照することで、Unity Gatewayを介して直接クエリーを実行でき、保存された認証情報が表示されることはありません。モデルプロバイダーサービスは、モデルサービスがルーティングする外部プロバイダーを提供することもでき、管理者にプロバイダーの認証情報に対する単一の管理されたボトルネックを提供します。
サポートされているプロバイダー
モデルプロバイダーサービスは、以下の外部プロバイダーと認証方法のみをサポートしています。
プロバイダー | 認証 |
|---|---|
OpenAI | APIキー |
Azure OpenAI | APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット) |
Anthropic | APIキー |
Amazon Bedrock | AWSアクセスキーペア(アクセスキーIDとシークレットアクセスキー) |
Microsoft Foundry | APIキー、またはMicrosoft Entra ID Databricksサービスプリンシパル(テナントID、クライアントID、クライアントシークレット) |
Google Gemini Enterprise | GCPプロジェクトIDとリージョンを含むAPIキー、またはサービス資格情報 |
カスタム | Bearerトークン、または指定したHTTPヘッダーで送信されるAPIキー(EndpointのベースURLを含む) |
カスタムプロバイダーのEndpointが、ベアラートークンではなく特定のヘッダーでAPIキーを要求する場合、そのヘッダー名を指定できます。ヘッダーでカスタムプロバイダーのAPIキーを送信するを参照してください。
Unity Catalog で外部プロバイダーを管理する理由
中央レジストリがない場合、外部モデルを使用する各チームは、独自のプロバイダー資格情報をアプリケーションコードまたはノートブックに埋め込みます。モデルプロバイダーサービスは、その構成をUnity Catalogに移行することで、次のことができるようになります:
- プロバイダーを一度定義します。 資格情報と接続の詳細を一か所に登録し、多くのユーザーとモデルサービスがシークレットを処理することなく共有できるようにします。
- Unity Catalog 権限でアクセスを管理します。 他のセキュリティ保護可能なアイテムに使用するのと同じ
GRANTおよびREVOKEステートメントを使用して、各プロバイダーをクエリできるユーザーを管理します。 - ワークスペース全体をクエリする。 そのメタストアを共有するどのワークスペースでも、モデルプロバイダーサービスが利用できます。
- 使用状況とコストを追跡します。 Unity Gatewayは、モデルプロバイダーサービスを経由してルーティングされるクエリーの使用状況を記録します。モデルの使用状況の追跡を参照してください。Databricksは、外部モデルにルーティングされたリクエストの推定支出も計算します。外部モデルを参照してください。
- リネージを追跡します。 プロバイダーにルーティングするモデルサービスと、そのペイロードを使用する下流のアセットを参照してください。モデルAPIとプロバイダーのリネージを追跡するを参照してください。
権限
以下のUnity Catalog権限は、モデルプロバイダーサービスに適用されます。プリンシパルには、親カタログおよびスキーマに対するUSE CATALOGとUSE SCHEMAも必要です。
権限 | 〜する権限を付与します。 |
|---|---|
| スキーマでモデルプロバイダーサービスを作成します。 |
| Unity Gateway経由でモデルプロバイダーサービスに対してクエリーを実行します。 |
| モデルプロバイダーサービスとその構成を照会せずに表示します。 |
| モデルプロバイダーサービスを編集、削除し、アクセスを付与します。 |
これらの権限を付与および取り消す方法については、「外部モデルプロバイダー (モデルプロバイダーサービス) へのアクセスの検出と管理」を参照してください。
予算でモデルプロバイダーサービスの支出を追跡する
モデルプロバイダーサービスの推定支出を Unity Gateway 予算に含めるには、予算作成時に [ 外部モデルの使用量を含める ] を選択します。外部モデルの支出は、予算のアラートおよび使用ブロックのthresholdにカウントされます。
外部モデルの推定利用料金の詳細については、「外部モデル」を参照してください。