AIゲートウェイ（ベータ版）
ベータ版
この機能はベータ版です。アカウント管理者は、アカウント コンソールの [プレビュー] ページからこの機能へのアクセスを制御できます。 「Databricks プレビューの管理」を参照してください。
AI ゲートウェイ (ベータ版) とは何ですか?
AI ゲートウェイ (ベータ版) は、LLM エンドポイントとコーディング エージェントを管理するためのエンタープライズ コントロール プレーンです。これを使用して、使用状況を分析し、権限を構成し、プロバイダー間の容量を管理します。
AI Gateway を使用すると、次のことが可能になります。
- 組織内でLLMとコーディングエージェントがどのように使用されているか を分析する
- Databricks でホストされているモデルと外部モデルへのアクセスを 管理する
- すべてのエンドポイントの LLM トラフィックを Unity Catalog に 記録します 。
- エンドポイントの健全性とプロバイダーの可用性 を監視する
- レート制限 を適用する
- 信頼性と負荷分散のために、プロバイダー間でトラフィックをインテリジェントに ルーティングします 。
- コードを変更せずにプロバイダーとモデル を切り替える
サポートされている機能
次の表は、利用可能な AI ゲートウェイ機能の定義を示しています。
機能 | 説明 |
|---|---|
権限 | エンドポイントにアクセスできるユーザーを制御します。 |
システムテーブルを使用して使用状況とコストを監視します。 | |
Unity Catalog Delta テーブル内の要求と応答を監視および監査します。 | |
運用メトリクス | 使用状況をリアルタイムで監視します。 |
レート制限 | エンドポイント、ユーザー、またはグループ レベルで消費制限を適用します。 |
フォールバック | 障害が発生した場合に複数のプロバイダーにルーティングすることで信頼性を高めます。 |
AI ゲートウェイ機能はベータ期間中は料金がかかりません。
AIゲートウェイを使用する
Databricks は、一般的な LLM 向けの AI ゲートウェイ エンドポイントを提供します。コーディング エージェントやその他のアプリケーションを管理するために新しいエンドポイントを作成できます。
開始するには、 「AI Gateway エンドポイントの構成」を参照してください。エンドポイントをクエリするには、 「AI Gateway エンドポイントのクエリ」を参照してください。Cursor、Gemini CLI、Codex CLI、Claude Code などのコーディング エージェントを統合するには、 「コーディング エージェントとの統合」を参照してください。
クエリのクイックスタート
次の例は、Python と OpenAI クライアントを使用して AI Gateway エンドポイントをクエリする方法を示しています。
from openai import OpenAI
import os
# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')
client = OpenAI(
api_key=DATABRICKS_TOKEN,
base_url="https://<ai-gateway-url>/mlflow/v1"
)
chat_completion = client.chat.completions.create(
messages=[
{"role": "user", "content": "Hello!"},
{"role": "assistant", "content": "Hello! How can I assist you today?"},
{"role": "user", "content": "What is Databricks?"},
],
model="databricks-gpt-5-2",
max_tokens=256
)
print(chat_completion.choices[0].message.content)
<ai-gateway-url> AI Gateway エンドポイント URL に置き換えます。