Aller au contenu principal

Concepts de Unity Gateway

Unity Gateway centralise l'enregistrement, la découverte et l'accès aux modèles et outils d'IA. Contrôlez les utilisateurs autorisés, surveillez l'utilisation et gérez les coûts entre les applications et les agents.

Unity Gateway utilise ces concepts pour gérer les modèles, les fournisseurs de modèles, les outils, les compétences et les garde-fous mis en œuvre avec les politiques de service:

Concept

Ce qu’il fait

Exemple

Modèle

Un LLM ou un modèle d’intégration. Un modèle enregistré nécessite un service de modèles pour traiter les requêtes.

gpt-astra-6.

Service de modèle

Un endpoint qui traduit et achemine les requêtes d'inférence vers un ou plusieurs modèles, avec répartition du trafic et des fallback. Prend en charge les requêtes en temps réel, ainsi que l'inférence par batch.

frontier-model: GPT Astra 6 sur Databricks, avec Claude Opus 5 comme fallback.

opus-5: Opus 5 fourni par Databricks, avec AWS Bedrock comme fallback.

Fournisseur de modèles

Connexion qui achemine les requêtes vers un fournisseur de modèles externe à l'aide d'identifiants gérés de manière centralisée.

anthropic-prod: une connexion à Anthropic.

MCP

Une interface permettant aux agents de découvrir et d’appeler des outils via le Model Context Protocol (MCP).

support-tools: outils pour Slack et Jira.

Compétence

Instructions et fichiers réutilisables chargés par un agent pour guider son travail.

customer-support: Un manuel d’assistance.

Politique de service

Implémente des garde-fous qui vérifient les requêtes et les réponses envoyées aux services d’IA.

La politique intégrée detect_sensitive_data détecte les types de données sensibles configurés, tels que les numéros de carte de crédit, dans les requêtes et les réponses du modèle. Cette option bloque ou censure les correspondances.

Concept

Ce qu’il fait

Exemple

Modèle

Un LLM ou un modèle d’intégration. Un modèle enregistré nécessite un service de modèles pour traiter les requêtes.

gpt-astra-6.

Service de modèle

Un endpoint qui traduit et achemine les requêtes d'inférence vers un ou plusieurs modèles, avec répartition du trafic et des fallback. Prend en charge les requêtes en temps réel, ainsi que l'inférence par batch.

frontier-model: GPT Astra 6 sur Databricks, avec Claude Opus 5 comme fallback.

opus-5: Opus 5 fourni par Databricks, avec AWS Bedrock comme fallback.

Fournisseur de modèles

Connexion qui achemine les requêtes vers un fournisseur de modèles externe à l'aide d'identifiants gérés de manière centralisée.

anthropic-prod: une connexion à Anthropic.

MCP

Une interface permettant aux agents de découvrir et d’appeler des outils via le Model Context Protocol (MCP).

support-tools: outils pour Slack et Jira.

Compétence

Instructions et fichiers réutilisables chargés par un agent pour guider son travail.

customer-support: Un manuel d’assistance.

Politique de service

Implémente des garde-fous qui vérifient les requêtes et les réponses envoyées aux services d’IA.

La politique intégrée detect_sensitive_data détecte les types de données sensibles configurés, tels que les numéros de carte de crédit, dans les requêtes et les réponses du modèle. Cette option bloque ou censure les correspondances.

Comment les éléments s'articulent​

Appelez un service de modèle pour atteindre gpt-astra-6 sur Databricks, le même modèle étant disponible via aws-bedrock en tant que fallback. Vous pouvez modifier les modèles ou les fallback sans changer le nom appelé par votre application. Associez la politique de service de détection des données sensibles intégrée au service de modèle pour vérifier les requêtes et les réponses pour les catégories de données sensibles configurées.

L'agent codex charge la compétence de support client et appelle un service de modèle protégé par la politique de service detect_sensitive_data, qui vérifie les requêtes et réponses du modèle. Le service de modèle achemine vers gpt-astra-6 sur Databricks ou revient au même modèle via le fournisseur de modèle aws-bedrock. L'agent accède également à Slack et à Jira via MCP.

Appeler des modèles et des outils​

Remplacez <workspace-url> et les noms d’illustration par les vôtres. Consultez le démarrage rapide pour configurer DATABRICKS_TOKEN.

Les services de modèles prennent en charge des APIs unifiées telles que OpenAI-compatible Chat Completions et des APIs natives de fournisseurs telles que Anthropic Messages pour les modèles compatibles.

Appelez frontier-model avec l'API Chat Completions unifiée. Le service choisit le modèle :

Bash
curl "https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "production.ai.frontier-model",
"max_tokens": 256,
"messages": [{"role": "user", "content": "Hello!"}]
}'

See Query foundation and embedding models for SDK examples and other APIs.

Unity Catalog et contrôle d’accès​

Unity Gateway s’intègre à Unity Catalog pour contrôler qui crée des services, intègre des fournisseurs de modèles, les appelle ou partage l’accès. Unity Catalog régit également les modèles enregistrés, les compétences et les personnes autorisées à attacher des politiques de service.

Éléments sécurisables Unity Catalog​

Les modèles, services de modèle, fournisseurs de modèle, MCP et compétences sont des objets sécurisables Unity Catalog: des objets sur lesquels vous pouvez accorder des autorisations. Leurs noms suivent catalog.schema.name, tels que production.ai.frontier-model. Les services de fournisseur de modèle fournis par Databricks sont enregistrés dans system.ai.

Un fournisseur de modèle est enregistré en tant que service de fournisseur de modèle dans Unity Catalog. Les politiques de service se rattachent aux services et ne constituent pas des éléments sécurisables autonomes.

Dans Unity Catalog, un modèle est un asset au repos : versions, métadonnées et artefacts. L’enregistrer ne le rend pas appelable. Pour les modèles externes, enregistrez la connexion au fournisseur de modèle plutôt que le modèle.

Autorisations de clé​

Accordez des autorisations aux utilisateurs, aux groupes ou aux Service Principals. Pour les services de modèle, les fournisseurs de modèles et les MCP, les autorisations principales séparent l’utilisation de l’administration :

Privilège

Ce qu’il autorise

EXECUTE

Appeler un service de modèle, un fournisseur de modèle ou un MCP.

CREATE SERVICE

Créer des services et intégrer des fournisseurs de modèles dans un schéma.

READ METADATA

Inspecter la configuration.

MANAGE

Changez la configuration et accordez l’accès à d’autres personnes.

Privilège

Ce qu’il autorise

EXECUTE

Appeler un service de modèle, un fournisseur de modèle ou un MCP.

CREATE SERVICE

Créer des services et intégrer des fournisseurs de modèles dans un schéma.

READ METADATA

Inspecter la configuration.

MANAGE

Changez la configuration et accordez l’accès à d’autres personnes.

Les appelants ont également besoin de USE CATALOG et de USE SCHEMA sur le catalogue parent et le schéma. Les politiques de service restreignent les appels autorisés. Ils n'accordent pas l'accès. Consultez la page de chaque concept pour connaître l’ensemble de ses exigences en matière d’autorisations.

Get start​

start with a ready-to-use model service from system.ai, or connect your coding agent: