Modèles de fondation pris en charge sur Model Serving
Cet article décrit les modèles de fondation que vous pouvez servir à l'aide de Model Serving.
Les modèles de fondation sont de grands réseaux de neurones pré-entraînés qui sont formés sur de vastes et diversifiés ensembles de données. Ces modèles sont conçus pour apprendre des modèles généraux dans le langage, les images ou d’autres types de données, et peuvent être affinés pour des tâches spécifiques avec une formation supplémentaire. Votre utilisation de certains modèles de fondation est soumise aux conditions d'utilisation et à la politique d'utilisation acceptable du modèle. Consultez les Conditions applicables au modèle.
Model Serving offre des options flexibles pour héberger et interroger les modèles de fondation en fonction de vos besoins :
- Paiement par jeton: idéal pour l'expérimentation et l'exploration rapide. Cette option vous permet d'interroger des Endpoints préconfigurés dans votre Workspace Databricks sans engagements d'infrastructure préalables.
- AI Functions (inférence par batch): un sous-ensemble de modèles hébergés par Databricks sont optimisés pour les AI Functions. Vous pouvez appliquer l’IA à vos données et exécuter des workloads de production d’inférence par batch à monter en charge à l’aide de ces fonctions et des modèles qu’elles prennent en charge.
- Le throughput provisionné: Recommandé pour les cas d'utilisation en production nécessitant des garanties de performance. Cette option permet le déploiement de modèles de fondation affinés avec des Endpoint de service optimisés.
- Modèles externes: cette option permet d'accéder à des modèles de fondation hébergés en dehors de Databricks, tels que ceux fournis par OpenAI ou Anthropic. Ces modèles peuvent être gérés de manière centralisée dans Databricks pour une gouvernance simplifiée.
Les requêtes adressées aux modèles de fondation, hébergés par Databricks ou externes, sont acheminées via Unity AI Gateway (Bêta), ce qui vous permet d'appliquer des limites de débit, des budgets et des garde-fous pour contrôler les coûts et l'accès.
Modèles de fondation hébergés sur Databricks
Databricks héberge des modèles de fondation ouverts haut de gamme. Ces modèles sont mis à disposition à l'aide des Foundation Model APIs. Pour restreindre les modèles de fondation hébergés par Databricks que votre organisation peut utiliser, consultez les autorisations Unity Catalog du modèle de fondation.
Le tableau suivant résume les modèles hébergés par Databricks et les familles de modèles pris en charge dans chaque région en fonction de la fonctionnalité Model Serving.
-
Google Gemini 3 Flash est hébergé sur des Endpoint globaux et nécessite l'activation du routage inter-régional pour chaque région.
-
Google Gemini 2.5 Flash est obsolète et son retrait est prévu pour le 2 octobre 2026. Consultez la page Modèles obsolètes et retirés pour connaître le modèle de remplacement recommandé et obtenir des conseils sur la migration pendant la période d'obsolescence.
-
Google Gemini 2.5 Pro sera retiré le 2 octobre 2026. Consultez la page Modèles obsolètes et retirés pour connaître le modèle de remplacement recommandé et obtenir des conseils sur la migration pendant la période d'obsolescence.
-
Anthropic Claude Sonnet 4 est obsolète. Consultez Modèles obsolètes et retirés pour connaître sa date de retrait, le modèle de remplacement recommandé et des conseils sur la façon de migrer pendant la dépréciation.
-
Anthropic Claude 3.7 Sonnet n'est plus disponible. Consultez la page Modèles obsolètes et retirés pour connaître le modèle de remplacement recommandé et obtenir des conseils sur la migration pendant la période d'obsolescence.
-
Meta Llama 4 Maverick est disponible pour les workloads de throughput provisionné des API des modèles de fondation en Public Preview.
-
Meta-Llama-3.1-405B-Instruct n'est plus disponible pour les workloads de paiement à l'utilisation par jeton. À partir du 15 mai 2026, il sera également retiré pour les workloads de throughput de provisionnement. Consultez Modèles obsolètes et retirés pour connaître le modèle de remplacement recommandé et obtenir des conseils sur la migration pendant la période d'obsolescence.
-
Plusieurs familles de modèles plus anciennes ont été retirées. Consultez Modèles obsolètes et retirés pour la liste complète des modèles retirés et des remplacements recommandés.
⥂ Ce modèle est pris en charge en fonction de la disponibilité du GPU et nécessite que le routage inter-régions soit activé.
Accéder aux modèles de fondation hébergés en dehors de Databricks
Les modèles de fondation créés par des fournisseurs de LLM, tels qu'OpenAI et Anthropic, sont également accessibles sur Databricks à l'aide de modèles externes. Ces modèles sont hébergés en dehors de Databricks et vous pouvez créer un endpoint pour les interroger. Ces points de terminaison peuvent être gérés de manière centralisée depuis Databricks, ce qui simplifie l'utilisation et la gestion des divers fournisseurs de LLM au sein de votre organisation.
Le tableau suivant présente une liste non exhaustive des modèles pris en charge et des types d'endpoints correspondants. Vous pouvez utiliser les associations de modèles répertoriées pour vous aider à configurer un Endpoint pour tout nouveau type de modèle dès qu'il est disponible auprès d'un fournisseur donné. Les clients sont responsables de la conformité avec les licences de modèle applicables.
Avec le développement rapide des LLM, rien ne garantit que cette liste est à jour à tout moment. Les nouvelles versions de modèles du même fournisseur sont généralement prises en charge même si elles ne figurent pas dans la liste.
Fournisseur de modèle | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
OpenAI** | – gpt-3.5-turbo-instruct - babbage-002 - davinci-002 |
|
|
Azure OpenAI** |
|
|
|
Anthropic |
|
| |
Cohere** |
|
|
|
Mise à disposition de modèles | Endpoint de service Databricks | Endpoint de service Databricks | Endpoint de service Databricks |
Amazon Bedrock | Anthropic: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 | Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 Amazon: - nova-lite-v1:0 - nova-micro-v1:0 - nova-pro-v1:0 | Amazon: - titan-embed-text-v2:0 - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - intégrer-anglais-v3 - embed-multilingual-v3 |
AI21 Labs |
| ||
Google Cloud Vertex AI | text-bison |
|
|
** Le fournisseur de modèles prend en charge les modèles de complétion et de chat affinés. Pour query un modèle affiné, renseignez le champ name de la configuration external model avec le nom de votre modèle affiné.
† Le fournisseur de modèle prend en charge les modèles de complétion personnalisés.
Créer des services de modèles de fondation Endpoint
Pour interroger et utiliser les modèles de fondation dans vos applications d'IA, vous devez d'abord créer un endpoint de déploiement de modèles. Model Serving utilise une API et une interface utilisateur unifiées pour créer et mettre à jour les Endpoint de déploiement de modèles de fondation.
- Pour créer un endpoint qui sert des variantes affinées de modèles de fondation rendus disponibles à l'aide des APIs de modèle de fondation avec throughput provisionné, consultez Créer votre endpoint de throughput provisionné à l'aide de l'API REST.
- Pour créer des Endpoint de déploiement qui accèdent aux modèles de fondation mis à disposition via l'offre de modèles externes, consultez Créer un Endpoint de déploiement de modèles externes.
Interroger les Endpoint de service de modèle de fondation
Après avoir créé votre endpoint de service, vous pouvez interroger votre modèle de fondation. Model Serving utilise une API et un SDK unifiés compatibles avec OpenAI pour interroger les modèles de fondation. Cette expérience unifiée simplifie la façon dont vous expérimentez et personnalisez les modèles de fondation pour la production à travers les clouds et les fournisseurs pris en charge.
Consultez Utiliser des modèles de fondation.