Endpoint de service des modèles de fondation (hérité)
Cette page décrit le flux de travail de Model Serving hérité basé sur les Endpoint. Pour rechercher et query des modèles par le biais de Unity Gateway, consultez les modèles disponibles et les services de modèle de query.
Accéder aux modèles de fondation hébergés en dehors de Databricks
Les modèles de fondation créés par des fournisseurs de LLM, tels qu'OpenAI et Anthropic, sont également accessibles sur Databricks à l'aide de External models. Ces modèles sont hébergés en dehors de Databricks et vous pouvez créer un endpoint pour query ces derniers. Ces endpoints peuvent être administrés de manière centralisée depuis Databricks, ce qui rationalise l'utilisation et la gestion des différents fournisseurs de LLM au sein de votre organisation.
Le tableau suivant présente une liste non exhaustive des modèles pris en charge et des types d’endpoint correspondants. Vous pouvez utiliser les associations de modèles répertoriées pour vous aider à configurer un endpoint pour tout type de modèle nouvellement publié dès qu’il est disponible auprès d’un fournisseur donné. Les clients sont responsables de veiller à la conformité avec les licences de modèle applicables.
Avec le développement rapide des LLM, rien ne garantit que cette liste soit toujours à jour. Les nouvelles versions de modèles du même fournisseur sont généralement prises en charge, même si elles ne figurent pas sur la liste.
Fournisseur de modèle | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
OpenAI** |
|
|
|
Azure OpenAI** |
|
|
|
Anthropic |
|
| |
Cohere** |
|
|
|
Mise à disposition de modèles | Endpoint de service Databricks | Endpoint de service Databricks | Endpoint de service Databricks |
Amazon Bedrock | Anthropic: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1 | Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 Amazon: - nova-lite-v1:0 - nova-micro-v1:0 - nova-pro-v1:0 | Amazon: - titan-embed-text-v2:0 - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3 |
AI21 Labs |
| ||
Google Cloud Vertex AI | text-bison |
|
|
** Le fournisseur de modèle prend en charge les modèles de complétion et de chat affinés. Pour effectuer une query sur un modèle affiné, renseignez le champ name de la configuration external model avec le nom de votre modèle affiné.
† Le fournisseur de modèles prend en charge les modèles de complétion personnalisés.
Créer des Endpoint de service de modèles de fondation
Pour interroger et utiliser des modèles de fondation dans vos applications d’IA, vous devez d’abord créer un endpoint de service de modèle. Model Serving utilise une interface utilisateur et une API unifiées pour créer et mettre à jour des endpoints de service de modèle de fondation.
- Pour créer un endpoint qui dessert des variantes affinées de modèles de fondation mises à disposition à l'aide du throughput provisionné des APIs de modèle de fondation, consultez Créer votre endpoint de throughput provisionné à l'aide de l'API REST.
- Pour créer des endpoints de déploiement qui accèdent à des modèles de fondation mis à disposition via l’offre de modèles externes, consultez Créer un endpoint de déploiement de modèle externe.
Query des Endpoint de service de modèles de fondation
Une fois votre endpoint de service créé, vous pouvez interroger votre modèle de fondation. Model Serving utilise une API et un SDK unifiés compatibles avec OpenAI pour l'interrogation des modèles de fondation. Cette expérience unifiée simplifie la manière dont vous expérimentez et personnalisez les modèles de fondation pour la production sur l'ensemble des clouds et des fournisseurs pris en charge.
Consultez Utiliser des modèles de fondation.