Interroger les LLM et les agents sur Databricks

Databricks propose plusieurs façons de query les grands modèles de langage (LLM), les modèles de base et les agents déployés. Choisissez une interface utilisateur interactive, SQL, des APIs REST ou des bibliothèques clientes en fonction de votre workflow.

AI Playground

L'AI Playground est un environnement de discussion sans code dans votre Workspace Databricks pour la création de prompts et la comparaison de LLM. Utilisez-le pour expérimenter avec des prompts, régler des paramètres comme la température et les jetons maximum, et prototyper côte à côte des agents d'appel d'outils et des bots de questions-réponses avant de passer au code.

Modèles de fondation

Unity AI Gateway sert des modèles de fondation payants à la consommation gérés par Databricks derrière une API unifiée, prêts à l'emploi sans engagement d'infrastructure. Choisissez le type de service de modèle qui correspond à vos besoins :

• Services de modèle fournis par le système dans system.ai — services de modèle préconfigurés dans Unity Catalog. Idéal pour getting start.
• Services de modèles personnalisés : créez vos propres services de modèles pour distribuer la charge entre plusieurs modèles ou configurer des fallback. Idéal pour la gouvernance avancée et monter en charge.

Interroger les agents

Après avoir créé et déployé un agent, interrogez l'agent depuis votre application. Les agents peuvent être hébergés sur les Databricks Apps ou les Endpoint de Model Serving. Databricks prend en charge trois méthodes de requête :

• Client OpenAI Databricks — recommandé pour les nouvelles applications, avec un streaming natif et une prise en charge complète des fonctionnalités.
• OpenAI-compatible REST API — agnostique du langage, fonctionne avec toute plateforme qui utilise déjà l’API OpenAI.
• ai_query — query les agents hérités hébergés sur les Endpoints de Model Serving à partir de SQL.

Enrichir des données à l’aide d’AI Functions

AI Functions sont des fonctions SQL intégrées qui appliquent les LLM et d'autres modèles aux données stockées dans Databricks. Exécutez-les depuis Databricks SQL, les Notebooks, LakeFlow Pipelines ou les Workflows pour classifier les tickets de support, extraire les entités des documents, synthétiser le contenu ou traduire du texte à l'échelle du batch.

Choisissez entre deux styles de fonctions :

• Les fonctions spécifiques aux tâches , telles que ai_classify, ai_extract et ai_parse_document, sont optimisées pour une seule tâche et utilisent des systèmes gérés par Databricks et étayés par la recherche.
• ai_query est la fonction à usage général — fournissez votre propre invite et choisissez n'importe quel modèle de fondation pris en charge. Voir Utilisez ai_query.

Pour un exemple de bout en bout, consultez Analyser les avis des clients à l'aide des AI Functions.