Interroger les LLM et les agents sur Databricks

Databricks propose plusieurs façons de query les grands modèles de langage (LLM), les modèles de base et les agents déployés. Choisissez une interface utilisateur interactive, SQL, des APIs REST ou des bibliothèques clientes en fonction de votre workflow.

AI Playground

L'AI Playground est un environnement de discussion sans code dans votre Workspace Databricks pour la création de prompts et la comparaison de LLM. Utilisez-le pour expérimenter avec des prompts, régler des paramètres comme la température et les jetons maximum, et prototyper côte à côte des agents d'appel d'outils et des bots de questions-réponses avant de passer au code.

Modèles de fondation

Databricks sert les modèles de fondation en mode natif en tant qu’ APIs de modèle (services de modèle) via Unity AI Gateway. Chaque utilisateur du compte peut appeler les modèles avec paiement par jeton dans le schéma system.ai sans configuration. Choisissez les APIs de modèle qui répondent à vos besoins :

• APIs de modèle fournies par le système dans system.ai : modèles servis en mode natif par Databricks, prêts à être queryés avec le SDK compatible OpenAI, les APIs de fournisseur natives ou ai_query. Consultez query les APIs de modèle (services de modèle).
• APIs de modèles personnalisés : Créez les vôtres lorsque vous avez besoin de modèles au-delà des default, ou pour répartir la charge et configurer des fallback.

Interroger les agents

Après avoir créé et déployé un agent, interrogez l'agent depuis votre application. Les agents peuvent être hébergés sur les Databricks Apps ou les Endpoint de Model Serving. Databricks prend en charge trois méthodes de requête :

• Client Databricks OpenAI : recommandé pour les nouvelles applications, avec streaming natif et prise en charge complète des fonctionnalités.
• API REST compatible avec OpenAI : indépendante du langage, fonctionne avec toute plateforme utilisant déjà l’API OpenAI.
• ai_query : query les agents hérités hébergés sur Endpoint de Model Serving à partir de SQL.

Enrichir des données à l’aide d’AI Functions

AI Functions sont des fonctions SQL intégrées qui appliquent les LLM et d'autres modèles aux données stockées dans Databricks. Exécutez-les depuis Databricks SQL, les Notebooks, LakeFlow Pipelines ou les Workflows pour classifier les tickets de support, extraire les entités des documents, synthétiser le contenu ou traduire du texte à l'échelle du batch.

Choisissez entre deux styles de fonctions :

• Les fonctions spécifiques aux tâches , telles que ai_classify, ai_extract et ai_parse_document, sont optimisées pour une seule tâche et utilisent des systèmes gérés par Databricks et étayés par la recherche.
• ai_query est la fonction à usage général. Créez votre propre prompt et choisissez n’importe quel modèle de fondation pris en charge. Voir Utiliser ai_query.

Pour un exemple de bout en bout, consultez Analyser les avis des clients à l'aide des AI Functions.