Utilisation ai_query
ai_query est une fonction d’IA à usage général qui vous permet de query n’importe quel modèle d’IA pris en charge directement à partir de SQL ou Python. Contrairement aux AI Functions spécifiques à des tâches, qui sont conçues et optimisées pour une seule tâche, ai_query vous offre un contrôle total sur le modèle, l'invite et les parameters.
Pour la référence complète de la syntaxe et des paramètres, voir la fonction ai_query.
Intégration d'AI Gateway
Si votre compte a la préversion Bêta du Unity AI Gateway activée, les requêtes ai_query vers les Endpoint fournis par Databricks sont automatiquement acheminées via Unity AI Gateway. Ceci active le suivi de l'utilisation pour vos charges de travail d'inférence par batch. Voir les Query Endpoint avec ai_query pour plus de détails.
Exigences
- Cette fonction n'est pas disponible sur les SQL Warehouses Pro ou Classic.
- Notebooks et workflows : Serverless compute est requis.
ai_queryn'est pas pris en charge sur les clusters de compute classiques. - Nécessite Databricks Runtime 18.2 ou une version ultérieure.
Quand utiliser ai_query
Databricks recommande de commencer par une fonction d'IA spécifique à une tâche lorsqu'une correspond à votre objectif. Utilisez ai_query lorsqu'une fonction spécifique à une tâche ne répond pas à vos besoins. Par exemple, lorsque vous devez :
- Contrôlez le prompt, les paramètres du modèle ou le format de sortie plus précisément.
- Interroger un modèle personnalisé, affiné ou externe
- Besoin de flexibilité pour optimiser davantage le throughput ou la qualité
Bonnes pratiques
- Utilisez les modèles hébergés par Databricks. Utilisez les Endpoints de modèle de base hébergés par Databricks (avec le préfixe
databricks-), au lieu des Endpoints de throughput de provisionnement. Ces Endpoints sont entièrement managés et montent en charge automatiquement sans provisionnement ni configuration. - Sélectionnez un modèle optimisé pour l'inférence par batch. Databricks optimise des modèles spécifiques pour les charges de travail par batch à haut throughput. L'utilisation d'un modèle non optimisé peut entraîner un throughput réduit et des délais d'exécution des Jobs plus longs. Consultez la liste complète des modèles pris en charge pour les modèles optimisés par batch.
- Soumettez votre dataset complet dans une seule query. AI Functions gèrent automatiquement la parallélisation, les nouvelles tentatives et la mise à l'échelle. La séparation manuelle des données en petits batches peut réduire le throughput.
- **Définissez
failOnErrorsurfalsepour les charges de travail importantes.** Cela permet au Job de se terminer et de renvoyer des messages d'erreur pour les lignes ayant échoué, afin que vous conserviez les résultats réussis sans retraiter l'intégralité du dataset.
Modèles pris en charge
ai_query prend en charge les modèles hébergés par Databricks, les modèles à throughput provisionné, les modèles personnalisés et les modèles externes.
Le tableau suivant récapitule les types de modèles pris en charge, les modèles associés et les exigences de configuration de l'Endpoint de diffusion de modèle pour chacun.
Type | Description | Modèles pris en charge | Exigences |
|---|---|---|---|
Modèles hébergés par Databricks | Databricks héberge ces modèles de fondation et offre des endpoints préconfigurés que vous pouvez interroger à l'aide de | Consultez Modèles de fondation pris en charge sur Model Serving pour obtenir la liste complète des modèles de fondation pris en charge sur Model Serving. Ces modèles sont pris en charge et optimisés pour démarrer l’inférence par batch et les workflows de production :
D’autres modèles hébergés par Databricks sont disponibles pour une utilisation avec AI Functions, mais ils ne sont pas recommandés pour les workflows de production d’inférence par batch à grande échelle. Ces autres modèles sont mis à disposition pour l’inférence en temps réel à l’aide des APIs du modèle de fondation du paiement par jeton. | Databricks Runtime 15.4 LTS ou version ultérieure est requis pour utiliser cette fonctionnalité. Ne nécessite aucun provisionnement ni aucune configuration d'endpoint. Votre utilisation de ces modèles est soumise aux conditions de modèle applicables et à la disponibilité régionale des AI Functions. |
Modèles de throughput provisionné | AI Functions fonctionne avec des modèles à throughput provisionné déployés sur Model Serving. |
|
|
Modèles personnalisés et modèles externes | Vous pouvez apporter vos propres modèles personnalisés ou externes et les interroger à l'aide des AI Functions. AI Functions offre une flexibilité vous permettant de query des modèles pour l'inférence en temps réel ou les scénarios d'inférence par batch. |
|
|
Utilisez ai_query avec les modèles de fondation
L'exemple suivant montre comment utiliser ai_query avec un modèle de fondation hébergé par Databricks.
- Consultez
ai_queryfunction pour plus de détails sur la syntaxe et les paramètres. - Consultez les entrées multimodales pour des exemples de query d'entrée multimodale.
- Veuillez consulter Exemples pour les scénarios avancés pour obtenir des conseils sur la façon de configurer les paramètres pour des cas d'utilisation avancés tels que :
- Gérez les erreurs à l'aide de
failOnError - Sorties structurées sur Databricks pour spécifier la sortie structurée de vos réponses de requête.
- Gérez les erreurs à l'aide de
- SQL
- Python
SELECT text, ai_query(
"databricks-gpt-oss-120b",
"Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;
df_out = df.selectExpr(
"ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')
Exemple de Notebook : Inférence par batch et extraction de données structurées
Le notebook d'exemple suivant montre comment effectuer une extraction de données structurées de base à l'aide de ai_query pour transformer des données brutes et non structurées en informations organisées et utilisables grâce à des techniques d'extraction automatisée. Ce notebook montre également comment tirer parti d'Agent Evaluation pour évaluer la précision à l'aide des données de vérité terrain.
Notebook d'inférence par batch et d'extraction de données structurées
Utiliser ai_query avec des modèles ML traditionnels
ai_query prend en charge les modèles de ML traditionnels, y compris ceux entièrement personnalisés. Ces modèles doivent être déployés sur des Endpoints de Model Serving. Pour les détails de la syntaxe et les paramètres, voir la fonctionai_query.
SELECT text, ai_query(
endpoint => "spam-classification",
request => named_struct(
"timestamp", timestamp,
"sender", from_number,
"text", text),
returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10
Exemple de Notebook : Inférence batch utilisant BERT pour la reconnaissance d'entités nommées
Le notebook suivant présente un exemple d'inférence par batch de modèle ML traditionnel à l'aide de BERT.