Déployer des modèles pour l'inférence par batch et la prédiction

Cet article décrit ce que Databricks recommande pour l'inférence par batch.

Pour le Model Serving en temps réel sur Databricks, consultez Déployer des modèles à l'aide de Model Serving.

AI Functions pour l'inférence par batch

info

Aperçu

Cette fonctionnalité est en aperçu public.

AI Functions sont des fonctions intégrées que vous pouvez utiliser pour appliquer l'IA à vos données stockées sur Databricks. Vous pouvez exécuter l'inférence par batch à l'aide de fonctions d'IA spécifiques aux tâches ou de la fonction à usage général, ai_query.

Voici un exemple d'inférence par lot utilisant la fonction d'IA spécifique à la tâche, ai_translate. Si vous souhaitez effectuer une inférence par batch sur une table entière, vous pouvez supprimer le limit 500 de votre query.

SQL

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Vous pouvez également utiliser la fonction à usage général, ai_query, pour effectuer une inférence par batch.

• Voyez quels types de modèles et les modèles associés que ai_query prend en charge.
• Consultez Déployer des pipelines d'inférence batch.