Utiliser un LLM personnalisé pour créer un agent d’IA générative pour le texte (hérité)

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Cet article décrit comment créer un agent d'IA générative pour les tâches textuelles personnalisées en utilisant Custom LLM.

Que pouvez-vous faire avec un LLM personnalisé ?

Utilisez un LLM personnalisé pour générer des résultats de haute qualité pour toute tâche spécifique à un domaine, telle que la synthèse, la classification, la transformation de texte et la génération de contenu.

Les LLM personnalisés sont idéaux pour les cas d'utilisation suivants :

• Résumé du problème et de la résolution des appels clients.
• Analyse du sentiment des avis clients.
• Classification des documents de recherche par sujet.
• Génération de communiqués de presse pour les nouvelles fonctionnalités.

Étant donné des instructions et des exemples de haut niveau, le LLM personnalisé optimise les invites au nom des utilisateurs, déduit automatiquement les critères d'évaluation, évalue le système à partir des données fournies et déploie le modèle en tant qu'endpoint industrialisable.

Les LLM personnalisés tirent parti des capacités d’évaluation automatisées, notamment MLflow et l’ Agent Evaluation, pour permettre une évaluation rapide du compromis coût-qualité pour votre tâche d’extraction spécifique. Cette évaluation vous permet de prendre des décisions éclairées concernant l'équilibre entre la précision et l'investissement en ressources.

Le LLM personnalisé utilise le default storage pour stocker les transformations de données temporaires, les points de contrôle de modèle et les métadonnées internes qui alimentent chaque agent. Lors de la suppression de l'agent, toutes les données associées à l'agent sont supprimées du stockage default.

Exigences

• Un Workspace qui inclut les éléments suivants :

  • Compute Serverless disponible (activé par défaut dans les Workspaces avec Unity Catalog).
  • Unity Catalog activé. Consultez Activer un workspace pour Unity Catalog.
  • Accès à Model Serving.
  • Accès à une politique d'utilisation Serverless avec un budget non nul.

• Un workspace dans l'une des régions prises en charge.

• Possibilité d'utiliser la fonction SQLai_query.

• Vous devez disposer de données d'entrée prêtes à l'emploi. Vous pouvez choisir de fournir soit :

  • Une table Unity Catalog. Le nom de la table ne peut pas contenir de caractères spéciaux (tels que -).

    • Si vous souhaitez utiliser des PDF, convertissez-les en table Unity Catalog. Consultez Utiliser des PDF dans les LLM personnalisés.

  • Au moins 3 exemples d'entrées et de sorties. Si vous choisissez cette option, vous devrez spécifier un chemin de destination de schéma Unity Catalog pour l'agent, et vous devez disposer des permissions CREATE REGISTERED MODEL et CREATE TABLE sur ce schéma.

• Si vous souhaitez optimiser votre agent, vous avez besoin d'au moins 100 entrées (soit 100 lignes dans une table Unity Catalog, soit 100 exemples fournis manuellement).

Créer un agent LLM personnalisé​

Accédez à **Agents** dans le volet de navigation de gauche de votre workspace. Depuis la vignette **LLM personnalisé**, cliquez sur **Créer**.

Étape 1 : Configurez votre agent

Dans l'onglet **Build**, cliquez sur **Afficher un exemple >** pour développer un exemple d'entrée et de réponse de modèle pour un agent LLM personnalisé.

Dans le volet ci-dessous, configurez votre agent :

1. Sous Décrivez votre tâche , saisissez une description claire et détaillée de votre tâche de spécialisation, y compris son objectif et le résultat souhaité.

2. Fournissez un dataset étiqueté, un dataset non étiqueté ou quelques exemples à utiliser pour créer votre agent.

   Si vous souhaitez utiliser des PDF, convertissez-les d'abord en table Unity Catalog. Consultez Utiliser des PDF dans les LLM personnalisés.

   Les types de données suivants sont pris en charge : string, int et double.

Labeled dataset

Si vous sélectionnez Jeu de données étiqueté :

1. Sous **Sélectionner le dataset comme table UC**, cliquez sur **Parcourir** pour sélectionner la table Unity Catalog que vous souhaitez utiliser. Le nom de la table ne peut pas contenir de caractères spéciaux (tels que -).

   Voici un exemple :

   main.model_specialization.customer_call_transcripts

2. Dans le champ Colonne d'entrée , sélectionnez la colonne que vous souhaitez utiliser comme texte d'entrée. Le menu déroulant est automatiquement renseigné avec les colonnes de votre table sélectionnée.

3. Dans la colonne Output , sélectionnez la colonne que vous souhaitez fournir comme exemple de sortie pour la Transformation attendue. Fournir ces données permet de configurer votre agent pour qu'il s'adapte plus précisément à vos besoins spécifiques au domaine.

Unlabeled dataset

Si vous sélectionnez **dataset non étiqueté** :

1. Sous **Sélectionner le dataset comme table UC**, cliquez sur **Parcourir** pour sélectionner la table Unity Catalog que vous souhaitez utiliser. Le nom de la table ne peut pas contenir de caractères spéciaux (tels que -).

2. Dans le champ Colonne d'entrée , sélectionnez la colonne que vous souhaitez utiliser comme texte d'entrée. Le menu déroulant est automatiquement renseigné avec les colonnes de votre table sélectionnée.

A few examples

Si vous sélectionnez A few examples :

1. Veuillez fournir au moins 3 exemples d'entrées et de sorties attendues pour votre tâche de spécialisation. Fournir des exemples de haute qualité permet de configurer votre agent de spécialisation afin qu'il comprenne mieux vos exigences.
2. Pour ajouter d'autres exemples, cliquez sur + Ajouter.
3. Sous Destination de l'agent , sélectionnez le schéma Unity Catalog où vous souhaitez que le Custom LLM vous aide à créer une table avec des données d'évaluation. Vous devez disposer des autorisations CRÉER UN MODÈLE ENREGISTRÉ et CREATE TABLE pour ce schéma.

3. Nommez votre agent.

4. Cliquez sur Créer un agent .

Étape 2 : Créez et améliorez votre agent

Dans l'onglet Build , examinez les recommandations pour améliorer votre agent, vérifiez les exemples de sorties de modèle et ajustez vos instructions de tâche et vos critères d'évaluation.

1. Dans le volet Recommandation , Databricks fournit des recommandations pour vous aider à optimiser et à évaluer les réponses échantillons comme bonnes ou mauvaises.

   1. Examinez les recommandations Databricks pour l'optimisation des performances des agents.
   2. Fournissez des commentaires pour améliorer les réponses. Pour chaque réponse, répondez à **Est-ce une bonne réponse ?** avec **Oui** ou **Non**. Si **Non**, fournissez un commentaire facultatif sur la réponse et cliquez sur **Enregistrer** pour passer au suivant.
   3. Vous pouvez également choisir d' ignorer la recommandation.

2. À droite, sous Directives , définissez des directives claires pour aider votre agent à produire le bon résultat. Celles-ci seront également utilisées pour évaluer automatiquement la qualité.

   1. Examiner les directives suggérées. Les suggestions de directives sont déduites automatiquement pour vous aider à optimiser votre agent. Vous pouvez les affiner ou les supprimer.
   2. Un LLM personnalisé peut proposer des directives supplémentaires. Sélectionnez **Accepter** pour ajouter la nouvelle directive, **Rejeter** pour la refuser, ou cliquez dans le texte pour modifier la directive en premier.
   3. Pour ajouter vos propres lignes directrices, cliquez sur Ajouter .
   4. Cliquez sur **Enregistrer et mettre à jour** pour mettre à jour l'agent.

3. (Facultatif) Sur le côté droit, sous Instructions , décrivez votre tâche. Ajoutez toute instruction supplémentaire que l'agent doit suivre lors de la génération de ses réponses. Cliquez sur Enregistrer et mettre à jour pour appliquer les instructions.

4. Après la mise à jour de l'agent, de nouvelles réponses d'échantillon sont générées. Examinez ces réponses et donnez votre avis.

Étape 3 : Évaluez votre agent

Un rapport de qualité contenant un petit ensemble de résultats d'évaluation est automatiquement généré à partir de vos directives. Examinez ce rapport dans le tab Qualité .

Chaque directive acceptée est utilisée comme métrique d'évaluation. Pour chaque requête générée, la réponse est évaluée à l'aide des directives et fait l'objet d'une évaluation de réussite/échec. Ces évaluations sont utilisées pour générer les scores d'évaluation affichés en haut. Cliquez sur un résultat d'évaluation pour afficher les détails complets.

Utilisez le rapport de qualité pour vous aider à décider si l'agent nécessite une optimisation supplémentaire.

(Facultatif) Optimiser votre agent

Le LLM personnalisé peut aider à optimiser votre agent pour les coûts. Databricks recommande au moins 100 entrées (soit 100 lignes dans votre table Unity Catalog, soit 100 exemples fournis manuellement) pour optimiser votre agent. Lorsque vous ajoutez davantage d'entrées, la base de connaissances à partir de laquelle l'agent peut apprendre augmente, ce qui améliore la qualité de l'agent et la précision de sa réponse.

Lorsque vous optimisez votre agent, Databricks compare plusieurs stratégies d'optimisation différentes pour créer et déployer un agent optimisé. Ces stratégies incluent l'affinement du modèle de fondation qui utilise Databricks Geos.

Pour optimiser votre agent :

1. Cliquez sur Optimiser .

2. Cliquez sur Start optimization .

   L'optimisation peut prendre quelques heures. Apporter des modifications à votre agent actuellement actif est bloqué lorsque l'optimisation est en cours.

3. Lorsque l'optimisation est terminée, examinez une comparaison de votre agent actuellement actif et de l'agent optimisé pour le coût.

4. Après avoir examiné ces résultats, sélectionnez le meilleur modèle sous Déployer le meilleur modèle vers un Endpoint et cliquez sur Déployer .

Étape 4 : utilisez votre agent

Essayez votre agent dans des workflows sur Databricks.

Pour start à utiliser votre agent, cliquez sur **Utiliser**. Vous avez les options suivantes :

• Cliquez sur Essayer en SQL pour ouvrir l'éditeur SQL et utilisez ai_query pour envoyer des requêtes à votre nouvel agent LLM personnalisé.

• Cliquez sur Créer un pipeline pour déployer un pipeline qui s'exécute à intervalles réguliers afin d'utiliser votre agent sur de nouvelles données. Consultez Spark Declarative Pipelines pour plus d'informations sur les pipelines.

• Cliquez sur Ouvrir dans Playground pour tester votre agent dans un environnement de discussion avec AI Playground.

Gérer les autorisations

Par default, seuls les auteurs d'agents et les administrateurs de Workspace disposent des autorisations pour l'agent. Pour permettre à d'autres utilisateurs de modifier ou de query votre agent, vous devez leur accorder explicitement l'autorisation.

Pour gérer les autorisations de votre agent :

1. Ouvrez votre agent sur la page Agents .

2. En haut, cliquez sur le menu kebab.

3. Cliquez sur Gérer les autorisations .

4. Dans la fenêtre Permission Settings , sélectionnez l’utilisateur, le groupe ou le Service Principal.

5. Sélectionnez l'autorisation à accorder :

   • Peut gérer : permet de gérer l’agent, y compris la définition des autorisations, la modification de la configuration de l’agent et l’amélioration de sa qualité.
   • Peut query : Permet d'interroger l'Endpoint de l'agent dans AI Playground et via l'API. Les utilisateurs disposant uniquement de cette autorisation ne peuvent ni afficher ni modifier l'agent sur la page Agents.

6. Cliquez sur **Ajouter**.

7. Cliquez sur Enregistrer .

remarque

Pour les endpoints d’agent créés **avant le 16 septembre 2025**, vous pouvez accorder les autorisations **Peut interroger** à l’endpoint depuis la page **Endpoints de service**.

Interroger l'endpoint de l'agent

Sur la page de l'agent, cliquez sur Voir l'état de l'agent en haut à droite pour obtenir votre endpoint d'agent déployé et afficher les détails de l'endpoint.

Il existe plusieurs façons d'interroger l'endpoint d'agent créé. Utilisez les exemples de code fournis dans l'AI Playground comme point de départ :

1. Sur la page de l'agent, cliquez sur Utiliser .
2. Cliquez sur Ouvrir dans Playground .
3. Depuis le Terrain de jeux, cliquez sur Obtenir le code .
4. Choisissez la façon dont vous souhaitez utiliser l'Endpoint :
   • Sélectionnez **Apply on data** pour créer une query SQL qui applique l'agent à une colonne de table spécifique.
   • Sélectionnez Curl API pour un exemple de code permettant d'interroger l'Endpoint à l'aide de curl.
   • Sélectionnez API Python pour un exemple de code permettant d'interagir avec l'endpoint à l'aide de Python.

Utiliser des PDF dans un LLM personnalisé

Les PDF ne sont pas encore pris en charge en mode natif dans l'extraction d'informations et les LLM personnalisés. Cependant, vous pouvez utiliser le workflow de l'interface utilisateur pour convertir un dossier de fichiers PDF en markdown, puis utiliser la table Unity Catalog résultante comme entrée lors de la création de votre agent. Ce workflow utilise ai_parse_document pour la conversion. Suivez ces étapes :

1. Cliquez sur Agents dans le volet de navigation de gauche.

2. Dans les cas d'utilisation d'extraction d'informations ou de LLM personnalisés, cliquez sur Utiliser les PDF .

3. Dans le panneau latéral qui s'ouvre, entrez les champs suivants pour créer un nouveau workflow afin de convertir vos PDF :

   1. Sélectionner un dossier avec des PDF ou des images : sélectionnez le dossier Unity Catalog contenant les PDF que vous souhaitez utiliser.
   2. Sélectionner la table de destination : Sélectionnez le schéma de destination pour la table markdown convertie et, en option, ajustez le nom de la table dans le champ ci-dessous.
   3. Sélectionner un SQL Warehouse actif : sélectionnez le SQL Warehouse pour exécuter le workflow.

   

4. Cliquez sur Start import .

5. Vous serez redirigé vers le tab Tous les workflows , qui répertorie tous vos workflows PDF. Utilisez ce tab pour surveiller l'état de vos jobs.

   

   Si votre workflow échoue, cliquez sur le nom du Job pour l'ouvrir et consulter les messages d'erreur afin de vous aider à déboguer.

6. Lorsque votre workflow est terminé, cliquez sur le nom du Job pour ouvrir la table dans Catalog Explorer afin d'explorer et de comprendre les colonnes.

7. Utilisez la table Unity Catalog comme données d'entrée lors de la configuration de votre agent.

Limitations

• Databricks recommande au moins 100 entrées (soit 100 lignes dans votre table Unity Catalog, soit 100 échantillons fournis manuellement) pour optimiser votre agent. Lorsque vous ajoutez plus d'entrées, la base de connaissances à partir de laquelle l'agent peut apprendre augmente, ce qui améliore la qualité de l'agent et la précision de ses réponses.
• Si vous fournissez une table Unity Catalog, le nom de la table ne peut pas contenir de caractères spéciaux (tels que -).
• Seuls les types de données suivants sont pris en charge en entrée : string, int et double.
• La capacité d'utilisation est actuellement limitée à 100 000 jetons d'entrée et de sortie par minute.
• Les Workspaces pour lesquels la sécurité et la conformité améliorées sont activées ne sont pas pris en charge.
• L’optimisation peut échouer dans les workspaces dotés de politiques réseau de contrôle d’extraction Serverless avec mode d’accès restreint.