Organiser un Genie Agent efficace

Organisez un Genie Agent pour que les utilisateurs professionnels obtiennent des réponses précises et cohérentes lorsqu'ils posent des questions en langage naturel à leurs données. Le Job du conservateur est de combler l'écart entre les connaissances générales de Genie et le langage spécialisé utilisé dans un domaine ou une entreprise spécifique. Fournissez des datasets bien documentés, des expressions SQL pour la sémantique métier, des exemples de requêtes SQL et des instructions textuelles claires afin que Genie puisse interpréter les questions et générer des résultats corrects.

remarque

Les agents Genie étaient auparavant appelés Genie space.

remarque

Si vous Link un Genie Agent existant à un tableau de bord, les filtres du tableau de bord ne sont pas reportés dans le contexte du chat. Les filtres du tableau de bord fonctionnent comme prévu avec les Genie Agents que Databricks crée automatiquement lorsque vous publiez un tableau de bord. Consultez Genie Agents avec les tableaux de bord.

Bonnes pratiques pour définir un nouvel agent

Considérez Genie comme un nouveau data analyst rejoignant votre entreprise. Comme tout nouveau membre de l'équipe, Genie a besoin d'un contexte clair pour être efficace. Il s'appuie sur des descriptions de table et de colonne de qualité pour comprendre ce que représentent les données, des exemples de query SQL pour apprendre à résoudre des problèmes courants, des expressions SQL pour définir la terminologie commerciale et des instructions textuelles uniquement lorsque d'autres méthodes ne s'appliquent pas. Plus le contexte structuré que vous fournissez via les métadonnées et les exemples est riche, plus Genie peut interpréter les questions et générer des résultats corrects avec précision.

Gardez ces principes directeurs à l’esprit lorsque vous créez votre Genie Agent :

• Fournissez des datasets concis et bien documentés : des descriptions de tables et de colonnes de qualité dans Unity Catalog sont essentielles à la précision de Genie. Résolvez les ambiguïtés de colonne et pré-joignez ou dé-normalisez les tables à l'aide de vues ou de vues métriques. Les datasets bien documentés et simplifiés améliorent la capacité de Genie à répondre précisément aux questions sur les données.
• Priorisez les expressions SQL et les exemples SQL aux instructions textuelles : Utilisez les expressions SQL pour définir la sémantique métier comme les métriques et les filtres. Utilisez un exemple SQL pour apprendre à Genie à gérer les invites ambiguës courantes. Utilisez les instructions textuelles uniquement en dernier recours lorsque les expressions SQL et les exemples ne peuvent pas répondre au besoin. Les définitions structurées via SQL sont plus fiables et plus faciles à maintenir que les directives en texte brut.
• Rédigez des instructions textuelles claires et spécifiques : évitez les instructions vagues. Par exemple, au lieu de « Poser des questions de clarification quand on vous interroge sur les ventes », écrivez « Quand les utilisateurs posent des questions sur les métriques de ventes sans spécifier le nom du produit ou le canal de distribution, demandez : Pour procéder à l'analyse des ventes, spécifiez le nom de votre produit et votre canal de distribution. »
• Évitez les instructions contradictoires : assurez la cohérence entre tous les types d'instructions. Par exemple, si les instructions textuelles spécifient d'arrondir les décimales à deux chiffres, les requêtes SQL d'exemple doivent également arrondir à deux chiffres.

Les sections suivantes fournissent des recommandations détaillées pour la création d'agents et la résolution des problèmes de précision.

start modestement

La curation d'un Genie Agent est un processus itératif. Lors de la création d'un nouvel agent, start aussi petit que possible, avec un minimum d'instructions et un ensemble limité de questions à répondre. Ensuite, vous pouvez ajouter au fur et à mesure que vous itérez en fonction des commentaires et du monitoring. Cette approche permet de rationaliser la création et la maintenance de votre agent et vous permet de l'organiser efficacement en réponse aux besoins réels des utilisateurs.

Utilisez les directives suivantes pour vous aider à créer un petit Genie Agent :

• **Restez concentré** : Incluez uniquement les tables nécessaires pour répondre aux questions que vous souhaitez que l'agent traite. Visez cinq tables ou moins. Plus votre sélection est ciblée, mieux c'est. Il est idéal de maintenir votre agent ciblé sur une petite quantité de données, limitez donc le nombre de colonnes dans vos tables incluses.
• **Travaillez dans la limite de 30 tables** : les Agents Genie prennent en charge jusqu’à 30 tables ou vues. Si votre sujet de données exige plus de 30 tables, pré-joignez les tables associées en vues ou en vues métriques avant de les ajouter à votre agent. Les vues métriques sont particulièrement efficaces pour les Agents Genie, car elles prédéfinissent les métriques, les dimensions et les agrégations. Cette approche vous aide à rester dans la limite, simplifie votre modèle de données et peut améliorer la précision de réponse de Genie. Consultez Gérer les objets de données pour plus de détails sur l’ajout d’objets de données à votre agent.
• Planifiez l'itération : Start par une configuration minimale pour votre agent, en vous concentrant sur les tables essentielles et les instructions de base. Ajoutez des conseils et des exemples plus détaillés au fur et à mesure que vous affinez l'agent, plutôt que de viser la perfection au départ.
• S'appuyer sur des tables bien annotées : Genie utilise les noms de colonnes et les descriptions du Unity Catalog pour générer des réponses. Des noms de colonnes et des descriptions clairs contribuent à produire des réponses de haute qualité. Les descriptions de colonne devraient fournir des informations contextuelles précises. Évitez les détails ambigus ou inutiles. Vérifiez toutes les descriptions générées par l'IA pour leur exactitude et leur clarté, et ne les utilisez que si elles correspondent à ce que vous fourniriez manuellement.

Demandez à un expert du domaine de définir l'agent

Un créateur d'agent efficace doit comprendre les données et les insights qui peuvent en être tirés. Les data analysts qui maîtrisent SQL ont généralement les connaissances et les compétences nécessaires pour organiser l'agent.

Définissez l'objectif de votre agent

L'identification de l'audience et de l'objectif spécifiques de votre agent vous aide à décider quelles données, instructions et questions de test utiliser. Un agent doit répondre aux questions concernant un sujet et une audience spécifiques, et non à des questions générales couvrant divers domaines. Vous pouvez simplifier vos datasets en pré-joignant des tables et en supprimant les colonnes superflues avant d'ajouter des données à un agent. Lorsque vous ajoutez des données à votre agent, veillez à ce qu'elles restent strictement axées sur l'objectif défini de l'agent. Masquez toutes les colonnes qui pourraient prêter à confusion ou être sans importance. Voir Masquer ou afficher les colonnes pertinentes.

Ajouter des métadonnées et des synonymes

Vous pouvez ajouter des synonymes de colonnes et des descriptions personnalisées aux données dans un Genie Agent. Ces métadonnées sont limitées à votre Genie Agent et n'écrasent pas les métadonnées stockées dans Unity Catalog. Des descriptions de colonnes et des synonymes de qualité aident Genie à mieux comprendre la colonne, à la choisir pour les questions pertinentes et à écrire des requêtes SQL plus précises. Voir Modifier les métadonnées de colonne.

Utiliser la correspondance d'invites Genie

La correspondance des invites permet à Genie de faire correspondre les valeurs les plus pertinentes à la question de l'utilisateur et de corriger les problèmes d'orthographe dans les invites des utilisateurs. Cela améliore la précision de Genie en l’aidant à mieux faire correspondre les invites des utilisateurs aux colonnes et aux valeurs correctes. Genie fournit automatiquement la correspondance des invites lorsque vous ajoutez des tables à l'agent. Vous pouvez gérer les colonnes pour lesquelles la correspondance d’invites est activée. Consultez Gérer les objets de données et Optimiser la qualité du Genie Agent.

Fournir des exemples et des instructions ciblés

Les Agents Genie sont plus performants avec un ensemble d’instructions limité et ciblé. Databricks recommande de tirer parti des exemples de requêtes SQL pour fournir des instructions à votre agent. Les exemples de requêtes SQL permettent à Genie de faire correspondre les invites des utilisateurs aux requêtes SQL vérifiées et d'apprendre des exemples pour répondre aux questions connexes. Voir Ajouter des exemples de requêtes SQL et de fonctions.

Pour un contexte qui devrait être appliqué globalement dans le Genie Agent, un ensemble de petites instructions bien organisées en texte brut peut également aider à maintenir la pertinence et à améliorer la qualité des réponses. Trop d'instructions peuvent réduire l'efficacité, surtout dans les conversations plus longues, car Genie pourrait avoir du mal à prioriser les directives les plus importantes. Pour plus de détails, consultez Fournir des instructions.

Choisissez le bon type d'instruction.

Utilisez les directives suivantes pour choisir entre les expressions SQL, les exemples de queries SQL et les instructions textuelles :

• **Utilisez des expressions SQL pour les termes commerciaux courants** : Lorsque vous définissez des métriques, filtres ou dimensions fréquemment utilisés qui représentent des concepts commerciaux standard, utilisez des expressions SQL dans le magasin de connaissances. Les expressions SQL sont des définitions efficaces et réutilisables qui aident Genie à comprendre votre logique métier. Par exemple, utilisez des expressions SQL pour définir revenue, active_customers, gross_margin ou recent_sales. Voir Définir des expressions SQL.
• Utilisez des exemples de requêtes SQL pour les questions complexes : lorsque vous abordez des questions difficiles à interpréter, à plusieurs volets ou complexes, fournissez des exemples complets de requêtes SQL. Ces exemples montrent à Genie comment gérer les modèles de requêtes complexes et la logique en plusieurs étapes. Par exemple, vous pourriez créer des queries SQL pour des invites comme « analyse de la performance de mon équipe » ou « Quels produits fonctionnent le mieux pour les clients qui ont rejoint récemment ? ». Consultez Ajouter des exemples de requêtes SQL et de fonctions.
• **Utilisez les instructions textuelles uniquement en dernier recours** : Les instructions textuelles ne doivent être utilisées qu'avec parcimonie, uniquement lorsque les expressions et exemples SQL ne peuvent pas répondre au besoin. Utilisez les instructions textuelles pour des conseils nécessitant une explication en langage naturel, tels que "Lorsque les utilisateurs interrogent les performances des clients sans spécifier de plage de temps, demandez-leur de préciser la période" ou "Arrondissez toujours les pourcentages à deux décimales dans les résumés." Évitez d'utiliser des instructions textuelles pour définir des métriques, des filtres ou des modèles de query qui peuvent être exprimés en SQL.

Invitez Genie à poser des questions de clarification

Pour inciter Genie à poser des questions de clarification dans certains scénarios, soyez explicite quant au moment de demander des clarifications et à la manière de faire un suivi. Utilisez des instructions claires et spécifiques qui définissent à la fois les conditions de déclenchement et le comportement de clarification attendu.

Par exemple, ajoutez le type d'instruction suivant à votre agent :

Lorsque les utilisateurs posent des questions sur la répartition de la performance des ventes, mais n'incluent pas la période, le canal de distribution ou les KPI dans leur invite, vous devez d'abord poser une question de clarification pour recueillir les informations nécessaires. Par exemple : « Veuillez spécifier la plage horaire et le canal de distribution des ventes que vous recherchez. »

Structurez vos instructions de clarification avec ces composants :

• Condition de Trigger : Définissez les sujets ou les scénarios qui nécessitent des éclaircissements (par exemple, « Lorsque les utilisateurs posent des questions sur le sujet X... »)
• Détails manquants : Spécifiez quelles informations doivent être présentes (par exemple, « ...mais n'incluez pas les détails Y... »)
• Action requise : Indiquez que Genie doit demander des clarifications (par exemple, « ...vous devez d'abord poser une question de clarification... »).
• Précision de l'exemple : Fournissez la question spécifique que Genie doit poser (par exemple, « Veuillez spécifier... »)

Ajoutez des instructions de question de clarification à la fin de vos instructions générales pour aider Genie à privilégier ce comportement lors de la réponse aux questions ambiguës.

Personnaliser les résumés

Genie fournit des résumés en langage naturel en complément des résultats de query afin d'aider les utilisateurs à comprendre les données. Vous pouvez personnaliser la façon dont Genie génère ces résumés en ajoutant des instructions spécifiques aux instructions textuelles de votre agent. Les instructions de personnalisation du résumé s’appliquent à toutes les réponses de l’agent.

Pour personnaliser le comportement du résumé, ajoutez une section dédiée à la fin de vos instructions textuelles avec l'en-tête « Instructions à suivre lors de la fourniture de résumés ».

Exemple d'instructions de personnalisation du résumé :

Instructions que vous devez suivre lors de la rédaction de résumés

• Veuillez toujours répondre en français lorsque vous fournissez des résumés.
• Citez les noms de table et de colonne utilisés dans votre analyse
• Utilisez des points à puces pour structurer les résumés en plusieurs parties.
• Inclure la plage de dates couverte dans les résultats

remarque

• Seules les instructions textuelles affectent la génération du résumé. Les exemples SQL et les expressions SQL n'influencent pas la façon dont Genie crée les résumés.
• Certaines personnalisations ne sont pas disponibles, comme le contrôle de la longueur du résumé et du niveau de détail.

Tester et ajuster

Vous devriez être le premier utilisateur de votre agent. Après avoir créé un nouvel agent, start à poser des questions. Examiner attentivement le SQL généré en réponse à vos questions. Si Genie interprète mal les données, les questions ou le jargon commercial, vous pouvez intervenir en modifiant le SQL généré ou en fournissant d'autres instructions spécifiques. Continuez à tester et à modifier jusqu'à ce que vous obteniez des réponses fiables.

Après avoir examiné une question, vous pouvez l'ajouter comme question de benchmark que vous pouvez utiliser pour tester et évaluer systématiquement votre agent pour sa précision globale. Vous pouvez utiliser des variations et différentes formulations de questions pour tester les réponses de Genie. Voir Benchmarks.

Pour des idées sur la résolution des réponses erronées, veuillez consulter Dépannage des agents Genie.

Déployer et versionner votre agent avec des Declarative Automation Bundles

Utilisez les Declarative Automation Bundles pour définir, déployer et gérer la version de vos agents Genie en tant que code. Le stockage de la configuration de votre agent dans un repository de bundle vous offre des déploiements reproductibles, un historique des modifications et la possibilité de promouvoir des agents dans différents environnements (développement, staging, production). Consultez les Declarative Automation Bundles ressources.

Réaliser des tests utilisateurs

Après avoir vérifié la qualité de la réponse par des tests, recrutez un utilisateur métier pour essayer le Genie Agent. Utilisez les lignes directrices suivantes pour offrir un parcours utilisateur fluide et recueillir des commentaires en vue d'une amélioration continue :

• Définissez des attentes quant au fait que leur job est d'aider à affiner l'agent.
• Demandez-leur de concentrer leurs tests sur le sujet spécifique et les questions auxquels l'agent est conçu pour répondre.
• S'ils reçoivent une réponse incorrecte, encouragez les utilisateurs à ajouter des instructions et des clarifications supplémentaires dans le chat pour affiner la réponse. Lorsqu'une réponse correcte est fournie, il convient d'approuver la final query pour minimiser les erreurs similaires lors des interactions futures.
• Demandez aux utilisateurs de voter pour ou contre les réponses à l'aide du mécanisme de feedback intégré.
• Invitez les utilisateurs à partager des commentaires supplémentaires et des questions non résolues directement avec les auteurs de l'agent. Les auteurs et les éditeurs peuvent utiliser les commentaires pour affiner les instructions, les exemples et les assets approuvés.

Envisagez de fournir du matériel de formation ou un document écrit avec des directives pour tester l'agent et fournir des retours. Dirigez les utilisateurs professionnels vers Utiliser un Genie Agent pour explorer les données commerciales pour les aider à commencer à travailler avec un nouvel Genie Agent.

Lorsque les utilisateurs professionnels testent l'agent, les utilisateurs disposant d'au moins les autorisations CAN MANAGE peuvent voir les questions qu'ils ont posées dans l'onglet Monitoring . Continuez à ajouter du contexte pour aider Genie à interpréter correctement les questions et les données afin de fournir des réponses précises. Voir Surveiller l'agent pour en savoir plus sur le monitoring des Agents Genie. Vous pouvez également utiliser les Logs d'audit pour surveiller les retours et les demandes de révision de Genie Agent. Voir Surveiller l'utilisation des Agents Genie avec les audit Logs et les alertes.

remarque

Les utilisateurs professionnels doivent être membres du Workspace d'origine pour accéder à votre agent. Consultez Autorisations requises pour savoir comment fournir les autorisations appropriées pour interagir avec l'agent.

Pour le dépannage des problèmes courants avec les agents Genie, voir Dépanner les agents Genie.