start Genie ZeroOps

info

Bêta

Cette fonctionnalité est en version bêta. Pour l'utiliser, un administrateur de workspace doit activer Genie ZeroOps depuis la page Prévisualisations . Consultez Gérer les aperçus Databricks.

Pour commencer à utiliser Genie ZeroOps, choisissez les jobs, les pipelines et les tables qu’il surveille sur la page Jobs & Pipelines . Genie ZeroOps complète ensuite rétroactivement les insights des dernières 24 heures et continue à vous signaler les nouveaux problèmes afin que vous puissiez les examiner et les résoudre. Pour obtenir une vue d’ensemble, consultez Genie ZeroOps.

Exigences

• Un workspace Databricks avec la prévisualisation Genie ZeroOps activée. Un administrateur de workspace doit l’activer sur la page Prévisualisations . Consultez Gérer les aperçus Databricks.
• Autorisation OWNER, CAN MANAGE ou CAN VIEW sur les jobs, les pipelines ou les tables que vous souhaitez surveiller.
• Facultatif : pour les jobs qui exécutent du code à partir d'un repository Git, un identifiant Git avec accès en lecture au repository. Pour créer des demandes d'extraction à partir de correctifs, l'identifiant doit également avoir un accès en écriture. Voir Ajouter des identifiants Git.

Configurer Genie ZeroOps

1. Dans la barre latérale, cliquez sur Jobs et pipelines pour ouvrir la page Jobs et pipelines .

2. Cliquez sur le bouton Open ZeroOps .

3. Si vous n’avez pas encore configuré Genie ZeroOps, vous serez invité à le faire. Cliquez sur le bouton Configure pour ouvrir le chat Genie Code.

4. Lorsque Genie Code vous demande quelles ressources surveiller, sélectionnez un périmètre suggéré ou décrivez le vôtre en langage naturel :

prompt

Indiquez à Genie Code ce qu’il doit surveiller, par exemple :

all owned jobs

Une fois la portée définie, Genie ZeroOps analyse les assets sélectionnés, en remplissant les insights des dernières 24 heures pour les Jobs ayant déjà échoué et pour les tables obsolètes ou incomplètes. Il affiche ensuite les insights trouvés concernant les problèmes dans ce périmètre.

Vous pouvez sélectionner le bouton Configurer à tout moment pour ajuster ce que Genie ZeroOps surveille. Voir Mettre à jour la configuration de Genie ZeroOps.

Configurer les notifications

Genie ZeroOps peut envoyer une notification lorsqu’un insight apparaît pour la première fois dans votre boîte de réception. Il prend en charge Slack, Microsoft Teams, PagerDuty et les destinations de webhook génériques. Genie ZeroOps ne prend pas actuellement en charge les destinations e-mail.

Avant de configurer les notifications dans Genie ZeroOps, un administrateur du workspace doit créer les destinations dans votre workspace. Consultez Gérer les destinations de notification.

1. Dans le coin supérieur droit de la boîte de réception Genie ZeroOps, cliquez sur Configurer .

2. Demander à Genie Code de configurer les notifications. Par exemple :

prompt

Text

Send new ZeroOps insights to <destination-name>.

Si vous ne connaissez pas le nom de la destination, demandez à What notification destinations are available for ZeroOps insights?, puis choisissez une destination dans la réponse. 3. Dans la carte Votre configuration ZeroOps , cliquez sur Afficher , puis examinez Notifications pour confirmer les destinations enregistrées.

Exemple : Créer des éléments de travail Jira avec un webhook

Utilisez une destination webhook générique et un flux d'automatisation Jira Cloud pour créer un élément de travail pour chaque nouvel insight :

1. Dans Jira Cloud, créez un flux d’automatisation avec un Trigger Webhook entrant . Voir Configurer le Trigger de webhook entrant dans la documentation Atlassian.

2. Ajoutez une action Créer un élément de travail . Utilisez les valeurs intelligentes de Jira pour mapper les champs de webhook Genie ZeroOps, par exemple :

   Text

   Summary: {{webhookData.title}}
   
   Description:
   
   {{webhookData.insight_summary}}
   
   Asset type: {{webhookData.assets.first.asset_type}}
   Asset: {{webhookData.assets.first.asset_name}}
   View insight: {{webhookData.insight_link}}

3. Demandez à un administrateur de workspace de créer une destination de notification Webhook avec l'URL du webhook entrant Jira. Jira nécessite un secret pour les webhooks entrants. Comme les destinations de notification ne prennent pas en charge les en-têtes personnalisés, utilisez le format d'URL qui inclut le secret, tel que décrit dans la documentation Atlassian.

4. Dans le chat de configuration de Genie ZeroOps, sélectionnez la nouvelle destination de webhook.

5. Lorsqu’un nouvel insight apparaît dans votre boîte de réception, vérifiez si l’élément de travail correspondant se trouve dans Jira.

Examiner un insight et sa cause principale

En plus d’ouvrir la boîte de réception Genie ZeroOps depuis la page Jobs & Pipelines , vous pouvez également y accéder depuis Genie Code en pleine page, où elle apparaît dans la liste des threads sous le nom ZeroOps Inbox .

1. Dans la boîte de réception, cliquez sur un insight ouvert pour ouvrir son fil de discussion.
2. Examinez l'analyse de la cause racine et le correctif proposé.
3. Dans le même fil d'insight, demandez à Genie Code d'appliquer la correction proposée. Sinon, suivez le Link vers la source et appliquez vous-même le correctif.
4. Genie Code applique le correctif directement au code stocké dans l'espace de travail Workspace. Pour les assets stockés dans Git, il vous aide à ouvrir une pull request. Voir Créer une pull request à partir d'un correctif.
5. Pour marquer l’insight comme résolu, cliquez sur Résoudre dans la boîte de réception. Dans le cas contraire, Genie ZeroOps marque automatiquement un insight comme résolu après la prochaine exécution réussie du job. Le statut est généralement mis à jour dans les 15 minutes.

Créer une pull request à partir d’une correction

Si un job exécute du code à partir d'un repository Git et que la correction est une modification de code, vous pouvez demander à Genie ZeroOps de pousser la correction vers une branch, puis d'ouvrir une pull request. Genie ZeroOps prépare la modification lors de son investigation et affiche une option Créer une PR dans l'insight. Il ne pousse rien sur votre repository tant que vous ne lui avez pas explicitement demandé de le faire.

1. Dans la boîte de réception, cliquez sur l’insight pour ouvrir son fil.

2. Examinez la correction proposée. Pour le modifier, décrivez le changement souhaité dans le fil.

3. Cliquez sur Create PR pour envoyer le correctif vers une nouvelle branch. Pour envoyer vers une branch que vous choisissez à la place, demandez-la dans le thread :

prompt

Indiquez à Genie ZeroOps sur quelle branch pousser, par exemple :

Text

Create a PR on the fix/daily-revenue branch

4. Confirmez l'envoi lorsque vous y êtes invité. La confirmation montre la branch sur laquelle Genie ZeroOps effectue l'envoi. Genie ZeroOps effectue alors le commit du correctif sur cette branch et l'envoie.

5. Pour ouvrir une pull request, cliquez sur le link dans la réponse de Genie ZeroOps ou créez la pull request à partir de la branch si la réponse ne contient pas de link. Obtenez ensuite la revue de la pull request et faites-la Merge via votre processus habituel.

La branch que vous nommez peut être nouvelle ou existante. Vous pouvez également nommer une branch dans vos instructions personnalisées, afin que Create PR pousse sur cette branch.

Lorsque Genie ZeroOps pousse sur une branch existante, elle ajoute le correctif en tant que nouveau commit et n'effectue pas de poussée forcée, elle ne réécrit donc pas l'historique de la branch. Si une demande d'extraction est déjà ouverte à partir de la Branch, le nouveau commit apparaîtra dans celle-ci.

Mettre à jour la configuration Genie ZeroOps

Pour modifier ce que Genie ZeroOps surveille après la configuration, cliquez sur Configurer dans le coin supérieur droit de la boîte de réception. Un chat Genie Code s’ouvre, dans lequel vous décrivez les jobs, pipelines et tables que vous souhaitez inclure ou exclure.

Partager votre configuration Genie ZeroOps

Partagez votre configuration avec d'autres utilisateurs de votre Workspace afin qu'ils puissent travailler sur les insights qu'elle génère. Leur boîte de réception liste les insights de votre configuration avec Partagé avec moi dans la colonne Config source , à côté de leurs propres insights.

remarque

Les utilisateurs avec qui vous partagez peuvent voir les extraits de code, les corrections suggérées et les lignes de données d'exemple incluses dans les insights, même s'ils n'ont pas accès aux assets sous-jacents. Le partage ne leur donne pas accès aux assets eux-mêmes.

1. Dans le coin supérieur droit de la boîte de réception, cliquez sur Configure pour ouvrir le chat Genie Code.
2. Sur la carte Votre configuration ZeroOps , cliquez sur Partager .
3. Cliquez sur Sélectionner un utilisateur... , choisissez un utilisateur du workspace, puis cliquez sur Ajouter . Répétez l'opération pour chaque utilisateur avec lequel vous souhaitez partager.
4. Cliquez sur Enregistrer .

Pour arrêter de partager avec un utilisateur, ouvrez la boîte de dialogue Partager , cliquez sur l’icône de suppression en regard de l’utilisateur, puis cliquez sur Enregistrer .

Ce que les utilisateurs partagés peuvent faire

Les utilisateurs avec lesquels vous partagez votre configuration disposent de l’autorisation CAN MANAGE INSIGHTS. Ils peuvent effectuer les actions suivantes :

• Ouvrez les insights de votre configuration et examinez la cause racine ainsi que la correction proposée.
• Suivez un insight dans son propre thread, où ils peuvent poser des questions sur la cause première ou affiner le correctif proposé.
• Marquez un insight comme Non problématique . Le statut change pour tous ceux qui peuvent voir l’insight.

Les utilisateurs avec qui vous partagez ne peuvent pas modifier votre configuration, notamment ce qu'elle surveille, avec qui elle est partagée et ses paramètres de notification.

Personnaliser les instructions d'investigation

Les instructions personnalisées indiquent à Genie ZeroOps ce qu'il doit faire ou ne pas faire lorsqu'il enquête sur vos problèmes. Par exemple, vous pouvez lui demander de vérifier la fraîcheur des données en amont avant de recommander une nouvelle tentative, ou de suivre une étape spécifique lorsqu'il détecte une erreur particulière.

Vos instructions personnalisées s'appliquent uniquement aux investigations pour votre configuration Genie ZeroOps, et sont stockées dans un fichier Markdown dans votre dossier personnel :

Text

/Workspace/Users/<your-username>/.assistant/zeroops/instructions.md

L’accès à ce fichier suit les mêmes autorisations de workspace que n’importe quel autre fichier de workspace.

Modifier les instructions

Utilisation de l’interface de chat

1. Dans le coin supérieur droit de la boîte de réception, cliquez sur Configure pour ouvrir le chat Genie Code.

2. Décrivez vos consignes en langage naturel :

prompt

Indiquez à Genie Code ce que Genie ZeroOps doit faire, par exemple :

Text

When a job fails, check upstream data freshness before recommending a retry.

Genie Code ajoute vos recommandations aux instructions et les futures investigations en tiendront compte.

Modifications directes

1. Dans le chat de configuration de Genie Code, recherchez la carte Your ZeroOps configuration et cliquez sur View .
2. Sous Custom instructions , cliquez sur ce fichier .
3. Modifiez le fichier. Vous pouvez également décrire vos modifications dans le chat qui s’ouvre à côté.

Lorsque votre fichier d’instructions contient du contenu, la section Instructions personnalisées indique Configuré .

Limitations

• De nouvelles investigations concernant des problèmes dans votre configuration chargent vos instructions. L’enregistrement des instructions ne modifie pas une investigation déjà en cours.
• Genie ZeroOps lit uniquement les 20 000 premiers caractères du fichier. Gardez vos instructions concises et spécifiques, car des conseils non pertinents ou contradictoires peuvent réduire la qualité de l'investigation.
• Chaque rapport d’enquête indique s’il a utilisé vos instructions.
• Les instructions ne peuvent pas remplacer les contraintes de sécurité ou les autorisations d'outils de Genie ZeroOps. Si Genie ZeroOps n'applique pas une instruction, il en explique brièvement la raison dans le rapport d'investigation.

Filtrer les insights

1. Cliquez sur Filtrer .
2. Sélectionnez un statut, tel que Résolu .
3. Appliquez le filtre pour mettre à jour la boîte de réception.

Dépannage

• Aucun insight n’apparaît après avoir configuré Genie ZeroOps : Vérifiez que vous disposez des autorisations OWNER, CAN MANAGE ou CAN VIEW sur les jobs, pipelines ou tables que vous vous attendez à voir. Genie ZeroOps surveille uniquement les assets sur lesquels vous disposez d’une autorisation.
• Genie ZeroOps ne peut pas accéder à un repository : vos identifiants Git sont manquants, expirés ou ne permettent pas d’accéder au repository. Cliquez sur votre nom d’utilisateur, sélectionnez Paramètres > Comptes associés , puis ajoutez ou mettez à jour l’identifiant. Voir Ajouter des identifiants Git.
• Un insight n’affiche pas « Créer une PR » : vérifiez que le job exécute du code à partir d’un repository Git et que vos identifiants Git peuvent accéder au repository. Genie ZeroOps ne propose Créer une PR que lorsque la correction consiste en une modification de code.
• Genie ZeroOps ne peut pas envoyer la correction : vos identifiants Git doivent disposer d’un accès en écriture au repository. Cliquez sur votre nom d’utilisateur, sélectionnez Paramètres > Comptes associés et mettez à jour l’identifiant afin qu’il dispose d’un accès en écriture. Demandez ensuite à Genie ZeroOps d’envoyer à nouveau la correction.
• Genie ZeroOps ne peut pas envoyer de push vers la branch que vous avez nommée : vérifiez que votre fournisseur Git autorise les push vers cette branch. Les règles de protection de Branch peuvent bloquer les push directs, par exemple vers la branch default de votre repository. Comme Genie ZeroOps n’impose pas de push forcé, il ne peut pas envoyer de correction qui écraserait les commit déjà présents sur la Branch.