Genie ZeroOps

info

Bêta

Cette fonctionnalité est en bêta. Pour l’utiliser, un administrateur de workspace doit activer Genie ZeroOps à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Genie ZeroOps est un agent d’arrière-plan qui surveille vos jobs, pipelines et tables, détecte les échecs et les problèmes de qualité des données, identifie la cause principale et propose une solution. Il fait partie de la famille d’expériences d’IA Genie dans Databricks. Contrairement à Genie Code, qui répond lorsque vous lui envoyez une invite, Genie ZeroOps s’exécute en continu sans invite et vous signale les problèmes sur lesquels vous pouvez agir.

Pour configurer Genie ZeroOps et travailler avec les insights qu’il génère, consultez start Genie ZeroOps.

Ce que fait Genie ZeroOps

Les équipes de données passent beaucoup de temps à trouver la source d'une défaillance ou d'un problème de qualité des données. Un Job échoue, une table devient obsolète ou une modification de schéma en amont casse une table en aval, et un ingénieur retrace le problème à travers le lignage, les graphes de pipeline et les Logs d'exécution pour comprendre ce qui s'est passé.

Genie ZeroOps fait ce travail pour vous. Il s’exécute en arrière-plan sur les assets dont vous êtes responsable, en suivant trois étapes pour vous aider à trouver et à résoudre les problèmes :

1. Détection : identifie les jobs et pipelines en échec, les jobs qui réussissent mais produisent des tables obsolètes ou incomplètes, ainsi que les tables obsolètes ou dont les données sont manquantes.
2. Analyse de la cause profonde : pour chaque problème, identifie la cause sous-jacente, telle qu’une modification de code, une modification de schéma ou une défaillance en amont.
3. Résolution : propose un correctif et vous renvoie à la source, comme le notebook, où vous effectuez la modification. Pour un job qui exécute du code à partir d’un repository Git, Genie ZeroOps peut également pusher le correctif lorsque vous le demandez, vers une nouvelle branch ou vers une branch que vous nommez, afin que vous puissiez ouvrir une pull request.

Comment Genie ZeroOps surveille les assets et signale les insights

Vous configurez Genie ZeroOps sur un workspace et vous sélectionnez ce qu’il surveille, comme les jobs ou les schemas que vous possédez. Il peut surveiller les jobs, les pipelines et les tables sur lesquels vous avez l’autorisation OWNER, CAN MANAGE ou CAN VIEW. Vous pouvez modifier cette portée à tout moment.

Genie ZeroOps affiche les résultats sous forme de insights . Les insights apparaissent dans une boîte de réception, où vous pouvez les examiner, suivre la correction proposée et marquer les insights comme résolus. Vous pouvez également configurer des notifications pour les nouveaux insights.

Chaque insight contient :

• Une description de ce qui a été détecté.
• La cause principale du problème.
• Une correction proposée et un Link vers la source où vous pouvez effectuer la modification.

Notifications

Genie ZeroOps peut vous avertir lorsqu’un insight apparaît pour la première fois dans votre boîte de réception. Il prend en charge plusieurs types de destination, tels que Slack et PagerDuty. Voir Configurer les notifications.

remarque

Les notifications envoient des informations vers des systèmes en dehors de Databricks et contiennent du texte généré par l’IA avec les détails de l’insight. Les copies stockées dans des systèmes externes sont hors du contrôle de rétention et de suppression de Databricks.

Intégration Git

Un job peut exécuter du code à partir d’un repository Git via une source Git ou un bundle déployé à partir de Git. Lorsqu’un tel job échoue, Genie ZeroOps lit le repository pour trouver la cause première. Lorsque le correctif est une modification de code, Genie ZeroOps prépare la modification. Lorsque vous le demandez, il envoie la modification vers une nouvelle branch, ou vers une branch que vous nommez, afin que vous puissiez ouvrir une pull request. Voir Créer une pull request à partir d’un correctif.

Genie ZeroOps lit le repository avec vos informations d’identification Git. Pour ajouter un identifiant Git, consultez Ajouter des identifiants Git.

Traitement des données

Lorsque vous sélectionnez les assets que Genie ZeroOps doit surveiller, vous choisissez de laisser Databricks les traiter à l’aide d’un modèle de langage étendu sur une base continue et autonome jusqu’à ce que vous désactiviez Genie ZeroOps. Pour un job qui exécute du code à partir d’un repository Git, les données que Genie ZeroOps traite incluent le contenu du repository. Au cours des investigations, Genie ZeroOps peut également query les tables auxquelles vous avez l’autorisation d’accéder.

Genie ZeroOps est alimenté par les modèles Anthropic et OpenAI sur Databricks, en utilisant des Endpoint hébergés par Databricks dans le périmètre de sécurité de Databricks.

Avant qu'une notification n'inclue le titre ou le résumé d'un insight, Genie ZeroOps vérifie ce texte pour y détecter des informations sensibles, telles que des noms et des adresses e-mail, et masque ce qu'il trouve. Cette vérification suit le paramètre de traitement inter-régional du workspace. Si un administrateur de workspace désactive Appliquer le traitement des données dans la région géographique du workspace pour les services désignés , la vérification peut s’exécuter aux États-Unis.

Autorisations et visibilité

Genie ZeroOps produit des insights uniquement pour les assets auxquels l’utilisateur qui configure a accès. Par default, ces insights sont visibles uniquement par l’utilisateur qui configure Genie ZeroOps.

Vous pouvez partager votre configuration de Genie ZeroOps avec d’autres utilisateurs de votre workspace afin qu’ils puissent travailler sur ses insights. Les utilisateurs avec lesquels vous partagez le contenu voient les extraits de code, les corrections suggérées et les lignes de données d’exemple incluses dans ces insight, même s’ils n’ont pas accès aux assets sous-jacents. Voir Partager votre configuration Genie ZeroOps.

Garde-fous

Genie ZeroOps ne modifie pas les données ou le code de production sans votre approbation. Il propose des correctifs et vous renvoie à la source, et vous appliquez vous-même le correctif, demandez à Genie Code ou, pour les jobs qui exécutent du code à partir d’un repository Git, demandez à Genie ZeroOps de le pusher.

Pour un job qui exécute du code à partir d’un repository Git, Genie ZeroOps n’écrit pas en arrière-plan dans votre repository. Il pousse une correction uniquement après que vous l’avez explicitement demandé et confirmé le push. Genie ZeroOps commit ensuite la correction et la pousse sur une nouvelle branch, ou sur la branch que vous nommez. Le push ajoute un nouveau commit plutôt que de pousser de force, donc cela ne réécrit pas l’historique d’une branch existante. Genie ZeroOps vous donne un link pour ouvrir une pull request dans votre fournisseur Git, de sorte que le changement puisse passer par votre processus de revue habituel.

attention

Si vous nommez la Branch default de votre repository, Genie ZeroOps commit la correction directement sur cette Branch, et le changement saute la revue de pull request. Pour exiger une revue, configurez des règles de protection de branch dans votre fournisseur Git qui bloquent les pushs directs vers la branch default.

Limitations

• Lorsque vous configurez Genie ZeroOps, la configuration résultante appartient à votre compte. Vous pouvez le partager avec jusqu’à 25 utilisateurs individuels du workspace afin qu’ils puissent travailler sur ses insights. Vous ne pouvez pas le partager avec des groupes ou des Service Principal. Voir Partager votre configuration Genie ZeroOps.
• Genie ZeroOps surveille les jobs, les pipelines et les tables. Il ne surveille pas d'autres types d'assets, tels que les modèles ou les applications.
• Genie ZeroOps détecte les échecs de jobs et de pipelines ainsi que les problèmes de qualité des données. Il ne détecte pas les régressions de performance ou de coût.
• Genie ZeroOps fonctionne au niveau du workspace, et non au niveau du compte.
• Genie ZeroOps n'est pas conforme à l'HIPAA.
• La détection des problèmes de qualité des données sur vos tables nécessite un monitoring de la qualité des données facturé séparément.