Genie ZeroOps

info

Aperçu

Cette fonctionnalité est en aperçu privé. Pour l'essayer, veuillez contacter votre contact Databricks.

Genie ZeroOps est un agent d’arrière-plan qui surveille vos jobs, pipelines et tables, détecte les échecs et les problèmes de qualité des données, identifie la cause principale et propose une solution. Il fait partie de la famille d’expériences d’IA Genie dans Databricks. Contrairement à Genie Code, qui répond lorsque vous lui envoyez une invite, Genie ZeroOps s’exécute en continu sans invite et vous signale les problèmes sur lesquels vous pouvez agir.

Pour configurer Genie ZeroOps et travailler avec les insights qu’il génère, consultez start Genie ZeroOps.

Ce que fait Genie ZeroOps

Les équipes de données passent beaucoup de temps à trouver la source d'une défaillance ou d'un problème de qualité des données. Un Job échoue, une table devient obsolète ou une modification de schéma en amont casse une table en aval, et un ingénieur retrace le problème à travers le lignage, les graphes de pipeline et les Logs d'exécution pour comprendre ce qui s'est passé.

Genie ZeroOps fait ce travail pour vous. Il s’exécute en arrière-plan sur les assets dont vous êtes responsable, en suivant trois étapes pour vous aider à trouver et à résoudre les problèmes :

1. Détection : identifie les jobs et pipelines en échec, les jobs qui réussissent mais produisent des tables obsolètes ou incomplètes, ainsi que les tables obsolètes ou dont les données sont manquantes.
2. Analyse de la cause profonde : pour chaque problème, identifie la cause sous-jacente, telle qu’une modification de code, une modification de schéma ou une défaillance en amont.
3. Résolution : propose une correction et vous donne un link vers la source, comme le notebook, pour que vous puissiez effectuer le changement. Pour un job qui exécute du code à partir d’un repository Git, Genie ZeroOps peut aussi envoyer le correctif vers une nouvelle branch quand vous le demandez, pour que vous puissiez ouvrir une pull request.

Comment Genie ZeroOps surveille les assets et signale les insights

Vous configurez Genie ZeroOps sur un workspace et vous sélectionnez ce qu’il surveille, comme les jobs ou les schemas que vous possédez. Il peut surveiller les jobs, les pipelines et les tables sur lesquels vous avez l’autorisation OWNER, CAN MANAGE ou CAN VIEW. Vous pouvez modifier cette portée à tout moment.

Genie ZeroOps affiche les résultats sous forme de insights . Les insights apparaissent dans une boîte de réception, où vous pouvez les examiner, suivre la correction proposée et marquer les insights comme résolus. Vous pouvez également configurer des notifications pour les nouveaux insights.

Chaque insight contient :

• Une description de ce qui a été détecté.
• La cause principale du problème.
• Une correction proposée et un Link vers la source où vous pouvez effectuer la modification.

Intégration Git

Un job peut exécuter du code à partir d’un repository Git via une source Git ou un bundle déployé à partir de Git. Lorsqu'un tel job échoue, Genie ZeroOps lit le repository pour trouver la cause première. Lorsque le correctif est une modification de code, Genie ZeroOps prépare la modification. Quand vous posez la question, il envoie la modification vers une nouvelle Branch pour que vous puissiez ouvrir une pull request. Voir Créer une requête d'extraction à partir d'un correctif.

Genie ZeroOps lit le repository avec vos informations d’identification Git. Pour ajouter un identifiant Git, consultez Ajouter des identifiants Git.

Traitement des données

Lorsque vous sélectionnez les assets que Genie ZeroOps doit surveiller, vous choisissez de laisser Databricks les traiter à l’aide d’un modèle de langage étendu sur une base continue et autonome jusqu’à ce que vous désactiviez Genie ZeroOps. Pour un job qui exécute du code à partir d’un repository Git, les données que Genie ZeroOps traite incluent le contenu du repository. Au cours des investigations, Genie ZeroOps peut également query les tables auxquelles vous avez l’autorisation d’accéder.

Genie ZeroOps est alimenté par les modèles Anthropic et OpenAI sur Databricks, en utilisant des Endpoint hébergés par Databricks dans le périmètre de sécurité de Databricks.

Autorisations et visibilité

Genie ZeroOps produit des insights uniquement pour les assets auxquels l’utilisateur qui configure a accès. Par default, ces insights sont visibles uniquement par l’utilisateur qui configure Genie ZeroOps.

Vous pouvez partager votre configuration de Genie ZeroOps avec d’autres utilisateurs de votre workspace afin qu’ils puissent travailler sur ses insights. Les utilisateurs avec lesquels vous partagez le contenu voient les extraits de code, les corrections suggérées et les lignes de données d’exemple incluses dans ces insight, même s’ils n’ont pas accès aux assets sous-jacents. Voir Partager votre configuration Genie ZeroOps.

Garde-fous

Genie ZeroOps ne modifie pas les données de production ou le code sans intervention humaine. Il propose des corrections et vous renvoie à la source. Vous appliquez vous-même la correction, vous invitez Genie Code à le faire ou, pour les jobs qui exécutent du code à partir d’un repository Git, vous demandez à Genie ZeroOps de l’envoyer.

Pour un job qui exécute du code provenant d’un repository Git, Genie ZeroOps n’écrit pas dans votre repository en arrière-plan. Il envoie un correctif uniquement après que vous l’avez explicitement demandé et confirmé l’envoi. Genie ZeroOps commit alors le correctif et l’envoie vers une nouvelle branche. Il vous donne un Link pour ouvrir une demande d’extraction dans votre fournisseur Git, et la modification suit votre processus de revue habituel.

Limitations

• Lorsque vous configurez Genie ZeroOps, la configuration résultante appartient à votre compte. Vous pouvez le partager avec jusqu’à 25 utilisateurs individuels du workspace afin qu’ils puissent travailler sur ses insights. Vous ne pouvez pas le partager avec des groupes ou des Service Principal. Voir Partager votre configuration Genie ZeroOps.
• Genie ZeroOps surveille les jobs, les pipelines et les tables. Il ne surveille pas d'autres types d'assets, tels que les modèles ou les applications.
• Genie ZeroOps détecte les échecs de jobs et de pipelines ainsi que les problèmes de qualité des données. Il ne détecte pas les régressions de performance ou de coût.
• Genie ZeroOps fonctionne au niveau du workspace, et non au niveau du compte.
• Genie ZeroOps n'est pas conforme à l'HIPAA.
• Bien que la version Private Preview de Genie ZeroOps soit gratuite, la détection des problèmes de qualité des données sur vos tables nécessite une monitoring de la qualité des données, que Databricks facture séparément aux tarifs standard.