Genie ZeroOps

info

Aperçu

Cette fonctionnalité est en aperçu privé. Pour l'essayer, veuillez contacter votre contact Databricks.

Genie ZeroOps est un agent d'arrière-plan qui surveille vos Jobs, pipelines et tables, détecte les défaillances et les problèmes de qualité des données, identifie la cause principale et propose un correctif. Il fait partie de la famille d’expériences IA Genie dans Databricks.

Pour configurer Genie ZeroOps et travailler avec les insights qu’il génère, consultez start Genie ZeroOps.

Ce que fait Genie ZeroOps

Les équipes de données passent beaucoup de temps à trouver la source d'une défaillance ou d'un problème de qualité des données. Un Job échoue, une table devient obsolète ou une modification de schéma en amont casse une table en aval, et un ingénieur retrace le problème à travers le lignage, les graphes de pipeline et les Logs d'exécution pour comprendre ce qui s'est passé.

Genie ZeroOps effectue ce travail pour vous. Il s'exécute en arrière-plan sur les assets dont vous êtes responsable, en suivant quatre étapes pour vous aider à identifier et à corriger les problèmes :

1. Détection : identifie les jobs et pipelines en échec, les jobs qui réussissent mais produisent des tables obsolètes ou incomplètes, ainsi que les tables obsolètes ou dont les données sont manquantes.
2. Analyse de la cause profonde : pour chaque problème, identifie la cause sous-jacente, telle qu’une modification de code, une modification de schéma ou une défaillance en amont.
3. Analyse d’impact : affiche les assets en aval affectés par un problème, afin que vous puissiez hiérarchiser les problèmes les plus importants.
4. Résolution : propose une correction et Link vers la source, telle que le Notebook, où vous pouvez effectuer la modification.

Comment ça marche

Vous configurez Genie ZeroOps sur un workspace et sélectionnez ce qu'il doit surveiller, comme les jobs ou les schémas dont vous êtes propriétaire. Il peut surveiller les jobs, les pipelines et les tables pour lesquels vous disposez de l'autorisation OWNER, CAN MANAGE ou CAN VIEW. Vous pouvez modifier cette portée à tout moment.

Genie ZeroOps regroupe ses résultats en insights . Un insight décrit un problème unique et sa cause principale partagée. Si une cause racine affecte plusieurs assets, Genie ZeroOps les regroupe en un seul insight au lieu de signaler chacun d’eux séparément. Les insights apparaissent dans une boîte de réception, où vous pouvez les examiner, suivre la correction proposée et les suivre jusqu’à leur résolution.

Chaque insight contient :

• Une description de ce qui a été détecté.
• La cause principale du problème.
• Les actifs en aval affectés par le problème.
• Une correction proposée et un Link vers la source où vous pouvez effectuer la modification.

Traitement des données

Lorsque vous sélectionnez les assets que Genie ZeroOps doit surveiller, vous choisissez de laisser Databricks les traiter à l’aide d’un modèle de langage étendu sur une base continue et autonome jusqu’à ce que vous désactiviez Genie ZeroOps.

Genie ZeroOps est alimenté par Anthropic sur Databricks, qui utilise des Endpoint hébergés par Databricks au sein du périmètre de sécurité Databricks.

Autorisations et visibilité

Vous devez disposer au moins de l’autorisation CAN VIEW sur un asset pour voir les insights associés. Il s'agit des mêmes autorisations nécessaires pour configurer Genie ZeroOps, et les autres utilisateurs ne peuvent pas voir les insights pour les actifs sur lesquels ils n'ont pas d'autorisation.

Lorsque vous pouvez visualiser un insight mais pas l’asset que Genie ZeroOps identifie comme cause première, Genie ZeroOps masque les informations auxquelles vous n’avez pas accès. Au lieu de nommer l’asset en amont, il signale qu’un Job ou un pipeline en amont a échoué.

Garde-fous

Genie ZeroOps ne modifie pas les données ou le code de production sans examen humain. Il propose des correctifs et vous Link vers la source, mais vous générez le correctif vous-même, ou en sollicitant Genie Code, puis vous l'approuvez via votre workflow habituel.

Limitations

• Lorsque vous configurez Genie ZeroOps, la configuration et le monitoring des insights qui en résultent sont réservés à votre compte uniquement. Les insights ne sont pas partagés avec d’autres utilisateurs de votre workspace et ne peuvent pas être réassignés à d’autres personnes pour consultation ou suivi.
• Genie ZeroOps surveille les jobs, les pipelines et les tables. Il ne surveille pas d'autres types d'assets, tels que les modèles ou les applications.
• Genie ZeroOps détecte les échecs de jobs et de pipelines ainsi que les problèmes de qualité des données. Il ne détecte pas les régressions de performance ou de coût.
• Genie ZeroOps ne valide pas les correctifs dans un sandbox de production.
• Genie ZeroOps fonctionne au niveau du workspace, et non au niveau du compte.
• Genie ZeroOps n'est pas conforme à l'HIPAA.
• Bien que la version Private Preview de Genie ZeroOps soit gratuite, la détection des problèmes de qualité des données sur vos tables nécessite une monitoring de la qualité des données, que Databricks facture séparément aux tarifs standard.