Trouver et résoudre les problèmes grâce aux insights

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Insights est un agent en arrière-plan qui examine périodiquement la télémétrie d'un projet Lakebase et identifie les problèmes et les alertes précoces sans que vous ayez à le demander. Cette page active les Insights pour un projet, puis présente un véritable insight de bout en bout : ce qu'il a trouvé, pourquoi c'est important et comment y répondre.

Pour une alternative conversationnelle et à la demande, ou pour continuer à investiguer un insight, consultez Diagnostiquer et résoudre les problèmes avec Genie.

remarque

Il n'y a pas de frais distincts pour l'observabilité. Son coût est inclus dans les produits que vous utilisez déjà : l'exportation de la télémétrie est comptabilisée dans votre consommation d'ingestion, son stockage en tant que tables Delta dans le Lakehouse est comptabilisé dans votre stockage géré par Databricks, et l'utilisation de Genie est comptabilisée dans votre consommation de Genie.

Prérequis

• Un projet de dimensionnement automatique Lakebase sur AWS ou Azure, avec un compute en cours d'exécution.
• Un catalogue Unity Catalog et un schéma pour recevoir la télémétrie (pas le **Default storage**).

Activez les insight et lisez votre première découverte

Activer les insights pour un projet

Les insights s'exécutent par projet, contrôlés par une configuration d'observabilité. Si vous n'en avez pas encore, créez-en un et attribuez-le d'abord.

Dans l'assistant de configuration, assurez-vous que Enable insights est activé. Sans cela, une configuration peut écrire la télémétrie dans Unity Catalog sans rien faire remonter de manière proactive. Vous pouvez également définir une Fréquence d'analyse pour déterminer la fréquence à laquelle Insights évalue votre télémétrie.

Trouver un insight

Les Insights s'exécutent selon un calendrier récurrent, et non en continu. Attendez-vous donc à un délai entre la survenue d'un problème réel et l'apparition d'un insight le concernant. Donnez-lui un peu de temps après avoir activé l'agent, surtout juste après l'avoir activé sur un nouveau projet.

Les insights apparaissent à deux endroits :

• La liste à l'échelle du Workspace : dans la navigation gauche, cliquez sur Insights . Il agrège les insights sur chaque projet auquel la configuration s'applique. Utilisez Recherche ou Filtrer par pour le restreindre, par exemple par projet ou par gravité.
• Une vue de projet unique : ouvrez le projet, accédez à Monitoring, et sélectionnez le tab insight. Il n'affiche que les insights de ce projet.

Chaque ligne indique un Niveau de gravité (par exemple Mineur ou Modéré), le titre de l' insight , le Projet dont il est issu, la Période couverte par le problème, et un Statut que vous définissez (par exemple Ouvert).

Contrairement à la télémétrie brute, qui arrive sous forme de tables Delta dans Unity Catalog, les résultats générés par Insights sont enregistrés sous forme de fichiers dans un dossier de Workspace, dans le Databricks Workspace de l'identité avec laquelle votre configuration écrit.

Lire un insight

Cliquez sur un insight pour ouvrir sa page de détails. Chaque insight suit la même structure, qui se lit de haut en bas comme un diagnostic, pas seulement une notification :

• Résumé : ce qui se passe, en termes simples.
• Evidence : les signaux et valeurs spécifiques qui étayent le diagnostic, dans une table.
• Recommandations : prochaines étapes concrètes, avec le raisonnement derrière chacune d'elles.

Ce que les Insights trouvent, et la façon dont ils formulent le diagnostic, dépend entièrement de votre propre télémétrie, donc l'insight que vous voyez ne correspond pas à celui ci-dessous. Voici un véritable insight, inclus pour montrer le niveau de détail auquel vous pouvez vous attendre.

Dans cet exemple, « Idle session locked out 4 updates », le sous-titre vous indique déjà où regarder : « Idle session held locks; UPDATE waits totalled 749 s. » Le résumé explique ce qui s'est passé : une session a ouvert une transaction, est restée inactive tout en conservant un verrou de ligne, et est restée dans cet état pendant environ 9,5 minutes jusqu'à ce que le délai d'expiration idle-in-transaction de la base de données la ferme de force. La table Evidence confirme cela avec les chiffres spécifiques, y compris l'entrée de log de terminaison et un total de 749 secondes de temps d'attente UPDATE réparties sur 4 appels, soit une moyenne de 187 secondes par mise à jour pour des opérations qui se termineraient normalement en quelques millisecondes.

Recommandations :

1. Réglez idle_in_transaction_session_timeout à une valeur sûre , telle que de 30 à 60 secondes, afin qu'une session inactive libère rapidement ses verrous au lieu de bloquer d'autres queries pendant des minutes.
2. Auditez les transactions non clôturées et utilisez un pool de connexions avec des délais d'expiration courts , afin qu'un client qui ouvre une transaction et reste inactif ne puisse pas maintenir un verrou indéfiniment.

Notez ce que les preuves quantifient : non seulement que les « requêtes étaient lentes », mais exactement quelle session l'a causée, combien de temps elle a maintenu le verrou et quel temps d'attente cela a coûté aux autres requêtes. La gravité est déduite des données disponibles, lisez donc les Preuves pour confirmer la cause première avant d'agir uniquement en fonction de la gravité.

Répondre à un insight

Après avoir consulté un insight, vous avez trois façons de boucler la boucle :

• **Appliquez vous-même la recommandation**, en vous aidant des preuves et des recommandations.
• Cliquez sur **Corriger avec Genie** sur la page de détails de l'insight pour le confier à l'agent interactif et continuer à enquêter de manière conversationnelle. Cela est utile lorsque la recommandation nécessite plus de contexte avant que vous n'agissiez, ou lorsque la correction implique une modification côté base de données. Consultez Diagnostiquer et résoudre les problèmes avec Genie.
• Mettez à jour le statut (par exemple, pour ignorer ou marquer comme résolu) après y avoir remédié ou avoir déterminé qu'aucune action n'est nécessaire.

Une constatation peut disparaître d'elle-même

Puisqu'Insights se réévalue selon son propre calendrier, une observation peut disparaître de la liste même si vous ne modifiez jamais son statut : un événement transitoire tel qu'un chargement en masse unique pourrait ne pas se reproduire dans une fenêtre ultérieure, ou le compute qui le sous-tend pourrait monter en charge à zéro et reprendre à neuf une fois la session problématique terminée. Le fait qu'une observation quitte la liste active ne signifie pas qu'elle a été rejetée ou que quelque chose s'est mal passé. Cela indique que la condition n'est plus présente dans la dernière fenêtre d'évaluation.

remarque

L'affichage des insights nécessite un accès au Workspace dans le workspace, indépendamment de toute autorisation nécessaire pour créer la configuration. Un utilisateur sans accès au Workspace ne peut pas ouvrir les insights même s'il peut voir le projet.

Étapes suivantes

• Diagnostiquer et résoudre les problèmes avec Genie : poursuivez une investigation de manière conversationnelle ou start une nouvelle à partir de zéro.
• Référence de la table de télémétrie : les tables lues par Insights et les limitations actuelles.
• Observer les projets Lakebase : consultez le reste des outils d'observabilité. Voir Observabilité.