Dépannage assisté par l'IA

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Le diagnostic d'une query lente, d'un échec de modification de schéma ou d'un problème de capacité signifie généralement savoir quelle vue système Postgres vérifier et à quoi ressemble une valeur normale par rapport à un problème. Le dépannage assisté par l'IA intègre plutôt ces connaissances dans Genie : Lakebase vous indique quand quelque chose ne va pas et vous aide à le corriger, sans exiger que vous soyez un expert Postgres. Il applique la même idée que Genie ZeroOps pour les jobs et les pipelines, mais pour votre base de données Postgres.

Insights et Genie diffèrent quant au moment où ils start et à ce qu’ils vous fournissent :

	Insights	Genie
Comment ça démarre	Automatique. S'exécute en arrière-plan selon un calendrier.	Vous demandez. Ouvrez Genie et décrivez un problème.
À quoi sert-il ?	Détecter les problèmes et les alertes précoces, avant ou au moment où ils vous affectent.	Enquêter sur un problème spécifique, avec vos propres mots, dès maintenant.
Ce que cela vous apporte	Une gravité, un résumé en langage clair, des preuves à l'appui et des recommandations.	Une enquête conversationnelle où vous approuvez chaque étape, se terminant par une solution proposée que vous confirmez avant qu’elle ne soit appliquée.
Exemple	Un insight intitulé « Session inactive bloquée 4 mises à jour », faisant référence à une session qui a maintenu un verrou pendant qu'elle était inactive, bloquant d'autres queries pendant des minutes.	Vous demandez « pourquoi le taux d'erreur a-t-il augmenté ? » et Genie le retrace jusqu'à une colonne qu'une modification récente du schéma a supprimée.

	Insights	Genie
Comment ça démarre	Automatique. S'exécute en arrière-plan selon un calendrier.	Vous demandez. Ouvrez Genie et décrivez un problème.
À quoi sert-il ?	Détecter les problèmes et les alertes précoces, avant ou au moment où ils vous affectent.	Enquêter sur un problème spécifique, avec vos propres mots, dès maintenant.
Ce que cela vous apporte	Une gravité, un résumé en langage clair, des preuves à l'appui et des recommandations.	Une enquête conversationnelle où vous approuvez chaque étape, se terminant par une solution proposée que vous confirmez avant qu’elle ne soit appliquée.
Exemple	Un insight intitulé « Session inactive bloquée 4 mises à jour », faisant référence à une session qui a maintenu un verrou pendant qu'elle était inactive, bloquant d'autres queries pendant des minutes.	Vous demandez « pourquoi le taux d'erreur a-t-il augmenté ? » et Genie le retrace jusqu'à une colonne qu'une modification récente du schéma a supprimée.

Les deux lisent la même télémétrie sous-jacente, et vous pouvez basculer entre eux. Par exemple, cliquez sur Corriger avec Genie sur un insight pour continuer à enquêter de manière conversationnelle.

Comment cela fonctionne

Lakebase exécute un exportateur géré pour votre projet qui capture les diagnostics Postgres et les exporte vers des tables Delta dans le catalogue et le schéma Unity Catalog que vous choisissez. Genie interroge également directement votre compute pour l’état Postgres en temps réel lorsque vous lui demandez d’enquêter sur quelque chose.

Lakebase capture les signaux qu'un DBA expérimenté rechercherait, et les dépose dans quelques tables que vous pouvez query directement une fois exportées :

Ce qui est capturé	Où il atterrit
Sessions actives et événements d'attente.	active_session_history, wait_event_counters
Plans de query et statistiques d'exécution par query	plan_history, pg_stat_statements_counters
Modifications de schéma : ce qui a changé, quand et par qui	ddl_history
Statistiques de base de données : taille, lignes lues et modifiées, et nombre de sessions	database_counters, database_gauges
Utilisation des ressources Compute : CPU, mémoire, cache, connexions	compute_counters, compute_gauges
Messages de log Postgres bruts, y compris l'erreur à l'origine d'une défaillance	postgres_logs

Ce qui est capturé	Où il atterrit
Sessions actives et événements d'attente.	active_session_history, wait_event_counters
Plans de query et statistiques d'exécution par query	plan_history, pg_stat_statements_counters
Modifications de schéma : ce qui a changé, quand et par qui	ddl_history
Statistiques de base de données : taille, lignes lues et modifiées, et nombre de sessions	database_counters, database_gauges
Utilisation des ressources Compute : CPU, mémoire, cache, connexions	compute_counters, compute_gauges
Messages de log Postgres bruts, y compris l'erreur à l'origine d'une défaillance	postgres_logs

Insights et Genie lisent ces données pour fonder leurs réponses sur ce qui s’est réellement passé dans votre base de données. Pour chaque colonne de chacune de ces tables, consultez la référence de la table de télémétrie.

Puisque cette télémétrie se dépose sous forme de tables Delta dans votre propre Unity Catalog, vous pouvez la conserver, l'interroger et l'exploiter avec n'importe quel outil Databricks, plutôt que d'être enfermée dans un produit d'observabilité distinct.

Là où résident vos données

Vos données de télémétrie brutes résident dans Unity Catalog, et les insights générées à partir de celles-ci résident dans un dossier Workspace. L'interface utilisateur de Lakebase offre une vue d'ensemble des deux.

Où	Ce qui s'y trouve	Comment l'atteindre.
Votre compute Postgres	D'où provient la télémétrie. Genie peut le query directement pour l'état en direct.	Rien à ouvrir. C'est en direct, interrogé sur place
Unity Catalog	Télémétrie brute, comme les tables Delta ci-dessus, dans le catalogue et le schéma que vous avez choisis	Catalog Explorer, ou tout autre outil Databricks SQL
Un dossier Workspace	Les découvertes générées par Insights, enregistrées en tant que fichiers, et non dans Unity Catalog	Dans le Databricks Workspace de l'identité pour laquelle votre configuration écrit. Voir comment trouver et résoudre les problèmes avec les insight.
L'interface utilisateur de Lakebase	Où vous travaillez au quotidien	Insights : la liste à l'échelle du workspace au niveau supérieur de Lakebase (tous les projets), ou l'onglet Monitoring > Insights d'un seul projet. Genie : ouvert à partir d'un projet individuel.

Où	Ce qui s'y trouve	Comment l'atteindre.
Votre compute Postgres	D'où provient la télémétrie. Genie peut le query directement pour l'état en direct.	Rien à ouvrir. C'est en direct, interrogé sur place
Unity Catalog	Télémétrie brute, comme les tables Delta ci-dessus, dans le catalogue et le schéma que vous avez choisis	Catalog Explorer, ou tout autre outil Databricks SQL
Un dossier Workspace	Les découvertes générées par Insights, enregistrées en tant que fichiers, et non dans Unity Catalog	Dans le Databricks Workspace de l'identité pour laquelle votre configuration écrit. Voir comment trouver et résoudre les problèmes avec les insight.
L'interface utilisateur de Lakebase	Où vous travaillez au quotidien	Insights : la liste à l'échelle du workspace au niveau supérieur de Lakebase (tous les projets), ou l'onglet Monitoring > Insights d'un seul projet. Genie : ouvert à partir d'un projet individuel.

Prérequis

• Un projet de dimensionnement automatique Lakebase. Consultez Obtenir une base de données Postgres.
• Un catalogue et un schéma Unity Catalog pour recevoir la télémétrie. Ne sélectionnez pas un catalogue ou un schéma qui utilise le stockage default , ce qui n'est pas pris en charge comme destination d'exportation.
• Un compute en cours d'exécution. Un compute suspendu par la mise à l'échelle à zéro n'émet pas de télémétrie tant qu'une query ne le réveille pas.
• Une décision concernant l'**identité qui exécute l'exportation de télémétrie**. Lakebase écrit la télémétrie dans Unity Catalog en tant que cette identité, de sorte qu'il détermine vers quels catalogues et schémas de destination l'exportation peut écrire et où le dossier Workspace des résultats Insights est enregistré. Choisissez-le au préalable. Un service principal partagé est le choix le plus durable ; vos propres identifiants d'utilisateur sont plus rapides pour les tests. Consultez Capturer la télémétrie dans le Lakehouse.

remarque

Les fonctionnalités qui composent ce workflow — l'exportation de télémétrie vers Unity Catalog, les Insights et le dépannage Genie — sont disponibles sur AWS et Azure.

Configurer l'observabilité

Insights et Genie dépendent tous deux d'une configuration d'observabilité qui envoie la télémétrie de votre projet à Unity Catalog. Créez-en un avant d'utiliser l'un ou l'autre. Une seule configuration peut être partagée entre plusieurs projets, et c'est également ce qui active Insights.

Voir la capture de télémétrie vers le Lakehouse.

Limitations

attention

Si vous créez des rôles pour connecter des applications, utilisez des mots de passe authentifiés SCRAM plutôt que des mots de passe bruts. Cela réduit le risque que les identifiants se retrouvent dans les logs.

Pendant la bêta, les limitations suivantes s'appliquent :

• Disponible sur AWS et Azure.

• COPY les Opérations ne sont actuellement pas capturées dans l'historique des plans de query.

• Une requête exécutée au sein d'une fonction ou d'une procédure PL/pgSQL n'est pas capturée dans la télémétrie au niveau des requêtes, sauf si elle s'exécute également en tant qu'instruction de niveau supérieur. Le suivi des instructions propre à Postgres ne compte que les instructions de niveau supérieur default.

• Les Branch et les Endpoint apparaissent dans la télémétrie et les insights exportés par ID interne (par exemple, br-odd-mud-y2icrn1h), et non par un nom d'affichage comme « production. » Référencez l'ID dans l'interface utilisateur de Lakebase si vous devez confirmer à quelle Branch ou à quel Endpoint un insight ou une ligne de tableau fait référence.

• Les GUC qui activent la capture de télémétrie pourraient ne pas se propager automatiquement à un compute existant. Si la télémétrie n'apparaît pas après avoir configuré l'observabilité, connectez-vous au projet et vérifiez :

  SQL

  SHOW neon_monitor.log_capture_enabled;
  SHOW databricks.o11y_exporter_enabled;

  Les deux doivent renvoyer on. Si l'un ou l'autre renvoie off, redémarrez l'endpoint de compute.

Étapes suivantes

• Capturer la télémétrie vers le Lakehouse — envoyez la télémétrie à Unity Catalog et activez les insight.

• Trouvez et résolvez les problèmes grâce aux Insights — activez le monitoring proactif et apprenez à interpréter ses résultats.

• Diagnostiquer et résoudre les problèmes avec Genie — examiner un problème de manière conversationnelle et suivre un rétablissement de bout en bout.

• Observer les projets Lakebase : suivez les performances, l'utilisation des Ressources et l'analyse des query avec le reste des outils d'observabilité. Voir Observabilité.

• Exporter vers un backend externe : envoyez les métriques et les logs à Datadog, Grafana ou un autre backend compatible OTLP. Voir l'exportation OpenTelemetry.