Aller au contenu principal
Dernière mise à jour le

Capturer la télémétrie vers le Lakehouse

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

À la fois les Insights et Genie dépendent d'une configuration d'observabilité : un objet qui se situe au-dessus des projets individuels. C'est délibéré : lier une configuration à plusieurs projets vous permet de réutiliser une configuration unique et permet aux Insights d'afficher les résultats pour l'ensemble de ces projets dans une liste à l'échelle du Workspace, au lieu que chaque propriétaire de projet configure la sienne à partir de zéro.

Pour savoir ce que font les insights et Genie avec la télémétrie après son flux, consultez Dépannage assisté par l'IA.

Prérequis​

  • Un projet d'autoscaling Lakebase sur AWS ou Azure. Consultez Obtenir une base de données Postgres.
  • Un catalogue et un schéma Unity Catalog pour recevoir la télémétrie. Le schéma doit déjà exister, et le catalogue ne peut pas utiliser le stockage Default .
  • Une décision concernant l' identité qui exécute l'exportation de télémétrie . Lakebase écrit les données de télémétrie dans Unity Catalog sous cette identité, elle détermine donc les catalogues et schémas de destination dans lesquels l'exportation peut écrire et où le dossier Workspace des découvertes d'Insights est enregistré. Décidez-le avant de start : un Service Principal partagé est le choix le plus durable pour une configuration que vous réutiliserez ou marquerez comme par default, tandis que vos propres identifiants d'utilisateur sont plus rapides pour les tests. Vous le définissez à l'étape 1, et si vous utilisez un Service Principal, il a besoin des autorisations dans Accorder l'accès au Service Principal.

Accorder l'accès au service principal​

Si vous choisissez Utiliser le service principal comme identité à l'Étape 1, accordez au principal les autorisations ci-dessous avant de vous fier à la configuration. Elles sont indépendantes, et chacune est accordée à un endroit différent. La configuration enregistre si elles sont en place ou non, et si l'une d'entre elles est manquante, la télémétrie n'arrive jamais silencieusement et aucun insight n'est généré, sans aucune erreur pour vous indiquer la cause. Si une configuration que vous avez configurée ne produit pas de télémétrie, vérifiez chacune d'elles ici en premier.

Accordez l'accès CAN USE et Workspace dans **Paramètres > Identité et accès > Service Principals**, puis sélectionnez le principal.

Accès au Workspace​

Sur la Configurations tab du Service Principal, sous Droits , sélectionnez Accès au Workspace . Cela permet au Service Principal d'agir dans le Workspace. Sans cela, Lakebase écrit les données de télémétrie en tant qu'identité qui ne peut rien faire, donc chaque table de télémétrie reste vide même lorsque tout le reste est configuré correctement.

Administrateur Workspace​

Ajouter le Service Principal au groupe administrateurs . Dans Paramètres > Identité et accès > Groupes , ouvrez le groupe administrateurs et ajoutez le principal en tant que membre. L'agent d'arrière-plan nécessite actuellement un accès administrateur pour écrire la télémétrie et générer des insights. Sans cela, le pipeline s'exécute mais ne produit rien.

remarque

L'accès administrateur est une contrainte actuelle de la version bêta et pourra être assouplie dans une version ultérieure. Accordez-le pour le moment afin que la télémétrie et les insights fonctionnent.

PEUT UTILISER sur le Service Principal​

Sous l'onglet Permissions du principal, accordez CAN USE . C'est ce qui vous permet de sélectionner le principal dans l'assistant de configuration. La création ou la gestion d'un Service Principal accorde CAN MANAGE, ce qui n'inclut pas CAN USE, vous devez donc l'accorder explicitement. Consultez les rôles de gestion des Service Principals.

Privilèges Unity Catalog sur la destination​

Accordez au Service Principal les privilèges dont il a besoin pour créer et écrire les tables de télémétrie dans le catalogue et le schéma de destination :

  • USE CATALOG sur le catalogue
  • USE SCHEMA sur le schéma
  • CREATE TABLE sur le schéma

Vous pouvez les accorder dans l'Explorateur de catalogues ou avec SQL :

SQL
GRANT USE CATALOG ON CATALOG <catalog> TO `<service-principal-id>`;
GRANT USE SCHEMA ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;
GRANT CREATE TABLE ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;

Créer la configuration​

Ouvrez l'assistant à partir de deux emplacements :

  • De Lakebase > Insights > Gérer les configurations > Ajouter une nouvelle configuration
  • Depuis les Paramètres de votre projet > Configuration d'observabilité > Créer une nouvelle configuration

Les deux ouvrent le même assistant. Suivez ses trois étapes dans l'ordre, en cliquant sur **Suivant** entre chacune d'elles.

Étape 1 : Configurer​

Nommez la configuration et sélectionnez où ses données de télémétrie sont stockées. Deux choix méritent que l'on s'y attarde :

  • Définir comme configuration default pour les nouveaux projets attribue automatiquement cette configuration à chaque nouveau projet créé dans le Workspace, sans aucune action de la part du créateur du projet. Activez-la uniquement si vous souhaitez un default à l'échelle du Workspace. Sinon, désactivez-la et attribuez la configuration à des projets spécifiques à l'étape 3.
  • **Identité** (sous **Autoriser Lakebase à écrire vos données**) est le compte sous lequel Lakebase écrit la télémétrie. **Utiliser le Service Principal** est le choix durable : cela ne dépend pas du compte d'une seule personne, donc c'est approprié pour une configuration que vous partagerez entre plusieurs projets ou que vous marquerez comme default. **Utiliser les identifiants de niveau utilisateur** est plus rapide pour les tests que vous effectuez par vous-même. Cela repose sur vos autorisations existantes, il n'y a donc aucun principal à provisionner, mais cela est limité à votre accès et n'est pas destiné à perdurer au-delà de vos tests.

Si vous sélectionnez Utiliser le Service Principal , il doit disposer des autorisations décrites dans Octroyer l'accès au Service Principal. Seuls les administrateurs de Workspace peuvent sélectionner un Service Principal. Les autres utilisateurs sélectionnent Utiliser les identifiants au niveau de l'utilisateur .

Sous Envoyer des données de télémétrie à Unity Catalog , choisissez le Catalogue et le Schéma dans lesquels les tables atterrissent, et éventuellement un préfixe de table. Vous choisissez une destination, vous n'en concevez pas une : Lakebase crée les tables listées dans Fonctionnement la première fois qu'il écrit des données de télémétrie. Le schéma doit déjà exister, et le catalogue ne peut pas utiliser le stockage default . Étant donné que l'option Utiliser le stockage par default est sélectionnée par default lorsque vous créez un catalogue dans Catalog Explorer, assurez-vous de la décocher pour le catalogue que vous utilisez ici.

Étape 2 : Activer les insights​

Assurez-vous que les **insights** sont activés. C'est ce qui exécute l'agent Insights en arrière-plan. Sans cela, une configuration écrit la télémétrie dans Unity Catalog mais ne fait rien remonter de manière proactive. Deux champs associés apparaissent :

  • Les Instructions sont un texte libre que l'agent lit avant chaque passe d'analyse, par exemple « Ne générez pas d'insights sur la taille de la table. » Traitez-le comme des directives, pas comme un filtre garanti : comme toute instruction donnée à un LLM, elle est généralement suivie, non strictement appliquée.
  • La fréquence d'analyse contrôle la fréquence à laquelle Insights analyse votre télémétrie (par exemple, toutes les heures). Ceci est distinct de la rapidité avec laquelle les données de télémétrie brutes arrivent dans Unity Catalog, ce qui se produit en continu, quoi qu'il en soit.

Insights enregistre ses conclusions dans un emplacement de Workspace , distinct de la destination Unity Catalog ci-dessus : la télémétrie brute atterrit sous forme de tables Delta, mais les insights eux-mêmes sont des fichiers dans votre Databricks Workspace.

Étape 3 : Attribuer aux projets​

Sélectionnez les projets Lakebase auxquels cette configuration s'applique, puis enregistrez.

Après l'enregistrement, confirmez que le compute est en cours d'exécution. Si vous avez activé l'observabilité sur une instance qui était déjà en cours d'exécution, redémarrez l'instance pour que le changement prenne effet. Pendant la phase Bêta, la télémétrie ne commence pas à circuler sur une instance déjà en cours d'exécution tant qu'elle n'est pas redémarrée.

Étapes suivantes​

Sur cette page