Table existante

info

Aperçu

Lakewatch est en Aperçu privé. Pour demander un accès, contactez votre équipe de compte Databricks.

Utilisez la méthode d'ingestion Table existante pour ingérer une table ou une vue Delta Unity Catalog déjà présente dans votre workspace. Lakewatch lit directement la table source et exécute vos analyseurs attachés dessus pour produire des tables analysées, au lieu de copier les données.

remarque

Vous n'avez pas besoin d'importer une table pour l'utiliser dans Lakewatch. Si une table Unity Catalog est déjà prête pour les query, vous pouvez exécuter des query et écrire des règles de détection directement sur celle-ci, sans avoir à créer une source de données. Utilisez la méthode Table existante lorsque vous voulez que Lakewatch exécute des parsers sur la source et produise des tables analysées normalisées, avec les colonnes lw_id, lw_meta et lw_observables gérées par Lakewatch.

Cette page est le guide complet pour créer une source de données à partir d’une table existante. Pour gérer une source de données une fois qu’elle existe (modifier les paramètres, changer les parseurs et assurer le monitoring), consultez Créer et gérer des sources de données.

La source peut être une table Delta gérée ou externe, une table de streaming, une table Delta Sharing ou une vue qui lit à partir d'une seule table en amont. Les vues qui combinent plusieurs tables (par exemple, avec UNION ALL) ne sont pas prises en charge.

Créer la source de données

Dans Sources de données , cliquez sur Ajouter une source de données et sélectionnez Source de données personnalisée . Sur la page de création, définissez le Type de source sur Table Unity Catalog .

Remplissez les champs suivants du formulaire de création :

• Nom de la source de données : saisissez un nom unique pour la source de données.
• Table ou vue source : Saisissez le nom entièrement qualifié de la table ou de la vue Unity Catalog existante au format catalog.schema.table, ou cliquez sur l’icône de navigation pour en sélectionner une. Après avoir sélectionné une table, un aperçu des données affiche ses données afin que vous puissiez vérifier que vous avez sélectionné la bonne.

Définissez l’ identité « Exécuter en tant que » pour la source de données. Développez Paramètres avancés pour configurer :

• Traiter uniquement les nouvelles lignes : contrôle si Lakewatch doit compléter les lignes déjà présentes dans la table source. Elle est sélectionnée par default, de sorte que Lakewatch n’ingère que les lignes ajoutées après la création de la source de données. Désélectionnez-la pour ingérer également les lignes déjà présentes (un remplissage qui prend plus de temps sur une grande source) puis poursuivez avec chaque nouveau commit. Ce paramètre ne prend effet qu'au premier start et ne peut pas être modifié après la création. Les tables Delta Sharing ne prennent pas en charge les lectures incrémentielles, cette option ne s’applique donc pas. Lakewatch traite toutes les lignes.
• Optimisation des performances : utilisez un compute optimisé pour les performances pour une ingestion plus rapide (activé) ou un compute standard (désactivé). default, le paramètre de compute d'ingestion de Workspace.

Vous ne pouvez pas modifier la table des sources après la création de la source de données. Pour la modifier, recréez la source de données.

remarque

Les queries et les règles de détection qui lisent la source de données fonctionnent mieux lorsque la table source est en cluster liquide sur la colonne utilisée pour time. Si ce n'est pas le cas, Lakewatch affiche un avertissement lors de la configuration. Si cette colonne est une colonne TIMESTAMP ou TIMESTAMP_NTZ de premier niveau, ajoutez le clustering directement sur la table source en exécutant ALTER TABLE catalog.schema.my_source_table CLUSTER BY (my_time_column) dans un notebook ou un éditeur SQL, où my_time_column est la colonne temporelle de la table source. Consultez Activer le liquid clustering sur des tables existantes.

Si la colonne de temps n'est pas une colonne de niveau supérieur, n'est pas de type TIMESTAMP ou TIMESTAMP_NTZ, ou est dérivée d'une expression SQL, le clustering ne peut pas être ajouté directement.

Associez des analyseurs et créez la source de données

1. Attachez des parseurs. Attachez un ou plusieurs parseurs pour schématiser les données ingérées : un parseur intégré adapté à votre source ou un parseur que vous avez créé. Pour savoir comment fonctionne la mise en correspondance des parseurs et connaître les colonnes qu’ils produisent, consultez Attacher des parseurs.
2. Créer la source de données. Cliquez sur Créer une source de données . La source de données commence à s’exécuter immédiatement selon son calendrier de traitement ; pour l’arrêter, supprimez la source de données.

Vous pouvez modifier les autres paramètres de la source de données (planning de traitement, compute et annotations) à tout moment dans son tab Aperçu après sa création. Voir Configurer les paramètres de la source de données.

Ingérer les logs de trace de la passerelle d’IA

Le suivi unifié d’AI Gateway enregistre les requêtes de modèles et d'outils (y compris les décisions relatives aux garde-fous et aux politiques, l'utilisation des jetons et l'identité du demandeur) dans une table Delta Unity Catalog (unity_gateway_otel_spans) dont vous êtes le propriétaire. Comme il s’agit d’une table Unity Catalog standard, vous pouvez l’intégrer à Lakewatch avec la méthode Table existante , puis exécuter des query et des règles de détection dessus.

1. Activer le traçage. Configurez la table des traces pour votre metastore dans l’interface utilisateur d’AI Gateway. Consultez la table unifiée des traces.
2. Créer la source de données. Suivez les étapes ci-dessus en utilisant le nom entièrement qualifié de la table de trace comme Table ou vue source .
3. Accorder l’accès. L’ identité « Exécuter en tant que » de la source de données doit être en mesure de lire la table de traces et d’écrire dans le schéma de destination. Une règle de détection que vous écrivez pour les données s’exécute sous sa propre identité « Exécuter en tant que », qui nécessite le même accès.

Vous pouvez également interroger la table de trace directement sur la page de query ou à partir d'une règle de détection, sans créer de source de données.