Stockage cloud

info

Aperçu

Lakewatch est en Aperçu privé. Pour demander l'accès, contactez l'équipe de votre compte Databricks.

Utilisez la méthode d’ingestion Stockage cloud pour ingérer des fichiers à partir d’un magasin d’objets cloud pris en charge. Lakewatch lit la source avec Auto Loader.

Cette page vous explique comment créer une source de données de stockage cloud. Pour gérer une source de données après sa création, consultez la page Créer et gérer des sources de données.

Lakewatch ingère depuis Google Cloud Storage via un volume Unity Catalog ou un emplacement externe.

Prérequis

Avant de créer la source de données, assurez-vous de respecter les conditions suivantes :

• Source dans Unity Catalog : si la source est un volume Unity Catalog ou un emplacement externe, configurez-la dans Unity Catalog avant de créer la source de données. Pour la configuration, consultez Gérer les emplacements externes.
• Accès « run-as » à la source : l’ identité d’exécution de la source de données doit être capable de lire la source : le privilège READ FILES sur l’emplacement externe, ou READ VOLUME sur le volume. Accordez-le sur l’emplacement externe ou le volume dans Unity Catalog, pas sur l’identité elle-même. Pour obtenir des instructions, consultez la page Gérer les emplacements externes ou Privilèges pour les volumes Unity Catalog. Lakewatch effectue l’ingestion en tant qu’identité d’exécution, et non en tant que votre compte utilisateur. Par conséquent, votre accès au niveau du compte aux données n’est pas suffisant. L’accès que l’identité hérite d’un catalogue ou d’un schéma parent, ou d’un groupe, répond également à cette exigence.

Préparer vos données pour l'ingestion

Chaque source de données Lakewatch ingère à partir d'un seul répertoire et lit tous les fichiers en utilisant un seul format de fichier . Avant de créer une source de données, organisez votre stockage cloud afin que chaque répertoire que vous prévoyez d'ingérer contienne :

• Format de fichier unique : tous les fichiers doivent être du même format ( par exemple, tous en JSON, tous en Parquet ou tous en CSV). Les fichiers dans différents formats provoquent des erreurs d’analyse.
• Un type de source : les fichiers doivent provenir du même système source et partager un schéma compatible (par exemple, tous les logs AWS CloudTrail ou tous les événements de détection CrowdStrike). Les variations mineures de schéma dans le même format sont traitées automatiquement, mais le mélange de schémas fondamentalement différents dans un répertoire n'est pas pris en charge.

Exemple de structure de répertoire :

Text

s3://my-security-bucket/
├── cloudtrail/           ← Datasource 1 (JSON)
│   ├── 2025/01/01/
│   │   ├── event1.json.gz
│   │   └── event2.json.gz
│   └── 2025/01/02/
│       └── event3.json.gz
├── vpc-flow-logs/        ← Datasource 2 (Parquet)
│   ├── region=us-east-1/
│   │   └── flowlogs.parquet
│   └── region=us-west-2/
│       └── flowlogs.parquet
└── waf-logs/             ← Datasource 3 (JSON)
    └── waf-events.json

Chaque répertoire de premier niveau devient une source de données LakeWatch distincte. Les sous-répertoires sont parcourus automatiquement, y compris les chemins partitionnés de style Hive (comme region=us-east-1/), que Lakewatch détecte et mappe en tant que colonnes de partition.

Créer la source de données

Dans Sources de données , cliquez sur Ajouter une source de données . Sous Logs personnalisés et internes , sélectionnez le type de stockage qui contient vos fichiers :

• Google Cloud Storage : chemin dans Google Cloud Storage, via un emplacement externe du Unity Catalog.
• Volume du Unity Catalog : dossier dans un volume du Unity Catalog.

La page de configuration pour ce type de stockage s’ouvre. Pour changer de type de stockage ultérieurement, utilisez le sélecteur Type de source sur la page de configuration. Remplissez les champs suivants :

• Nom de la source de données : saisissez un nom unique pour la source de données (par exemple, Cloudflare_WAF).

• Emplacement de la source : pointez la source de données vers le dossier contenant vos données. L’emplacement doit être un dossier, pas un fichier individuel. Les champs dépendent du type de stockage :

  • Emplacement externe et Sous-dossier (facultatif) : Cliquez sur Parcourir pour ouvrir Parcourir l'emplacement externe , choisissez un emplacement externe Unity Catalog, puis sélectionnez sa racine ou un dossier à l'intérieur. Vous pouvez également saisir l'emplacement et le sous-dossier directement. Laissez Sous-dossier vide pour ingérer tout l'emplacement.
  • Chemin d'accès au volume Unity Catalog : Entrez le dossier contenant vos fichiers logs (par exemple, /Volumes/catalog/schema/volume/logs/), ou cliquez sur Parcourir les volumes .

• Format de fichier : format utilisé par Lakewatch pour analyser les données source : JSON, JSONL, Parquet, CSV, XML ou texte. Cliquez sur Incérer avec Genie pour que Genie suggère le format à partir d’un échantillon de vos données. Lorsque vous sélectionnez CSV , vous pouvez également définir des options de format CSV.

• Ingérer les données historiques : Activez cette option pour ingérer également les fichiers déjà présents à l'emplacement. Les nouveaux fichiers sont ingérés dans les deux cas. Ce choix ne prend effet qu'au premier start.

• Paramètres avancés : Développez cette section facultative pour configurer :

  • Nom de la table de sortie brute : Nom de la table brute dans laquelle Lakewatch écrit les événements sources avant que les analyseurs ne s'exécutent. Lakewatch le crée dans votre environnement. Le nom est requis.
  • Performances optimisées : utilisez un compute aux performances optimisées pour une ingestion plus rapide (activé) ou un compute standard (désactivé). default, utilise le paramètre de compute d'ingestion de Workspace.

Définir les options de format CSV

Lorsque vous définissez Format de fichier sur CSV , une section Options de format CSV apparaît afin que vous puissiez personnaliser la façon dont Lakewatch lit vos fichiers. Cliquez sur Ajouter une option CSV pour ajouter une option et définir sa valeur, ou supprimez une option pour utiliser sa valeur default. Les valeurs sont utilisées exactement telles qu'elles sont saisies, y compris les espaces et les valeurs vides.

Les options les plus courantes sont En-tête, Délimiteur, **Citation**, Échappement, Multiligne, Codage, Valeur nulle, Format de date et Format de timestamp. Les autres options de lecture CSV standard apparaissent sous leurs noms d’option. Pour obtenir la liste complète et connaître le rôle de chaque option, consultez la rubrique Options CSV.

Découverte de fichiers et identifiants

Lakewatch détecte automatiquement les nouveaux fichiers. Si l'emplacement externe du Unity Catalog source a des événements de fichier configurés, Lakewatch les utilise. Sinon, il liste le répertoire. Il n'y a pas de paramètre de notification de fichier à configurer dans Lakewatch.

Lorsque la source est un volume ou un emplacement externe Unity Catalog, Lakewatch s’authentifie par son intermédiaire. Il n’y a pas d’entrée séparée pour les identifiants ou le Secret Scope. Vérifiez que l’ identité d’exécution peut lire l’objet Unity Catalog et son identifiant de stockage sous-jacent.

Prévisualiser les données

Après avoir défini l’emplacement source et le format de fichier, cliquez sur Prévisualiser les données dans le panneau Aperçu des données pour voir un échantillon. L’aperçu montre les données brutes telles que Lakewatch les écrit : une colonne data contenant chaque enregistrement et une colonne _metadata. Si vous modifiez les paramètres après l’exécution de l’aperçu, l’aperçu est marqué comme obsolète. Cliquez sur Mettre à jour l’aperçu pour le relancer.

Par default, Lakewatch échantillonne à partir de la source configurée. Pour échantillonner à partir d'un dossier spécifique, cliquez sur Modifier la source de prévisualisation et sélectionnez Utiliser un sous-dossier d'échantillon . Le Chemin d’aperçu affiche l’emplacement source hérité et le sous-dossier en lecture seule. Entrez un dossier à l'intérieur, ou cliquez sur Parcourir pour en choisir un. Le chemin d’aperçu doit être un dossier, pas un fichier, et l’ identité d’exécution doit être en mesure de le lire. La prévisualisation des sources de données de volume Unity Catalog est effectuée à partir du chemin du volume et n'offre pas de chemin de prévisualisation distinct.

L'échantillon n'affecte que l'aperçu et n'est pas stocké avec la source de données. Lorsque la source de données s'exécute, elle effectue l'ingestion à partir de la source configurée.

Gestion de la colonne d’heure

La colonne time est critique pour les clusters, les filigranes en streaming et la performance des queries. Lakewatch la détecte et l’extrait automatiquement lors de la configuration, y compris lorsque le timestamp est imbriqué dans une structure VARIANT. Avant d'écrire chaque ligne dans la table brute, Lakewatch remplace les valeurs time nulles par le Timestamp d'ingestion (lw_meta.ingestion_time), de sorte que la colonne time de la table brute ne soit jamais nulle ; il définit lw_meta.missing_timestamp sur true pour ces lignes afin que vous puissiez distinguer les heures d'événements d'origine des fallback au moment de l'ingestion.

Joindre des analyseurs et créer la source de données

Sur le même formulaire de création, faites défiler jusqu’à la section Parsers :

1. Attacher des parseurs. Attachez un ou plusieurs analyseurs pour schématiser les données : un analyseur intégré correspondant à votre source ou un analyseur que vous avez créé. Si votre source délivre des enregistrements enveloppés, définissez également l’option Désencapsulation , décrite dans Désencapsuler des enregistrements enveloppés. Pour comprendre comment la correspondance des analyseurs fonctionne et les colonnes produites par les analyseurs, consultez la section Attacher des analyseurs.
2. Créer la source de données. Cliquez sur Créer la source de données . La source de données commence à s’exécuter immédiatement selon son calendrier de traitement ; pour l’arrêter, supprimez la source de données.

Vous pouvez modifier les autres paramètres de la source de données (planification du traitement, compute et annotations) à tout moment sur le tab Vue d’ensemble après sa création. Voir Configurer les paramètres de la source de données.

Développer les enregistrements enveloppés

Certaines sources fournissent plusieurs événements dans un conteneur plutôt qu’un enregistrement par ligne. Lorsque les données échantillonnées sont un tableau JSON d’événements, ou des événements enveloppés dans une enveloppe de livraison de logs AWS CloudWatch, Lakewatch peut désencapsuler le conteneur afin que chaque événement devienne sa propre ligne. Dans l’étape de l’analyseur, utilisez l’option Désencapsulation (la valeur par default est Aucune désencapsulation ) pour correspondre à la façon dont vos enregistrements sont enveloppés. Seules les formes d’enregistrement affichées lors de la configuration sont prises en charge. La désencapsulation est disponible pour les sources de données de stockage cloud mais pas pour la méthode Table existante, qui ingère une table Unity Catalog telle quelle.

• Tableau JSON : Entrez la clé du tableau JSON : la clé au niveau racine contenant le tableau d'événements (par exemple, Records). Les chemins imbriqués ne sont pas pris en charge.
• Logs CloudWatch AWS : Activez Conserver les en-têtes de logs CloudWatch pour conserver les métadonnées de l'enveloppe des logs CloudWatch d'origine sur chaque événement non encapsulé. Elle est désactivée par default.