Stream d'événements Falcon CrowdStrike

info

Aperçu

Lakewatch est en Aperçu privé. Pour demander l'accès, contactez l'équipe de votre compte Databricks.

Lakewatch fournit un connecteur d'API pour ingérer des données à partir de flux de Stream CrowdStrike Falcon. Cet article couvre les prérequis, les instructions de configuration, les schémas de connecteur et les observables de l'analyseur Lakewatch.

Prérequis

Le connecteur nécessite :

Lakeflow Spark Declarative Pipelines serverless activé dans votre workspace.
Unity Catalog, avec les privilèges permettant de créer ou d’utiliser une connexion Unity Catalog. Voir Autorisations de connexion.
Un administrateur Falcon pouvant créer un client API OAuth2. Consultez la documentation de l’API Event Stream de CrowdStrike.
Un client API avec le périmètre Flux d’événements et l’autorisation Lecture (event_streams lecture). Le connecteur appelle GET /sensors/entities/datafeed/v2 et consomme les flux renvoyés.

Limitations connues

Le SCD de type 2 n'est pas pris en charge, car les flux d'événements Falcon sont en ajout seul.
La recherche rétrospective n’est pas disponible pour ce connecteur. L’ingestion start lors de la création de la source de données. Voir Choisir jusqu’où remonter pour l’ingestion.

Configurer CrowdStrike pour l'ingestion

CrowdStrike authentifie les demandes Falcon Event Streams à l’aide d’un jeton d’identifiants de client OAuth 2.0. Databricks échange l'ID de client et le secret de client contre un jeton d'accès, puis détecte et lit les flux Falcon Event Stream. Pour plus d'informations, consultez la documentation de l'API Event Streams de CrowdStrike.

Connectez-vous à la console Falcon en tant qu'administrateur Falcon.
Accédez à Support and Ressources , puis API clients and keys .
Cliquez sur Ajouter un nouveau client API .
Saisissez un nom de client (par exemple, Event_Stream_Ingestor) et une description facultative.
Sous Portées d'API , recherchez Stream d'événements et activez Lecture .
Cliquez sur Créer .
Copiez l’ ID de client , le secret du client et l’ URL de base . CrowdStrike n’affiche le secret client qu’une seule fois. Pour la connexion Databricks, saisissez l’URL de base avec le schéma https:// et sans chemin (par exemple, https://api.crowdstrike.com ou https://api.us-2.crowdstrike.com).

astuce

Lors de la création d'une connexion via l'interface utilisateur de Lakewatch, vous avez besoin de l' ID client , du secret client et de l' URL de base rassemblés ci-dessus.

Étapes suivantes

Une fois la configuration ci-dessus effectuée, créez une source de données avec le connecteur CrowdStrike dans l'interface utilisateur de Lakewatch. Voir connecteurs API pour des instructions.

Schémas de connecteur et de Lakewatch

Le connecteur ingère la table source suivante à partir du schéma source default :

Table source	Données CrowdStrike	Analyseur Lakewatch intégré
`events`	Événements de tenant Falcon Event Streams	`crowdstrike_event_streams`

Le connecteur écrit la table source dans la destination brute de la source de données. L'analyseur intégré écrit une table analysée distincte nommée d'après l'analyseur, sauf si vous définissez une destination analysée lors de la configuration de la source de données.

Colonnes gérées par Lakewatch

Le connecteur dérive :

time: un timestamp non nul de metadata.eventCreationTime, interprété comme des millisecondes d’époque Unix. Le connecteur utilise time comme champ de curseur pour l’ingestion incrémentale.
lw_id: Chaîne non nulle que Lakewatch utilise comme clé primaire. Le connecteur dérive un ID stable et triable par heure à partir de time, du flux de l'événement et de son offset. L’ID prend en charge la déduplication au cours des synchronisations incrémentielles.

Pour les sources de données LakeWatch, les enregistrements bruts et analysés incluent également :

lw_meta: Métadonnées de traitement Lakewatch standard.
lw_observables: Valeurs identifiées par le scan récursif du payload d'événement pour les observables de sécurité.

L’analyseur assigne également la colonne time analysée.

Pour plus d’information, reportez-vous à la référence de l’analyseur.

Schéma brut de la table de connecteur

Schéma

Colonne	Type de données
`lw_id`	`STRING`
`time`	`TIMESTAMP`
`event_data`	`STRING`
`data`	`VARIANT`

remarque

event_data est obsolète. Utilisez plutôt data. data contient les mêmes informations d’événement que event_data, mais utilise le type VARIANT pour améliorer les performances de query.

Observables de l’analyseur

L’analyseur crowdstrike_event_streams analyse data de manière récursive à la recherche de champs dont les noms identifient les types d’observables suivants :

Observables

Type d’observable	Noms de champs correspondants
Adresse IP	`userip`, `localip`, `localaddress`, `remoteaddress`
Hostname	`computername`, `hostname`, `hostnamefield`
Hachage	`md5string`, `sha1string`, `sha256string`
Adresse MAC	`macaddress`
E-mail	`userid`
Nom d'utilisateur	`username`
ID de trace	`sessionid`
URL	`falconhostlink`
Technique MITRE ATT&CK	`technique`

Type d’observable	Noms de champs correspondants
Adresse IP	`userip`, `localip`, `localaddress`, `remoteaddress`
Hostname	`computername`, `hostname`, `hostnamefield`
Hachage	`md5string`, `sha1string`, `sha256string`
Adresse MAC	`macaddress`
E-mail	`userid`
Nom d'utilisateur	`username`
ID de trace	`sessionid`
URL	`falconhostlink`
Technique MITRE ATT&CK	`technique`

Prérequis​

Limitations connues​

Configurer CrowdStrike pour l'ingestion​

Étapes suivantes​

Schémas de connecteur et de Lakewatch​

Colonnes gérées par Lakewatch​

Schéma brut de la table de connecteur​

Observables de l’analyseur​