Référence du connecteur Cribl

info

Bêta

Cette fonctionnalité est en version bêta. Pour l'utiliser, un administrateur de workspace doit activer Lakeflow Connect pour Cribl à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Cette page contient des informations de référence sur le connecteur Cribl géré, y compris les tables sources et les schémas de table de destination pris en charge.

Tables sources prises en charge

Le connecteur Cribl prend en charge les tables source suivantes, toutes sous le schéma source default. Les tables associées à un groupe de Worker ingèrent des données depuis chaque groupe de Worker Stream, Edge et Search du Workspace, à moins que vous ne définissiez group_allowlist.

Table source	Clé primaire	Description	Mode de synchronisation	Champ du curseur
worker_groups	product, id	Groupes et flottes de Worker pour les produits Stream, Edge, Search et Outpost.	Refresh complète uniquement
workers	product, id	Worker et nœuds de périphérie pour les produits Stream et Edge.	Refresh complète uniquement
health	host	État de santé du Leader du Workspace.	Refresh complète uniquement
pipelines	group, id	Pipelines dans chaque groupe de Worker.	Refresh complète uniquement
routes	group, id	Table de routage dans chaque groupe de Worker.	Refresh complète uniquement
sources	group, id	Configurations de source (entrée) dans chaque groupe de Worker.	Refresh complète uniquement
destinations	group, id	Configurations de destination (sortie) dans chaque groupe de Worker.	Refresh complète uniquement
parsers	group, id	Entrées de la bibliothèque de l’analyseur dans chaque groupe de Worker.	Refresh complète uniquement
breakers	group, id	Ensembles de règles Event Breaker dans chaque groupe de Worker.	Refresh complète uniquement
grok_patterns	group, id	Fichiers de modèle Grok dans chaque groupe de Worker.	Refresh complète uniquement
schemas	group, id	Entrées de bibliothèque de schémas dans chaque groupe de Worker.	Refresh complète uniquement
collectors	group, id	Job de collecteur dans chaque groupe de Worker.	Refresh complète uniquement
database_connections	group, id	Connexions à la base de données dans chaque groupe de Worker.	Refresh complète uniquement
packs	group, id	Packs installés dans chaque Worker Group.	Refresh complète uniquement
inputs_status	group, id	État de santé et métriques pour chaque source dans chaque groupe de worker.	Refresh complète uniquement
outputs_status	group, id	État de santé et métriques pour chaque destination dans chaque groupe de Worker.	Refresh complète uniquement
functions	worker_group, id	Fonctions disponibles dans chaque groupe Worker.	Refresh complète uniquement
workspaces	workspaceId	Workspace dans l’organisation.	Refresh complète uniquement
api_credentials	clientId	Identifiants d'API dans l'organisation. Les secrets client ne sont pas ingérés.	Refresh complète uniquement
audit_log	time, event_id	Événements de Logs d’audit leader.	Incrémentiel	time
access_log	time, event_id	Événements de journal d’accès de l’API Leader.	Incrémentiel	time

Table source	Clé primaire	Description	Mode de synchronisation	Champ du curseur
worker_groups	product, id	Groupes et flottes de Worker pour les produits Stream, Edge, Search et Outpost.	Refresh complète uniquement
workers	product, id	Worker et nœuds de périphérie pour les produits Stream et Edge.	Refresh complète uniquement
health	host	État de santé du Leader du Workspace.	Refresh complète uniquement
pipelines	group, id	Pipelines dans chaque groupe de Worker.	Refresh complète uniquement
routes	group, id	Table de routage dans chaque groupe de Worker.	Refresh complète uniquement
sources	group, id	Configurations de source (entrée) dans chaque groupe de Worker.	Refresh complète uniquement
destinations	group, id	Configurations de destination (sortie) dans chaque groupe de Worker.	Refresh complète uniquement
parsers	group, id	Entrées de la bibliothèque de l’analyseur dans chaque groupe de Worker.	Refresh complète uniquement
breakers	group, id	Ensembles de règles Event Breaker dans chaque groupe de Worker.	Refresh complète uniquement
grok_patterns	group, id	Fichiers de modèle Grok dans chaque groupe de Worker.	Refresh complète uniquement
schemas	group, id	Entrées de bibliothèque de schémas dans chaque groupe de Worker.	Refresh complète uniquement
collectors	group, id	Job de collecteur dans chaque groupe de Worker.	Refresh complète uniquement
database_connections	group, id	Connexions à la base de données dans chaque groupe de Worker.	Refresh complète uniquement
packs	group, id	Packs installés dans chaque Worker Group.	Refresh complète uniquement
inputs_status	group, id	État de santé et métriques pour chaque source dans chaque groupe de worker.	Refresh complète uniquement
outputs_status	group, id	État de santé et métriques pour chaque destination dans chaque groupe de Worker.	Refresh complète uniquement
functions	worker_group, id	Fonctions disponibles dans chaque groupe Worker.	Refresh complète uniquement
workspaces	workspaceId	Workspace dans l’organisation.	Refresh complète uniquement
api_credentials	clientId	Identifiants d'API dans l'organisation. Les secrets client ne sont pas ingérés.	Refresh complète uniquement
audit_log	time, event_id	Événements de Logs d’audit leader.	Incrémentiel	time
access_log	time, event_id	Événements de journal d’accès de l’API Leader.	Incrémentiel	time

Options du connecteur

Le connecteur Cribl prend en charge les options de niveau pipeline suivantes. Pour l'utilisation, voir Exemples.

Option	Type	Portée	Obligatoire	S'applique à	Description
control_plane_host	Chaîne	Pipeline	Non	Toutes les tables sauf workspaces et api_credentials	Hostname de l'API Cribl.Cloud Workspace, sans le schéma https://. default sur <workspace-id>-<organization-id>.cribl.cloud.
management_plane_host	Chaîne	Pipeline	Non	workspaces, api_credentials	Hostname de l’API de gestion Cribl.Cloud, sans le schéma https://. default gateway.cribl.cloud.
group_allowlist	Chaîne	Pipeline	Non	Toutes les tables avec une portée de Worker Group	Liste d'identifiants de groupes Worker séparés par des virgules à ingérer. default, tous les groupes de Worker.
start_datetime	Chaîne	Pipeline	Non	audit_log, access_log	Heure de log la plus ancienne à ingérer lors de la première synchronisation, au format yyyy-MM-dd'T'HH:mm:ss.SSS'Z'. default, 365 jours avant la synchronisation.

Option	Type	Portée	Obligatoire	S'applique à	Description
control_plane_host	Chaîne	Pipeline	Non	Toutes les tables sauf workspaces et api_credentials	Hostname de l'API Cribl.Cloud Workspace, sans le schéma https://. default sur <workspace-id>-<organization-id>.cribl.cloud.
management_plane_host	Chaîne	Pipeline	Non	workspaces, api_credentials	Hostname de l’API de gestion Cribl.Cloud, sans le schéma https://. default gateway.cribl.cloud.
group_allowlist	Chaîne	Pipeline	Non	Toutes les tables avec une portée de Worker Group	Liste d'identifiants de groupes Worker séparés par des virgules à ingérer. default, tous les groupes de Worker.
start_datetime	Chaîne	Pipeline	Non	audit_log, access_log	Heure de log la plus ancienne à ingérer lors de la première synchronisation, au format yyyy-MM-dd'T'HH:mm:ss.SSS'Z'. default, 365 jours avant la synchronisation.

Schémas de table de destination

worker_groups

Clé principale : product, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
id	STRING
name	STRING
description	STRING
type	STRING
tags	STRING
streamtags	ARRAY<STRING>
onPrem	BOOLEAN
provisioned	BOOLEAN
estimatedIngestRate	BIGINT
cloud	STRUCT<provider: STRING, region: STRING>
workerRemoteAccess	BOOLEAN
product	STRING
isFleet	BOOLEAN
isSearch	BOOLEAN
collectorsHaEnabled	BOOLEAN
configVersion	STRING
workerCount	BIGINT
deployingWorkerCount	BIGINT
incompatibleWorkerCount	BIGINT
maxWorkerAge	STRING
upgradeVersion	STRING
inherits	STRING
git	STRUCT<commit: STRING, localChanges: BIGINT, log: ARRAY<STRUCT<author_email: STRING, author_name: STRING, date: STRING, hash: STRING, message: STRING, short: STRING>>>
lookupDeployments	ARRAY<STRUCT<context: STRING, lookups: ARRAY<STRUCT<deployedVersion: STRING, file: STRING, version: STRING>>>>

Champ	Type de données
id	STRING
name	STRING
description	STRING
type	STRING
tags	STRING
streamtags	ARRAY<STRING>
onPrem	BOOLEAN
provisioned	BOOLEAN
estimatedIngestRate	BIGINT
cloud	STRUCT<provider: STRING, region: STRING>
workerRemoteAccess	BOOLEAN
product	STRING
isFleet	BOOLEAN
isSearch	BOOLEAN
collectorsHaEnabled	BOOLEAN
configVersion	STRING
workerCount	BIGINT
deployingWorkerCount	BIGINT
incompatibleWorkerCount	BIGINT
maxWorkerAge	STRING
upgradeVersion	STRING
inherits	STRING
git	STRUCT<commit: STRING, localChanges: BIGINT, log: ARRAY<STRUCT<author_email: STRING, author_name: STRING, date: STRING, hash: STRING, message: STRING, short: STRING>>>
lookupDeployments	ARRAY<STRUCT<context: STRING, lookups: ARRAY<STRUCT<deployedVersion: STRING, file: STRING, version: STRING>>>>

workers

Clé principale : product, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
id	STRING
status	STRING
group	STRING
info	STRUCT<apiPort: BIGINT, apiScheme: STRING, architecture: STRING, aws: STRUCT<enabled: BOOLEAN, instanceId: STRING, region: STRING, tags: MAP<STRING, STRING>, type: STRING, zone: STRING>, azure: STRUCT<enabled: BOOLEAN, hostname: STRING, instanceId: STRING, name: STRING, region: STRING, resourceGroup: STRING, subscriptionId: STRING, tags: MAP<STRING, STRING>, type: STRING, vmId: STRING, zone: STRING>, conn_ip: STRING, cpus: BIGINT, cribl: STRUCT<config: STRUCT<apiCredentialsRev: STRING, featuresRev: STRING, hbPeriodSeconds: BIGINT, logStreamEnv: STRING, policyRev: STRING, teamsRev: STRING, usersRev: STRING, version: STRING>, deploymentId: STRING, disableSNIRouting: BOOLEAN, distMode: STRING, edgeNodes: BIGINT, group: STRING, guid: STRING, installType: STRING, lookupVersions: MAP<STRING, MAP<STRING, STRING>>, master: STRUCT<host: STRING, port: BIGINT, servername: STRING, tls: BOOLEAN>, overlayId: STRING, pid: BIGINT, socksEnabled: BOOLEAN, startTime: BIGINT, tags: ARRAY<STRING>, version: STRING>, env: MAP<STRING, STRING>, freeDiskSpace: BIGINT, hostOs: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, hostname: STRING, isCaptain: BOOLEAN, isSaasWorker: BOOLEAN, kube: STRUCT<enabled: BOOLEAN, namespace: STRING, node: STRING, owner: STRUCT<kind: STRING, name: STRING>, pod: STRING, source: STRING>, localTime: BIGINT, metadata: STRUCT<aws: STRUCT<enabled: BOOLEAN, instanceId: STRING, region: STRING, tags: MAP<STRING, STRING>, type: STRING, zone: STRING>, azure: STRUCT<enabled: BOOLEAN, hostname: STRING, instanceId: STRING, name: STRING, region: STRING, resourceGroup: STRING, subscriptionId: STRING, tags: MAP<STRING, STRING>, type: STRING, vmId: STRING, zone: STRING>, hostOs: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, kube: STRUCT<enabled: BOOLEAN, namespace: STRING, node: STRING, owner: STRUCT<kind: STRING, name: STRING>, pod: STRING, source: STRING>, os: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>>, node: STRING, os: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, outpost: STRUCT<groupname: STRING, guid: STRING, host: STRING>, platform: STRING, release: STRING, totalDiskSpace: BIGINT, totalmem: BIGINT>
workerProcesses	BIGINT
lastMsgTime	BIGINT
firstMsgTime	BIGINT
deployable	BOOLEAN
disconnected	BOOLEAN
connectionProtocol	STRING
product	STRING
type	STRING
offlineDurationMs	BIGINT
provisioningTokenId	STRING
metadata	STRUCT<aws: STRUCT<enabled: BOOLEAN, instanceId: STRING, region: STRING, tags: MAP<STRING, STRING>, type: STRING, zone: STRING>, azure: STRUCT<enabled: BOOLEAN, hostname: STRING, instanceId: STRING, name: STRING, region: STRING, resourceGroup: STRING, subscriptionId: STRING, tags: MAP<STRING, STRING>, type: STRING, vmId: STRING, zone: STRING>, hostOs: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, kube: STRUCT<enabled: BOOLEAN, namespace: STRING, node: STRING, owner: STRUCT<kind: STRING, name: STRING>, pod: STRING, source: STRING>, os: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>>
lastMetrics	MAP<STRING, VARIANT>
nodeUpgradeStatus	STRUCT<active: BIGINT, failed: BIGINT, skipped: BIGINT, state: BIGINT, timestamp: BIGINT>
workers	STRUCT<count: BIGINT>

Champ	Type de données
id	STRING
status	STRING
group	STRING
info	STRUCT<apiPort: BIGINT, apiScheme: STRING, architecture: STRING, aws: STRUCT<enabled: BOOLEAN, instanceId: STRING, region: STRING, tags: MAP<STRING, STRING>, type: STRING, zone: STRING>, azure: STRUCT<enabled: BOOLEAN, hostname: STRING, instanceId: STRING, name: STRING, region: STRING, resourceGroup: STRING, subscriptionId: STRING, tags: MAP<STRING, STRING>, type: STRING, vmId: STRING, zone: STRING>, conn_ip: STRING, cpus: BIGINT, cribl: STRUCT<config: STRUCT<apiCredentialsRev: STRING, featuresRev: STRING, hbPeriodSeconds: BIGINT, logStreamEnv: STRING, policyRev: STRING, teamsRev: STRING, usersRev: STRING, version: STRING>, deploymentId: STRING, disableSNIRouting: BOOLEAN, distMode: STRING, edgeNodes: BIGINT, group: STRING, guid: STRING, installType: STRING, lookupVersions: MAP<STRING, MAP<STRING, STRING>>, master: STRUCT<host: STRING, port: BIGINT, servername: STRING, tls: BOOLEAN>, overlayId: STRING, pid: BIGINT, socksEnabled: BOOLEAN, startTime: BIGINT, tags: ARRAY<STRING>, version: STRING>, env: MAP<STRING, STRING>, freeDiskSpace: BIGINT, hostOs: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, hostname: STRING, isCaptain: BOOLEAN, isSaasWorker: BOOLEAN, kube: STRUCT<enabled: BOOLEAN, namespace: STRING, node: STRING, owner: STRUCT<kind: STRING, name: STRING>, pod: STRING, source: STRING>, localTime: BIGINT, metadata: STRUCT<aws: STRUCT<enabled: BOOLEAN, instanceId: STRING, region: STRING, tags: MAP<STRING, STRING>, type: STRING, zone: STRING>, azure: STRUCT<enabled: BOOLEAN, hostname: STRING, instanceId: STRING, name: STRING, region: STRING, resourceGroup: STRING, subscriptionId: STRING, tags: MAP<STRING, STRING>, type: STRING, vmId: STRING, zone: STRING>, hostOs: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, kube: STRUCT<enabled: BOOLEAN, namespace: STRING, node: STRING, owner: STRUCT<kind: STRING, name: STRING>, pod: STRING, source: STRING>, os: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>>, node: STRING, os: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, outpost: STRUCT<groupname: STRING, guid: STRING, host: STRING>, platform: STRING, release: STRING, totalDiskSpace: BIGINT, totalmem: BIGINT>
workerProcesses	BIGINT
lastMsgTime	BIGINT
firstMsgTime	BIGINT
deployable	BOOLEAN
disconnected	BOOLEAN
connectionProtocol	STRING
product	STRING
type	STRING
offlineDurationMs	BIGINT
provisioningTokenId	STRING
metadata	STRUCT<aws: STRUCT<enabled: BOOLEAN, instanceId: STRING, region: STRING, tags: MAP<STRING, STRING>, type: STRING, zone: STRING>, azure: STRUCT<enabled: BOOLEAN, hostname: STRING, instanceId: STRING, name: STRING, region: STRING, resourceGroup: STRING, subscriptionId: STRING, tags: MAP<STRING, STRING>, type: STRING, vmId: STRING, zone: STRING>, hostOs: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>, kube: STRUCT<enabled: BOOLEAN, namespace: STRING, node: STRING, owner: STRUCT<kind: STRING, name: STRING>, pod: STRING, source: STRING>, os: STRUCT<addresses: ARRAY<STRING>, enabled: BOOLEAN, id: STRING, version: STRING>>
lastMetrics	MAP<STRING, VARIANT>
nodeUpgradeStatus	STRUCT<active: BIGINT, failed: BIGINT, skipped: BIGINT, state: BIGINT, timestamp: BIGINT>
workers	STRUCT<count: BIGINT>

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

health

Clé primaire : host

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
status	STRING
startTime	BIGINT
overlay	STRUCT<state: STRING>
role	STRING
isCaptain	BOOLEAN
host	STRING

Champ	Type de données
status	STRING
startTime	BIGINT
overlay	STRUCT<state: STRING>
role	STRING
isCaptain	BOOLEAN
host	STRING

pipelines

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
conf	STRUCT<__template_streamtags: STRING, asyncFuncTimeout: BIGINT, description: STRING, functions: ARRAY<STRUCT<conf: MAP<STRING, VARIANT>, description: STRING, disabled: BOOLEAN, filter: STRING, final: BOOLEAN, groupId: STRING, id: STRING>>, groups: MAP<STRING, STRUCT<description: STRING, disabled: BOOLEAN, name: STRING>>, output: STRING, pack: BOOLEAN, streamtags: ARRAY<STRING>>
conf_description	STRING
conf_output	STRING

Champ	Type de données
group	STRING
id	STRING
conf	STRUCT<__template_streamtags: STRING, asyncFuncTimeout: BIGINT, description: STRING, functions: ARRAY<STRUCT<conf: MAP<STRING, VARIANT>, description: STRING, disabled: BOOLEAN, filter: STRING, final: BOOLEAN, groupId: STRING, id: STRING>>, groups: MAP<STRING, STRUCT<description: STRING, disabled: BOOLEAN, name: STRING>>, output: STRING, pack: BOOLEAN, streamtags: ARRAY<STRING>>
conf_description	STRING
conf_output	STRING

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

routes

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
routes	ARRAY<STRUCT<autoParse: BOOLEAN, clones: ARRAY<MAP<STRING, STRING>>, context: STRING, description: STRING, disabled: BOOLEAN, enableOutputExpression: BOOLEAN, filter: STRING, final: BOOLEAN, groupId: STRING, id: STRING, name: STRING, output: STRING, outputExpression: STRING, pipeline: STRING, targetContext: STRING>>
comments	ARRAY<STRUCT<comment: STRING, groupId: STRING, id: STRING, index: BIGINT>>
groups	MAP<STRING, STRUCT<description: STRING, index: BIGINT, name: STRING>>

Champ	Type de données
group	STRING
id	STRING
routes	ARRAY<STRUCT<autoParse: BOOLEAN, clones: ARRAY<MAP<STRING, STRING>>, context: STRING, description: STRING, disabled: BOOLEAN, enableOutputExpression: BOOLEAN, filter: STRING, final: BOOLEAN, groupId: STRING, id: STRING, name: STRING, output: STRING, outputExpression: STRING, pipeline: STRING, targetContext: STRING>>
comments	ARRAY<STRUCT<comment: STRING, groupId: STRING, id: STRING, index: BIGINT>>
groups	MAP<STRING, STRUCT<description: STRING, index: BIGINT, name: STRING>>

sources

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
type	STRING
pipeline	STRING
disabled	BOOLEAN
fullFidelity	BOOLEAN
sendToRoutes	BOOLEAN
pqEnabled	BOOLEAN
streamtags	ARRAY<STRING>
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: BIGINT, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
notifications	ARRAY<STRUCT<mode: STRING, templateTargetPairs: ARRAY<STRUCT<targetId: STRING, templateId: STRING>>>>
raw	VARIANT

Champ	Type de données
group	STRING
id	STRING
type	STRING
pipeline	STRING
disabled	BOOLEAN
fullFidelity	BOOLEAN
sendToRoutes	BOOLEAN
pqEnabled	BOOLEAN
streamtags	ARRAY<STRING>
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: BIGINT, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
notifications	ARRAY<STRUCT<mode: STRING, templateTargetPairs: ARRAY<STRUCT<targetId: STRING, templateId: STRING>>>>
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

destinations

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
type	STRING
pipeline	STRING
environment	STRING
description	STRING
defaultId	STRING
systemFields	ARRAY<STRING>
streamtags	ARRAY<STRING>
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: BIGINT, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
notifications	ARRAY<STRUCT<mode: STRING, templateTargetPairs: ARRAY<STRUCT<targetId: STRING, templateId: STRING>>>>
raw	VARIANT

Champ	Type de données
group	STRING
id	STRING
type	STRING
pipeline	STRING
environment	STRING
description	STRING
defaultId	STRING
systemFields	ARRAY<STRING>
streamtags	ARRAY<STRING>
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: BIGINT, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
notifications	ARRAY<STRUCT<mode: STRING, templateTargetPairs: ARRAY<STRUCT<targetId: STRING, templateId: STRING>>>>
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

parsers

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
type	STRING
lib	STRING
description	STRING
tags	STRING
fields	ARRAY<STRING>
delimChar	STRING
escapeChar	STRING
nullValue	STRING
quoteChar	STRING
regex	STRING
raw	VARIANT

Champ	Type de données
group	STRING
id	STRING
type	STRING
lib	STRING
description	STRING
tags	STRING
fields	ARRAY<STRING>
delimChar	STRING
escapeChar	STRING
nullValue	STRING
quoteChar	STRING
regex	STRING
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

breakers

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
lib	STRING
description	STRING
tags	STRING
rules	ARRAY<STRUCT<__template_timestampTimezone: STRING, cleanFields: BOOLEAN, condition: STRING, delimiter: STRING, delimiterRegex: STRING, disabled: BOOLEAN, escapeChar: STRING, eventBreakerRegex: STRING, fields: ARRAY<STRUCT<name: STRING, value: STRING>>, fieldsLineRegex: STRING, fieldsToRemove: ARRAY<STRING>, hasHeaderRow: BOOLEAN, headerLineRegex: STRING, index: BIGINT, jsonArrayField: STRING, jsonExtractAll: BOOLEAN, jsonTimeField: STRING, maxEventBytes: BIGINT, name: STRING, nullFieldVal: STRING, parentFieldsToCopy: ARRAY<STRING>, parser: VARIANT, parserEnabled: BOOLEAN, quoteChar: STRING, shouldUseDataRaw: BOOLEAN, timeField: STRING, timestamp: STRUCT<format: STRING, length: BIGINT, type: STRING>, timestampAnchorRegex: STRING, timestampEarliest: STRING, timestampLatest: STRING, timestampSourceField: STRING, timestampTimezone: STRING, type: STRING>>
minRawLength	BIGINT
raw	VARIANT

Champ	Type de données
group	STRING
id	STRING
lib	STRING
description	STRING
tags	STRING
rules	ARRAY<STRUCT<__template_timestampTimezone: STRING, cleanFields: BOOLEAN, condition: STRING, delimiter: STRING, delimiterRegex: STRING, disabled: BOOLEAN, escapeChar: STRING, eventBreakerRegex: STRING, fields: ARRAY<STRUCT<name: STRING, value: STRING>>, fieldsLineRegex: STRING, fieldsToRemove: ARRAY<STRING>, hasHeaderRow: BOOLEAN, headerLineRegex: STRING, index: BIGINT, jsonArrayField: STRING, jsonExtractAll: BOOLEAN, jsonTimeField: STRING, maxEventBytes: BIGINT, name: STRING, nullFieldVal: STRING, parentFieldsToCopy: ARRAY<STRING>, parser: VARIANT, parserEnabled: BOOLEAN, quoteChar: STRING, shouldUseDataRaw: BOOLEAN, timeField: STRING, timestamp: STRUCT<format: STRING, length: BIGINT, type: STRING>, timestampAnchorRegex: STRING, timestampEarliest: STRING, timestampLatest: STRING, timestampSourceField: STRING, timestampTimezone: STRING, type: STRING>>
minRawLength	BIGINT
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

grok_patterns

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
content	STRING
size	BIGINT
tags	STRING

Champ	Type de données
group	STRING
id	STRING
content	STRING
size	BIGINT
tags	STRING

schemas

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
description	STRING
schema	STRING
tags	STRING

Champ	Type de données
group	STRING
id	STRING
description	STRING
schema	STRING
tags	STRING

collectors

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
type	STRING
description	STRING
environment	STRING
ttl	STRING
savedQueryId	STRING
__template_streamtags	STRING
resumeOnBoot	BOOLEAN
workerAffinity	BOOLEAN
ignoreGroupJobsLimit	BOOLEAN
removeFields	ARRAY<STRING>
streamtags	ARRAY<STRING>
collector	STRUCT<conf: VARIANT, destructive: BOOLEAN, encoding: STRING, type: STRING>
executor	STRUCT<conf: VARIANT, storeTaskResults: BOOLEAN, type: STRING>
input	STRUCT<breakerRulesets: ARRAY<STRING>, metadata: ARRAY<STRUCT<name: STRING, value: STRING>>, output: STRING, pipeline: STRING, preprocess: STRUCT<args: ARRAY<STRING>, command: STRING, disabled: BOOLEAN>, sendToRoutes: BOOLEAN, staleChannelFlushMs: DOUBLE, throttleRatePerSec: STRING, type: STRING>
schedule	STRUCT<cronSchedule: STRING, enabled: BOOLEAN, maxConcurrentRuns: BIGINT, resumeMissed: BOOLEAN, run: MAP<STRING, VARIANT>, skippable: BOOLEAN>
history	VARIANT
savedState	MAP<STRING, STRUCT<data: MAP<STRING, VARIANT>>>
notifications	ARRAY<STRUCT<condition: STRING, conf: VARIANT, disabled: BOOLEAN,Groupe: STRING, id: STRING, metadata: ARRAY<STRUCT<name: STRING, value: STRING>>, mode: STRING, pack: STRING, targetConfigs: ARRAY<STRUCT<conf: VARIANT, id: STRING>>, targets: ARRAY<STRING>, templateTargetPairs: ARRAY<STRUCT<targetId: STRING, templateId: STRING>>>>

Champ	Type de données
group	STRING
id	STRING
type	STRING
description	STRING
environment	STRING
ttl	STRING
savedQueryId	STRING
__template_streamtags	STRING
resumeOnBoot	BOOLEAN
workerAffinity	BOOLEAN
ignoreGroupJobsLimit	BOOLEAN
removeFields	ARRAY<STRING>
streamtags	ARRAY<STRING>
collector	STRUCT<conf: VARIANT, destructive: BOOLEAN, encoding: STRING, type: STRING>
executor	STRUCT<conf: VARIANT, storeTaskResults: BOOLEAN, type: STRING>
input	STRUCT<breakerRulesets: ARRAY<STRING>, metadata: ARRAY<STRUCT<name: STRING, value: STRING>>, output: STRING, pipeline: STRING, preprocess: STRUCT<args: ARRAY<STRING>, command: STRING, disabled: BOOLEAN>, sendToRoutes: BOOLEAN, staleChannelFlushMs: DOUBLE, throttleRatePerSec: STRING, type: STRING>
schedule	STRUCT<cronSchedule: STRING, enabled: BOOLEAN, maxConcurrentRuns: BIGINT, resumeMissed: BOOLEAN, run: MAP<STRING, VARIANT>, skippable: BOOLEAN>
history	VARIANT
savedState	MAP<STRING, STRUCT<data: MAP<STRING, VARIANT>>>
notifications	ARRAY<STRUCT<condition: STRING, conf: VARIANT, disabled: BOOLEAN,Groupe: STRING, id: STRING, metadata: ARRAY<STRUCT<name: STRING, value: STRING>>, mode: STRING, pack: STRING, targetConfigs: ARRAY<STRUCT<conf: VARIANT, id: STRING>>, targets: ARRAY<STRING>, templateTargetPairs: ARRAY<STRUCT<targetId: STRING, templateId: STRING>>>>

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

database_connections

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
databaseType	STRING
authType	STRING
description	STRING
tags	STRING
connectionTimeout	BIGINT
requestTimeout	BIGINT
tls	STRUCT<caPath: STRING, certPath: STRING, certificateName: STRING, disabled: BOOLEAN, maxVersion: STRING, minVersion: STRING, privKeyPath: STRING, rejectUnauthorized: BOOLEAN, servername: STRING>

Champ	Type de données
group	STRING
id	STRING
databaseType	STRING
authType	STRING
description	STRING
tags	STRING
connectionTimeout	BIGINT
requestTimeout	BIGINT
tls	STRUCT<caPath: STRING, certPath: STRING, certificateName: STRING, disabled: BOOLEAN, maxVersion: STRING, minVersion: STRING, privKeyPath: STRING, rejectUnauthorized: BOOLEAN, servername: STRING>

packs

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
source	STRING
version	STRING
description	STRING
displayName	STRING
author	STRING
tags	VARIANT
raw	VARIANT

Champ	Type de données
group	STRING
id	STRING
source	STRING
version	STRING
description	STRING
displayName	STRING
author	STRING
tags	VARIANT
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

inputs_status

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
type	STRING
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
health	STRING
status_timestamp	BIGINT

Champ	Type de données
group	STRING
id	STRING
type	STRING
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
health	STRING
status_timestamp	BIGINT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

outputs_status

Clé principale : group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
group	STRING
id	STRING
type	STRING
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
health	STRING
status_timestamp	BIGINT

Champ	Type de données
group	STRING
id	STRING
type	STRING
status	STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, pq: STRUCT<error: STRUCT<details: MAP<STRING, VARIANT>, message: STRING>, health: STRING, healthCounts: STRUCT<Green: BIGINT, Red: BIGINT, Unknown: BIGINT, Yellow: BIGINT>, metrics: MAP<STRING, VARIANT>, timestamp: BIGINT>, timestamp: BIGINT, useStatusFromLB: BOOLEAN>
health	STRING
status_timestamp	BIGINT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

functions

Clé principale : worker_group, id

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
worker_group	STRING
id	STRING
name	STRING
version	STRING
group	STRING
disabled	BOOLEAN
handleSignals	BOOLEAN
sync	BOOLEAN
__filename	STRING
loadTime	DOUBLE
modTime	DOUBLE
asyncTimeout	DOUBLE
cribl_version	STRING
schema	MAP<STRING, VARIANT>
uischema	MAP<STRING, VARIANT>

Champ	Type de données
worker_group	STRING
id	STRING
name	STRING
version	STRING
group	STRING
disabled	BOOLEAN
handleSignals	BOOLEAN
sync	BOOLEAN
__filename	STRING
loadTime	DOUBLE
modTime	DOUBLE
asyncTimeout	DOUBLE
cribl_version	STRING
schema	MAP<STRING, VARIANT>
uischema	MAP<STRING, VARIANT>

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

workspaces

Clé primaire : workspaceId

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
workspaceId	STRING
region	STRING
leaderFQDN	STRING
state	STRING
alias	STRING
description	STRING
tags	ARRAY<STRING>

Champ	Type de données
workspaceId	STRING
region	STRING
leaderFQDN	STRING
state	STRING
alias	STRING
description	STRING
tags	ARRAY<STRING>

api_credentials

Clé primaire : clientId

Mode de synchronisation : refresh complète uniquement

Champ	Type de données
name	STRING
description	STRING
enabled	BOOLEAN
organizationId	STRING
clientId	STRING
roles	VARIANT
organizationRole	STRING
createdBy	STRING
createdDate	TIMESTAMP
lastUpdatedBy	STRING
lastUpdatedDate	TIMESTAMP
ipAllowlist	ARRAY<STRING>

Champ	Type de données
name	STRING
description	STRING
enabled	BOOLEAN
organizationId	STRING
clientId	STRING
roles	VARIANT
organizationRole	STRING
createdBy	STRING
createdDate	TIMESTAMP
lastUpdatedBy	STRING
lastUpdatedDate	TIMESTAMP
ipAllowlist	ARRAY<STRING>

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

audit_log

Clé principale : time, event_id

Champ de curseur : time

Champ	Type de données
time	TIMESTAMP
action	STRING
type	STRING
user	STRING
principal	STRING
id	STRING
requestId	STRING
group	STRING
event_id	BIGINT
raw	VARIANT

Champ	Type de données
time	TIMESTAMP
action	STRING
type	STRING
user	STRING
principal	STRING
id	STRING
requestId	STRING
group	STRING
event_id	BIGINT
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.

access_log

Clé principale : time, event_id

Champ de curseur : time

Champ	Type de données
time	TIMESTAMP
src	STRING
user	STRING
method	STRING
url	STRING
status	BIGINT
message	STRING
response_time	BIGINT
requestId	STRING
cid	STRING
stats	VARIANT
event_id	BIGINT
raw	VARIANT

Champ	Type de données
time	TIMESTAMP
src	STRING
user	STRING
method	STRING
url	STRING
status	BIGINT
message	STRING
response_time	BIGINT
requestId	STRING
cid	STRING
stats	VARIANT
event_id	BIGINT
raw	VARIANT

remarque

Cette table ne prend pas en charge le SCD de type 2 car elle comporte des colonnes VARIANT.