Conector Cribl

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do Workspace deve ativar o Lakeflow Connect for Cribl na página Pré-visualizações. Consulte Gerenciar prévias do Databricks.

O conector Cribl gerenciado no Lakeflow Connect importa configurações, status de worker, metadados da organização e logs de auditoria e acesso do Leader do Cribl.Cloud para o Databricks.

Disponibilidade de recursos

Recurso	Disponibilidade
Criação de pipeline baseada em interface do usuário	Suportado
Autorização de pipeline baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão incremental	Suportado
Governança do Unity Catalog	Suportado
Orquestração usando Databricks Workflows	Suportado
Seleção e deseleção de coluna baseada em API	Suportado
Filtragem de linhas baseada em API	Não suportado
SCD Tipo 2	Suportado Tabelas com colunas VARIANT (workers, pipelines, sources, destinations, parsers, breakers, collectors, packs, inputs_status, outputs_status, functions, api_credentials, audit_log, access_log) não são compatíveis com SCD tipo 2.
Evolução automatizada do esquema: colunas novas e excluídas	Suportado
Evolução automatizada do esquema: alterações de tipo de dados	Não suportado
Evolução automatizada do esquema: Renomeação de colunas	Não suportado Requer um refresh completo.

Recurso	Disponibilidade
Criação de pipeline baseada em interface do usuário	Suportado
Autorização de pipeline baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão incremental	Suportado
Governança do Unity Catalog	Suportado
Orquestração usando Databricks Workflows	Suportado
Seleção e deseleção de coluna baseada em API	Suportado
Filtragem de linhas baseada em API	Não suportado
SCD Tipo 2	Suportado Tabelas com colunas VARIANT (workers, pipelines, sources, destinations, parsers, breakers, collectors, packs, inputs_status, outputs_status, functions, api_credentials, audit_log, access_log) não são compatíveis com SCD tipo 2.
Evolução automatizada do esquema: colunas novas e excluídas	Suportado
Evolução automatizada do esquema: alterações de tipo de dados	Não suportado
Evolução automatizada do esquema: Renomeação de colunas	Não suportado Requer um refresh completo.

Métodos de autenticação

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Suportado ID do cliente e segredo do cliente de uma credencial da API Cribl.Cloud.
Autenticação básica (nome de usuário/senha)	Não suportado

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Suportado ID do cliente e segredo do cliente de uma credencial da API Cribl.Cloud.
Autenticação básica (nome de usuário/senha)	Não suportado

Ingerir do Cribl.Cloud em 3 os passos

nota

Antes de começar, revise a persona de usuário do Databricks, as interfaces suportadas, a frequência de ingestão e os padrões comuns.

1. Configurar Cribl.Cloud para ingestão (Administradores): Configure o Cribl.Cloud para autenticar com o Databricks.
2. Criar uma conexão do Unity Catalog (Administradores): Crie uma conexão no Catalog Explorer para armazenar credenciais para o Databricks autenticar com o Cribl.Cloud.
3. Criar um pipeline de ingestão (Administradores ou não administradores): Selecione qualquer interface compatível e crie um pipeline a partir de uma conexão existente.