Conector Celigo

info

Beta

Este recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Para usar o conector Celigo, um administrador do workspace deve habilitar a pré-visualização Lakeflow Connect - Celigo na página Pré-visualizações .

O conector gerenciado da Celigo no Lakeflow Connect ingere eventos de log de auditoria, como operações de criação, atualização e exclusão de recursos, da Celigo para o Databricks.

Disponibilidade de recursos

Recurso	Disponibilidade
Criação de pipeline baseada em interface do usuário	Suportado
Criação de pipeline baseada em API	Suportado
Declarative Automation Bundles	Suportado
Ingestão incremental	Suportado
Governança do Unity Catalog	Suportado
Orquestração usando o Databricks Workflows	Suportado
Seleção e desativação de colunas com base em API	Suportado
Filtragem de linhas baseada em API	Não suportado
SCD tipo 2	Suportado A tabela audit_logs registra eventos imutáveis (somente anexação).
Evolução do esquema automatizada: colunas novas e excluídas	Suportado
Evolução automatizada do esquema: alterações no tipo de dados	Não suportado
Evolução automatizada do esquema: renomeações de colunas	Não suportado Requer um refresh completo.

Recurso	Disponibilidade
Criação de pipeline baseada em interface do usuário	Suportado
Criação de pipeline baseada em API	Suportado
Declarative Automation Bundles	Suportado
Ingestão incremental	Suportado
Governança do Unity Catalog	Suportado
Orquestração usando o Databricks Workflows	Suportado
Seleção e desativação de colunas com base em API	Suportado
Filtragem de linhas baseada em API	Não suportado
SCD tipo 2	Suportado A tabela audit_logs registra eventos imutáveis (somente anexação).
Evolução do esquema automatizada: colunas novas e excluídas	Suportado
Evolução automatizada do esquema: alterações no tipo de dados	Não suportado
Evolução automatizada do esquema: renomeações de colunas	Não suportado Requer um refresh completo.

Métodos de autenticação

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Não suportado
Autenticação básica (nome de usuário/senha)	Não suportado
Autenticação básica (key de API)	Suportado Token da API com acesso total do Celigo integrator.io.

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Não suportado
Autenticação básica (nome de usuário/senha)	Não suportado
Autenticação básica (key de API)	Suportado Token da API com acesso total do Celigo integrator.io.

Ingerir do Celigo em três os passos

nota

Antes de começar, revise a persona de usuário do Databricks, as interfaces com suporte, a frequência de ingestão e os padrões comuns.

1. Configurar o Celigo para ingestão (Administradores) — Configure o Celigo para se autenticar com o Databricks.
2. Criar uma conexão do Unity Catalog (Administradores) — Crie uma conexão no Catalog Explorer para armazenar as credenciais para o Databricks se autenticar com o Celigo.
3. Create an ingestion pipeline (Admins or non-admins) — Select any supported interface and create a pipeline from an existing connection.