Conector Kafka

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

O conector Kafka gerenciado no LakeFlow Connect permite ingerir dados de tópicos do Apache Kafka em tabelas de transmissão no Databricks.

Você também pode rotear registros de uma única origem Kafka para várias tabelas de destino com base em uma chave de roteamento por registro (distribuição, em Private Preview). Consulte Roteie registros para várias tabelas (distribuição).

Componentes do conector Kafka

Componente	Descrição
Conexão	Um objeto protegível do Unity Catalog que armazena o endereço do servidor bootstrap e as credenciais de autenticação do seu cluster Kafka. O conector Kafka gerenciado usa esta conexão para autenticar sem exigir credenciais na sua configuração de pipeline.
Pipeline de ingestão	Um pipeline que lê continuamente de um ou mais tópicos Kafka e grava os resultados em tabelas de transmissão. O pipeline executa em compute serverless.
Tabelas de destino	As tabelas de transmissão onde o pipeline de ingestão grava os dados.

Componente	Descrição
Conexão	Um objeto protegível do Unity Catalog que armazena o endereço do servidor bootstrap e as credenciais de autenticação do seu cluster Kafka. O conector Kafka gerenciado usa esta conexão para autenticar sem exigir credenciais na sua configuração de pipeline.
Pipeline de ingestão	Um pipeline que lê continuamente de um ou mais tópicos Kafka e grava os resultados em tabelas de transmissão. O pipeline executa em compute serverless.
Tabelas de destino	As tabelas de transmissão onde o pipeline de ingestão grava os dados.

Comece a ingerir dados do Apache Kafka.

A tabela a seguir fornece uma visão geral do fluxo de ingestão do Kafka de ponta a ponta, com base no tipo de usuário:

Usuário	os passos
Administrador	Use o Catalog Explorer para criar uma conexão para que qualquer usuário com USE CONNECTION ou ALL PRIVILEGES possa criar pipelines. Consulte Criar uma conexão Kafka.
Não administrador	Use qualquer interface compatível para criar um pipeline a partir de uma conexão existente. Consulte Ingerir dados do Apache Kafka.

Usuário	os passos
Administrador	Use o Catalog Explorer para criar uma conexão para que qualquer usuário com USE CONNECTION ou ALL PRIVILEGES possa criar pipelines. Consulte Criar uma conexão Kafka.
Não administrador	Use qualquer interface compatível para criar um pipeline a partir de uma conexão existente. Consulte Ingerir dados do Apache Kafka.

Disponibilidade de recursos

Recurso	Disponibilidade
Criação de pipelines via interface do usuário	Não suportado (Beta)
Criação de pipelines baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão contínua de transmissão	Suportado
Governança do Unity Catalog	Suportado
Orquestração com o Databricks Workflows	Não suportado
SCD tipo 2	Não suportado
Seleção e desseleção de coluna	Não suportado (Beta)
Filtragem de linha	Não suportado
Evolução automática do esquema: Novas colunas	Suportado
Evolução do esquema automatizada: Alterações de tipo de dados	Não suportado
Evolução do esquema automatizada: Renomeação de colunas	Não suportado

Recurso	Disponibilidade
Criação de pipelines via interface do usuário	Não suportado (Beta)
Criação de pipelines baseada em API	Suportado
Pacotes de Automação Declarativa	Suportado
Ingestão contínua de transmissão	Suportado
Governança do Unity Catalog	Suportado
Orquestração com o Databricks Workflows	Não suportado
SCD tipo 2	Não suportado
Seleção e desseleção de coluna	Não suportado (Beta)
Filtragem de linha	Não suportado
Evolução automática do esquema: Novas colunas	Suportado
Evolução do esquema automatizada: Alterações de tipo de dados	Não suportado
Evolução do esquema automatizada: Renomeação de colunas	Não suportado

Métodos de autenticação

Método de autenticação	Disponibilidade
Nome de usuário e senha	Suportado
Credencial de serviço	Suportado
OAuth U2M	Não suportado
OAuth M2M	Não suportado

Método de autenticação	Disponibilidade
Nome de usuário e senha	Suportado
Credencial de serviço	Suportado
OAuth U2M	Não suportado
OAuth M2M	Não suportado