Referência do conector Kafka

Esta página contém documentação de referência para o conector Kafka gerenciado no Lakeflow Connect.

Opções de conector

As seguintes opções configuram a fonte do Kafka para cada tabela de destino no pipeline de ingestão. Especifique estas opções em connector_options.kafka_options na definição do pipeline. Consulte Exemplos para obter exemplos completos de pipeline.

Opção	Tipo	Padrão	Descrição
topics	Lista de strings	—	Lista de nomes de tópicos para assinar. Mutuamente exclusivo com topic_pattern. É necessário topics ou topic_pattern.
topic_pattern	String	—	Expressões regulares em Java para correspondência de nomes de tópicos aos quais se inscrever. Mutuamente exclusivo com topics.
starting_offset	String	latest	Por onde começar a leitura quando não há ponto de verificação (somente na primeira execução)? Valores válidos: latest, earliest.
key_transformer	Transformer	—	Configuração do desserializador para chaves de mensagem. Se não for definida, a coluna key é mantida como BINARY. Consulte as opções do Transformer.
value_transformer	Transformer	—	Configuração do desserializador para valores de mensagem. Se não for definida, a coluna de valor será mantida como BINARY. Consulte Opções do Transformer.

Opções do Transformer

Os transformadores definem como as keys e valores de mensagens binárias do Kafka são desserializados em colunas estruturadas. Especifique o formato de serialização e as opções correspondentes específicas do formato em key_transformer ou value_transformer. É possível configurar um transformador para a key, o valor, ou ambos de forma independente. Se nenhum transformador for definido, a coluna será retida como BINARY.

Para JSON, você pode fornecer um esquema explícito, usar inferência de esquema com evolução ou omitir json_options inteiramente para armazenar o valor como uma coluna VARIANT.

Opção	Aplica-se a	Tipo	Padrão	Descrição
format	Todos	String	—	Formato de serialização dos dados. Valores válidos: STRING, JSON. STRING não exige opções adicionais. Se nenhum json_options for especificado no transformador, o valor é analisado como Variante por padrão. Consulte Formato de Dados Variante para obter mais informações.
json_options.schema	JSON	String	—	Esquema em linha no formato DDL do Spark (por exemplo, "id BIGINT, name STRING"). Mutuamente exclusivo com schema_file_path.
json_options.schema_file_path	JSON	String	—	Caminho para um arquivo de esquema .ddl. Mutuamente exclusivo com schema. Oferece suporte a caminhos de Volumes do Unity Catalog (/Volumes/...).
json_options.schema_evolution_mode	JSON	String	—	Modo de evolução do esquema para inferência automática do esquema. Consulte Modos de Evolução do Esquema.
json_options.schema_hints	JSON	String	—	Pares "column_name type" separados por vírgula para influenciar a inferência de esquema (por exemplo, "id BIGINT, ts TIMESTAMP"). É necessário definir schema_evolution_mode. Consulte Substituir a inferência de esquema usando dicas de esquema.

Propriedades de conexão

Ao criar a conexão do Unity Catalog com o Kafka no Catalog Explorer, você deve especificar as seguintes propriedades, dependendo do método de autenticação. Consulte Criar uma conexão Kafka para obter instruções sobre como criar uma conexão.

Nome de usuário e senha

Propriedade	Descrição
Nome da conexão	Um nome exclusivo para a conexão do Unity Catalog.
Tipo de conexão	Select Kafka .
Tipo de autenticação	Selecione **Nome de usuário e senha**.
Nome de usuário	O nome de usuário usado para autenticar com o cluster Kafka.
Senha	A senha usada para autenticar com o cluster Kafka.
Servidores bootstrap	O endereço do servidor de inicialização do cluster Kafka (por exemplo, broker1:9092,broker2:9092).
URL do registro de esquema (opcional)	O URL do seu registro de esquema.
API key do registro de esquema (opcional)	A API key para o seu registro de esquema.
Segredo da API de registro de esquema (opcional)	O segredo da API para o seu registro de esquema.

Credencial de Serviço

Propriedade	Descrição
Nome da conexão	Um nome exclusivo para a conexão do Unity Catalog.
Tipo de conexão	Select Kafka .
Tipo de autenticação	Selecione **Credencial de serviço**.
Credencial de serviço	Selecione uma credencial de serviço do Unity Catalog existente ou clique em Criar nova credencial de serviço .
Servidores bootstrap	O endereço do servidor de inicialização do cluster Kafka (por exemplo, broker1:9092,broker2:9092).
URL do registro de esquema (opcional)	O URL do seu registro de esquema.
API key do registro de esquema (opcional)	A API key para o seu registro de esquema.
Segredo da API de registro de esquema (opcional)	O segredo da API para o seu registro de esquema.

Esquema da tabela de destino

O conector Kafka grava em tabelas de transmissão (somente acréscimo). As colunas gravadas na tabela de destino dependem se os transformadores estão configurados.

Sem transformadores (binário bruto)

Quando nenhum key_transformer ou value_transformer está configurado, a tabela de destino contém as seguintes colunas:

Coluna	Tipo	Descrição
key	BINARY	O conteúdo binário bruto da chave da mensagem do Kafka.
value	BINARY	O conteúdo binário bruto do valor da mensagem Kafka.

Com um transformador STRING

Quando format: STRING é definido em um transformador, a coluna correspondente é escrita como STRING em vez de BINARY.

Com um transformador JSON

Quando format: JSON é definido em um transformador:

• Se nenhum(a) json_options for/forem especificado(a)s, a coluna será escrita como VARIANT.
• Se json_options.schema ou json_options.schema_file_path for especificado, o JSON é analisado em colunas tipadas correspondentes ao esquema.
• Se json_options.schema_evolution_mode estiver definido, a inferência de esquema será usada e o esquema evoluirá automaticamente.

nota

As colunas de metadados do Kafka — incluindo topic, partition, offset, timestamp, timestampType e headers — não estão disponíveis na tabela de destino em Beta.