Pular para o conteúdo principal
Última atualização em

Limitações do conector Zerobus Ingest

info

Visualização

O conector Zerobus Ingest está em versão prévia pública.

Esta página lista as limitações ao usar o conector Zerobus Ingest no LakeFlow Connect.

Durabilidade​

Oferecemos suporte apenas à durabilidade de zona de disponibilidade única (single-az). Isso significa que nosso serviço poderá ficar indisponível caso nossa zona esteja fora de serviço.

Restrições de taxa de transferência​

  • Mesmo AZ
  • 100 MB/segundo por transmissão (testado com mensagens de 1 KB)
  • 15.000 linhas por segundo por transmissão

A taxa máxima de transferência pode ser alcançada quando um aplicativo cliente e endpoint estão na mesma região geográfica. Caso necessite de uma taxa de transferência mais elevada, entre em contato com o seu representante account Databricks .

Garantias de entrega​

O conector oferece apenas garantias de "pelo menos uma vez".

espaço de trabalho​

O workspace deve estar em uma das seguintes regiões:

  • us-east-1
  • us-east-2
  • us-west-2
  • eu-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ca-central-1
  • eu-west-1

Tabela alvo​

  • Só permitimos a escrita em tabelas Delta gerenciais. Não oferecemos suporte à gravação em armazenamento gerenciado.

  • Não oferecemos suporte à recriação de uma tabela de destino.

  • Só aceitamos nomes de tabelas com letras ASCII, dígitos e sublinhados.

  • As seguintes regiões são suportadas:

    • us-east-1
    • us-east-2
    • us-west-2
    • eu-central-1
    • ap-southeast-1
    • ap-southeast-2
    • ap-northeast-1
    • ca-central-1
    • eu-west-1

evolução do esquema​

O Zerobus Ingest nunca evoluirá automaticamente sua tabela de destino.

O Zerobus Ingest suporta a ingestão contínua quando colunas Delta anuláveis são adicionadas à tabela de destino. As colunas ausentes são preenchidas com valores NULL , permitindo o envio de registros com campos faltantes.

Esquema Protobuf​

A definição do esquema protobuf deve corresponder exatamente ao esquema da tabela Delta (excluindo colunas delta adicionais que podem ser anuladas e que são consideradas uma alteração de esquema não incompatível).

Caso contrário, a API retorna um erro. Isso inclui:

  • Número de colunas

  • Nomes das colunas

  • A opcionalidade das colunas deve ser a mesma entre os esquemas Delta e Protobuf.

  • Não oferecemos suporte a esquemas proto com mais de 2000 colunas.

  • Só aceitamos nomes de tabelas e colunas com letras/dígitos/sublinhados ASCII.

  • Não oferecemos suporte ao uso de um esquema de protocolo diferente para “criação de transmissão” e “registro de ingestão”.

Tamanho do registro​

Cada mensagem individual está limitada a um tamanho de 10 MB. O tamanho máximo do registro é de 10.485.760 bytes. Os cabeçalhos necessários para a comunicação ocupam 19 bytes.

Suporte de tipo​

Tipos Delta

Tipos Protobuf

Integer

Int32

String

String

Float

Float

Long

Int64

Short

Int32

Double

Double

Booleana

Bool

binário

bytes

Data*

Int32

Carimbo de data/hora**

Int64

matriz<TYPE>

TIPO repetido

Mapa<K,V>

map<K,V>

struct<FIELDS>

mensagem aninhada { FIELDS }

Variante****

String

*Deve ser convertido para int32 (número de dias desde a época)

** Deve ser convertido para int64 (tempo de época em microssegundos)

***O açúcar sintático Protobuf o mapa está disponível apenas para compiladores Protobuf versão 3 e superiores.

****A variante deve ser ingerida como uma string codificada JSONcom chave do tipo STRING. O conector grava os dados na coluna sem fragmentação. Os formatos suportados incluem:

  • Objetos: "{\"id\":0,\"example\":\"this is variant example\"}"
  • Primitivos: "5", "3.14", "\"string\""
  • Matrizes: "[1,2,3]"