Limitações do conector Zerobus Ingest

info

Visualização

O conector Zerobus Ingest está em versão prévia pública. Para experimentar, entre em contato com seu representante account Databricks .

Esta página lista as limitações ao usar o conector Zerobus Ingest no LakeFlow Connect.

Durabilidade

Oferecemos suporte apenas à durabilidade de zona de disponibilidade única (single-az). Isso significa que nosso serviço poderá ficar indisponível caso nossa zona esteja fora de serviço.

Restrições de taxa de transferência

• Mesmo AZ
• 100 MB/segundo por transmissão (testado com mensagens de 1 KB)
• 15.000 linhas por segundo por transmissão

A taxa máxima de transferência pode ser alcançada quando um aplicativo cliente e endpoint estão na mesma região geográfica. Caso necessite de uma taxa de transferência mais elevada, entre em contato com o seu representante account Databricks .

Garantias de entrega

O conector oferece apenas garantias de "pelo menos uma vez".

espaço de trabalho

O workspace deve estar em uma das seguintes regiões:

• us-east-1
• us-east-2
• us-west-2
• eu-central-1
• ap-southeast-1
• ap-southeast-2
• ap-northeast-1
• ca-central-1
• eu-west-1

Tabela alvo

• Só permitimos a escrita em tabelas Delta gerenciais. Não oferecemos suporte à gravação em armazenamento gerenciado.

• Não oferecemos suporte à recriação de uma tabela de destino.

• Só aceitamos nomes de tabelas com letras ASCII, dígitos e sublinhados.

• As seguintes regiões são suportadas:

  • us-east-1
  • us-east-2
  • us-west-2
  • eu-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ca-central-1
  • eu-west-1

evolução do esquema

Não apoiamos a evolução do esquema na tabela de metas.

Esquema Protobuf

• A definição do esquema protobuf deve corresponder exatamente ao esquema da tabela Delta. Caso contrário, a API retorna um erro. Isso inclui:

  • Número de colunas
  • Nomes das colunas
  • A opcionalidade das colunas deve ser a mesma entre os esquemas Delta e Protobuf.

• Não oferecemos suporte a esquemas proto com mais de 2000 colunas.

• Só aceitamos nomes de tabelas e colunas com letras/dígitos/sublinhados ASCII.

• Não oferecemos suporte ao uso de um esquema de protocolo diferente para “criação de transmissão” e “registro de ingestão”.

Tamanho do registro

Cada mensagem individual está limitada a um tamanho de 4 MB. O tamanho máximo do registro é de 4.194.285 bytes. Os cabeçalhos necessários para a comunicação ocupam 19 bytes.

Suporte de tipo

Tipos Delta	Tipos Protobuf
Integer	Int32
String	String
Float	Float
Long	Int64
Short	Int32
Double	Double
Booleana	Bool
binário	bytes
Data*	Int32
Carimbo de data/hora**	Int64
matriz<TYPE>	TIPO repetido
Mapa<K,V>	map<K,V>
struct<FIELDS>	mensagem aninhada { FIELDS }

*Deve ser convertido para int32 (número de dias desde a época)

** Deve ser convertido para int64 (tempo de época em microssegundos)

***O açúcar sintático Protobuf o mapa está disponível apenas para compiladores Protobuf versão 3 e superiores.