Limitações do conector Zerobus Ingest

info

Visualização

O conector Zerobus Ingest está em visualização pública. Para experimentar, entre em contato com seu representante account Databricks .

Esta página lista as limitações ao usar o conector Zerobus Ingest no LakeFlow Connect.

Durabilidade

Oferecemos suporte apenas à durabilidade de zona de disponibilidade única (single-az). Isso significa que nosso serviço pode sofrer indisponibilidade se nossa zona estiver indisponível.

Restrições de taxa de transferência

• Mesma AZ
• 100 MB/segundo por transmissão (comparado com mensagens de 1 KB)
• 15.000 linhas por segundo por transmissão

A taxa máxima de transferência pode ser alcançada quando um aplicativo cliente e endpoint estão na mesma região geográfica. Se precisar de taxas de transferência mais altas, entre em contato com seu representante account Databricks .

Garantias de entrega

O conector só fornece garantias de pelo menos uma vez.

espaço de trabalho

O workspace deve estar em uma das seguintes regiões:

• us-east-1
• us-east-2
• us-west-2
• eu-central-1
• ap-southeast-1
• ap-southeast-2
• ap-northeast-1
• ca-central-1
• eu-west-1

Tabela de alvos

• Oferecemos suporte somente para gravação em tabelas Delta gerenciais. Não oferecemos suporte à gravação no armazenamento gerenciar.

• Não oferecemos suporte à recriação de uma tabela de destino.

• Nós somente suportamos nomes de tabelas com letras ASCII, dígitos e sublinhados.

• As seguintes regiões são suportadas:

  • us-east-1
  • us-east-2
  • us-west-2
  • eu-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ca-central-1
  • eu-west-1

evolução do esquema

Não apoiamos a evolução do esquema na tabela de metas.

Esquema Protobuf

• A definição do esquema protobuf deve corresponder 1:1 ao esquema da tabela Delta. Caso contrário, a API retornará um erro. Isso inclui:

  • Número de colunas
  • Nomes de colunas
  • A opcionalidade da coluna deve corresponder entre os esquemas Delta e Protobuf

• Não oferecemos suporte a esquemas proto com mais de 2.000 colunas.

• Nós somente suportamos nomes de tabelas e colunas com letras/dígitos/sublinhados ASCII.

• Não oferecemos suporte ao uso de um esquema proto diferente para “criação de transmissão” e “registro de ingestão”.

Tamanho do registro

Cada mensagem individual é limitada a 4 MB de tamanho. O tamanho máximo do registro é 4.194.285 bytes. Os cabeçalhos necessários para comunicação ocupam 19 bytes.

Suporte de tipo

Tipos Delta	Tipos Protobuf
Integer	Int32
String	String
Float	Float
Long	Int64
Short	Int32
Double	Double
Booleana	Bool
binário	bytes
Data*	Int32
Carimbo de data e hora**	Int64
matriz<TYPE>	TIPO repetido
Mapa<K,V>	map<K,V>
struct<FIELDS>	mensagem aninhada { FIELDS }

*Deve ser convertido para int32 (número de dias desde a época)

** Deve ser convertido para int64 (tempo de época em microssegundos)

***O mapa Protobuf açúcar sintático está disponível apenas para compiladores Protobuf versão 3 e acima