Pular para o conteúdo principal
Última atualização em

Limitações do conector Zerobus Ingest

Esta página lista as limitações ao usar o conector Zerobus Ingest no LakeFlow Connect.

Disponibilidade​

O conector Zerobus Ingest está disponível nas seguintes regiões:

  • us-east-1
  • us-east-2
  • us-west-2
  • ca-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ap-northeast-2
  • ap-south-1
  • eu-central-1
  • eu-west-1
  • eu-west-2
  • sa-east-1

Todas as regiões disponíveis oferecem disponibilidade de serviço multizonal.

Latência​

A latência reflete tanto o reconhecimento da durabilidade quanto o tempo necessário para que os registros sejam materializados na tabela Delta de destino. Os tempos reais variam de acordo com o alinhamento regional e as características da carga de trabalho.

  • Tempo até a durabilidade

    • P95 ≤ 500 ms
    • P50 ≤ 200 ms

  • Hora da mesa

    • P95 ≤ 30 segundos
    • P50 ≤ 5 segundos

Restrições de taxa de transferência​

  • 100 MB/segundo por transmissão (testado com mensagens de 1 KB)
  • 10 GB/segundo por tabela de destino
  • 15.000 registros por segundo por transmissão

Para maximizar a arrecadação de impostos sobre transferências, o aplicativo cliente e endpoint devem estar na mesma região geográfica. Caso necessite de uma taxa de transferência mais elevada, entre em contato com o seu representante account Databricks .

Garantias de entrega​

O conector Zerobus Ingest oferece apenas garantias de "pelo menos uma vez".

Cotas​

Abaixo estão as quotas default para o conector Zerobus Ingest. Se você precisar de um desempenho superior, entre em contato com seu representante account Databricks .

gRPC

  • 100 MB por segundo Taxa de transferência por transmissão
  • Taxa de transferência de 10 GB por segundo por tabela de destino

REST

  • 10.000 solicitações por segundo

Tabelas particionadas​

Ao gravar em tabelas particionadas, o conector Zerobus Ingest não suporta a gravação em mais de 1000 partições em intervalos de 5 segundos.

O Zerobus Ingest não suporta commits de gerenciamento de catálogo. Não utilize o Zerobus Ingest para tabelas Delta com o recurso de confirmação de gerenciamento de catálogo ativado.

espaço de trabalho e tabela de destino​

As seguintes condições workspace e tabela de destino são necessárias para a ingestão.

  • O conector suporta apenas a escrita em tabelas Delta gerenciadas. A gravação no armazenamento default não é suportada.
  • O conector não suporta a gravação em tabelas clusterizadas Liquid.
  • O conector não suporta a recriação de uma tabela de destino.
  • O conector suporta apenas nomes de tabelas com letras ASCII, dígitos e sublinhados.
  • Tanto o workspace quanto a tabela de destino precisam estar em uma das regiões disponíveis e ambos na mesma região.

evolução do esquema​

O Zerobus Ingest nunca evoluirá automaticamente sua tabela de destino.

O Zerobus Ingest suporta a ingestão contínua quando colunas Delta anuláveis são adicionadas à tabela de destino. As colunas ausentes são preenchidas com valores NULL , permitindo que você envie registros com campos faltantes.

Esquema Protobuf​

A definição do esquema protobuf deve corresponder exatamente ao esquema da tabela Delta (excluindo colunas delta adicionais que podem aceitar valores nulos, as quais são consideradas uma alteração de esquema não incompatível). Se o esquema não corresponder, a API retorna um erro. Isso inclui:

  • Número diferente de colunas

  • Nomes de coluna diferentes

  • Diferentes opções de coluna (valores nulos e valores não nulos)

  • O conector não suporta esquemas proto com mais de 2000 colunas.

  • O conector suporta apenas nomes de tabelas e colunas com letras ASCII, dígitos e sublinhados.

  • O conector não suporta o uso de um esquema de protocolo diferente para as operações de “criação de transmissão” e “registro de ingestão”.

Tamanho do registro​

Cada mensagem está limitada a 10 MB. O tamanho máximo do registro é de 10.485.760 bytes. Os cabeçalhos necessários para a comunicação ocupam 19 bytes.

Suporte de tipo​

A tabela a seguir mostra os tipos Delta suportados e seus respectivos tipos Protobuf para ingestão.

Tipos Delta

Tipos Protobuf

INTEGER

int32

STRING

string

FLOAT

float

LONG

int64

SHORT

int32

DOUBLE

double

BOOLEAN

bool

BINARY

bytes

DATE

Deve ser convertido para int32 (número de dias desde a época).

int32

TIMESTAMP

Deve ser convertido para int64 (tempo de época em microssegundos).

int64

ARRAY<TYPE>

repeated TYPE

MAP<K,V>

map<K,V>

O açúcar sintático map Protobuf está disponível apenas para compiladores Protobuf versão 3 e superiores.

STRUCT<FIELDS>

message Nested { FIELDS }

VARIANT

A variante deve ser ingerida como uma string codificada JSONcom chave do tipo STRING. O conector grava os dados na coluna sem fragmentação.

Os formatos suportados incluem:

  • Objetos: "{\"id\":0,\"example\":\"this is variant example\"}"
  • Primitivos: "5", "3.14", "\"string\""
  • Matrizes: "[1,2,3]"

string