Pular para o conteúdo principal

Quotas do Zerobus Ingest

Esta página descreve as cotas default para o Zerobus Ingest no Lakeflow Connect, juntamente com a forma como ele funciona com suas tabelas Delta, esquema e tipos de dados.

Para obter os requisitos e as limitações da tabela de destino, consulte Requisitos da tabela e Limitações.

Disponibilidade​

O Zerobus Ingest está disponível apenas em algumas regiões. Para ver uma lista de regiões compatíveis, consulte Disponibilidade de ingestão.

Latência​

A latência reflete tanto a confirmação de durabilidade quanto o tempo para materializar registros na tabela Delta de destino. Os tempos reais variam com base no alinhamento da região e nas características da carga de trabalho.

  • Tempo até a durabilidade

    • Aproximadamente 150 ms
  • Tempo para a tabela

    • Aproximadamente 5 segundos

Cotas​

A tabela a seguir lista as cotas default para o Zerobus Ingest.

Item

Cota default

Precisa de mais?

throughput por transmissão (gRPC)

100 MB/segundo (avaliado com mensagens de 1 KB)

Ajustável

Throughput por tabela de destino (gRPC)

10 GB/segundo

Ajustável

Registros por segundo por transmissão

100.000 (benchmarked com mensagens de 1 KB)

Ajustável

Solicitações REST por segundo

10.000

Ajustável

Transmissões concorrentes por workspace

Ilimitadas

N/A

Item

Cota default

Precisa de mais?

throughput por transmissão (gRPC)

100 MB/segundo (avaliado com mensagens de 1 KB)

Ajustável

Throughput por tabela de destino (gRPC)

10 GB/segundo

Ajustável

Registros por segundo por transmissão

100.000 (benchmarked com mensagens de 1 KB)

Ajustável

Solicitações REST por segundo

10.000

Ajustável

Transmissões concorrentes por workspace

Ilimitadas

N/A

Estes são os throughputs default com os quais o Zerobus Ingest é provisionado, e eles escalam para atender a cargas de trabalho maiores. Para aumentar qualquer um deles, entre em contato com seu representante de account do Databricks. Para obter o throughput máximo, mantenha seu aplicativo cliente e o endpoint na mesma região geográfica.

Você pode abrir quantas transmissões concorrentes sua carga de trabalho precisar e gravar em quantas tabelas de destino desejar. Abrir mais transmissões é a maneira pretendida de escalar, portanto, o número de transmissões concorrentes é ilimitado.

As APIs compatíveis com Kafka estão em Visualização Pública, com uma cota default de 300.000 mensagens por segundo por tabela. Para solicitar uma cota maior, entre em contato com o representante da account Databricks.

Garantias de entrega​

O Zerobus Ingest fornece entrega pelo menos uma vez quando o protocolo fornece uma confirmação de durabilidade e o cliente tenta novamente os registros que não são confirmados. Para MQTT, use QoS 1 e tente novamente os registros que não receberem um PUBACK bem-sucedido. O MQTT QoS 0 é de melhor esforço e não fornece entrega pelo menos uma vez.

Retenção de dados em buffer​

Se o serviço Zerobus Ingest não conseguir liberar os dados em buffer para sua tabela Delta, ele manterá os dados em um armazenamento durável gerenciado pelo serviço e emitirá ocasionalmente eventos de aviso por transmissão.

Se os dados permanecerem sem descarga por 28 dias, o serviço excluirá os dados em buffer e emitirá um evento de descarte por transmissão, registrando o número de registros e bytes descartados. Não é possível recuperar os dados após a exclusão.

Comportamento da tabela​

Como o Zerobus Ingest funciona com suas tabelas Delta.

Tabelas particionadas​

Ao gravar em tabelas particionadas, o Zerobus Ingest não oferece suporte à gravação em mais de 100 partições em qualquer intervalo de 5 segundos. Para obter o melhor throughput, minimize o número de partições em cada intervalo de 5 segundos.

O Databricks recomenda o uso de tabelas com cluster líquido com o Zerobus Ingest em vez de particionamento.

Tabelas com liquid clustering​

Ao usar o Zerobus Ingest com tabelas liquid clustered, é recomendável manter a otimização preditiva habilitada para a tabela de destino. O Zerobus Ingest grava dados na tabela, mas o clustering de dados ideal é aplicado de forma assíncrona pelo serviço de otimização preditiva. Desativar a otimização preditiva pode resultar em um desempenho de query abaixo do ideal nos dados ingeridos.

Esquema e tipos de dados​

Tamanho do registro​

Cada mensagem tem um tamanho máximo de 10 MB. O tamanho máximo do registro é de 10.485.760 bytes. Os cabeçalhos necessários para a comunicação ocupam 19 bytes.

A interface MQTT é uma exceção. O pacote CONNECT inicial tem um tamanho máximo de 16 KiB. Após a conexão ser estabelecida, o tamanho máximo é de 64 KiB para o pacote MQTT completo, incluindo os cabeçalhos e a carga útil. Consulte Limitações do MQTT.

Para saber como o Zerobus Ingest valida registros em relação ao esquema da sua tabela, incluindo a evolução do esquema e as regras de esquema do Protobuf, consulte Gerenciamento de esquema. Para os tipos de dados Delta e Protobuf compatíveis, consulte Tipos de dados compatíveis.

Profundidade de aninhamento​

O Zerobus Ingest é compatível com esquemas de tabela de destino com até 42 níveis de estruturas aninhadas.