Quotas do Zerobus Ingest
Esta página descreve as cotas default para o Zerobus Ingest no Lakeflow Connect, juntamente com a forma como ele funciona com suas tabelas Delta, esquema e tipos de dados.
Para obter os requisitos e as limitações da tabela de destino, consulte Requisitos da tabela e Limitações.
Disponibilidade
O Zerobus Ingest está disponível apenas em algumas regiões. Para ver uma lista de regiões compatíveis, consulte Disponibilidade de ingestão.
Latência
A latência reflete tanto a confirmação de durabilidade quanto o tempo para materializar registros na tabela Delta de destino. Os tempos reais variam com base no alinhamento da região e nas características da carga de trabalho.
-
Tempo até a durabilidade
- Aproximadamente 150 ms
-
Tempo para a tabela
- Aproximadamente 5 segundos
Cotas
A tabela a seguir lista as cotas default para o Zerobus Ingest.
Item | Cota default | Precisa de mais? |
|---|---|---|
throughput por transmissão (gRPC) | 100 MB/segundo (avaliado com mensagens de 1 KB) | Ajustável |
Throughput por tabela de destino (gRPC) | 10 GB/segundo | Ajustável |
Registros por segundo por transmissão | 100.000 (benchmarked com mensagens de 1 KB) | Ajustável |
Solicitações REST por segundo | 10.000 | Ajustável |
Transmissões concorrentes por workspace | Ilimitadas | N/A |
Estes são os throughputs default com os quais o Zerobus Ingest é provisionado, e eles escalam para atender a cargas de trabalho maiores. Para aumentar qualquer um deles, entre em contato com seu representante de account do Databricks. Para obter o throughput máximo, mantenha seu aplicativo cliente e o endpoint na mesma região geográfica.
Você pode abrir quantas transmissões concorrentes sua carga de trabalho precisar e gravar em quantas tabelas de destino desejar. Abrir mais transmissões é a maneira pretendida de escalar, portanto, o número de transmissões concorrentes é ilimitado.
As APIs compatíveis com Kafka estão em Visualização Pública, com uma cota default de 300.000 mensagens por segundo por tabela. Para solicitar uma cota maior, entre em contato com o representante da account Databricks.
Garantias de entrega
O Zerobus Ingest fornece entrega pelo menos uma vez quando o protocolo fornece uma confirmação de durabilidade e o cliente tenta novamente os registros que não são confirmados. Para MQTT, use QoS 1 e tente novamente os registros que não receberem um PUBACK bem-sucedido. O MQTT QoS 0 é de melhor esforço e não fornece entrega pelo menos uma vez.
Retenção de dados em buffer
Se o serviço Zerobus Ingest não conseguir liberar os dados em buffer para sua tabela Delta, ele manterá os dados em um armazenamento durável gerenciado pelo serviço e emitirá ocasionalmente eventos de aviso por transmissão.
Se os dados permanecerem sem descarga por 28 dias, o serviço excluirá os dados em buffer e emitirá um evento de descarte por transmissão, registrando o número de registros e bytes descartados. Não é possível recuperar os dados após a exclusão.
Comportamento da tabela
Como o Zerobus Ingest funciona com suas tabelas Delta.
Tabelas particionadas
Ao gravar em tabelas particionadas, o Zerobus Ingest não oferece suporte à gravação em mais de 100 partições em qualquer intervalo de 5 segundos. Para obter o melhor throughput, minimize o número de partições em cada intervalo de 5 segundos.
O Databricks recomenda o uso de tabelas com cluster líquido com o Zerobus Ingest em vez de particionamento.
Tabelas com liquid clustering
Ao usar o Zerobus Ingest com tabelas liquid clustered, é recomendável manter a otimização preditiva habilitada para a tabela de destino. O Zerobus Ingest grava dados na tabela, mas o clustering de dados ideal é aplicado de forma assíncrona pelo serviço de otimização preditiva. Desativar a otimização preditiva pode resultar em um desempenho de query abaixo do ideal nos dados ingeridos.
Esquema e tipos de dados
Tamanho do registro
Cada mensagem tem um tamanho máximo de 10 MB. O tamanho máximo do registro é de 10.485.760 bytes. Os cabeçalhos necessários para a comunicação ocupam 19 bytes.
A interface MQTT é uma exceção. O pacote CONNECT inicial tem um tamanho máximo de 16 KiB. Após a conexão ser estabelecida, o tamanho máximo é de 64 KiB para o pacote MQTT completo, incluindo os cabeçalhos e a carga útil. Consulte Limitações do MQTT.
Para saber como o Zerobus Ingest valida registros em relação ao esquema da sua tabela, incluindo a evolução do esquema e as regras de esquema do Protobuf, consulte Gerenciamento de esquema. Para os tipos de dados Delta e Protobuf compatíveis, consulte Tipos de dados compatíveis.
Profundidade de aninhamento
O Zerobus Ingest é compatível com esquemas de tabela de destino com até 42 níveis de estruturas aninhadas.