Quotas do Zerobus Ingest
Esta página descreve as cotas default para o Zerobus Ingest no Lakeflow Connect, juntamente com a forma como ele funciona com suas tabelas Delta, esquema e tipos de dados.
Disponibilidade
O Zerobus Ingest está disponível apenas em algumas regiões. Para ver uma lista de regiões compatíveis, consulte Disponibilidade de ingestão.
Latência
A latência reflete tanto a confirmação de durabilidade quanto o tempo para materializar registros na tabela Delta de destino. Os tempos reais variam com base no alinhamento da região e nas características da carga de trabalho.
-
Tempo até a durabilidade
- Aproximadamente 150 ms
-
Tempo para a tabela
- Aproximadamente 5 segundos
Cotas
A tabela a seguir lista as cotas default para o Zerobus Ingest.
Item | Cota default | Precisa de mais? |
|---|---|---|
throughput por transmissão (gRPC) | 100 MB/segundo (avaliado com mensagens de 1 KB) | Ajustável |
Throughput por tabela de destino (gRPC) | 10 GB/segundo | Ajustável |
Registros por segundo por transmissão | 100.000 (benchmarked com mensagens de 1 KB) | Ajustável |
Solicitações REST por segundo | 10.000 | Ajustável |
Transmissões concorrentes por workspace | Ilimitadas | N/A |
Estes são os throughputs default com os quais o Zerobus Ingest é provisionado, e eles escalam para atender a cargas de trabalho maiores. Para aumentar qualquer um deles, entre em contato com seu representante de account do Databricks. Para obter o throughput máximo, mantenha seu aplicativo cliente e o endpoint na mesma região geográfica.
Você pode abrir quantas transmissões concorrentes sua carga de trabalho precisar e gravar em quantas tabelas de destino desejar. Abrir mais transmissões é a maneira pretendida de escalar, portanto, o número de transmissões concorrentes é ilimitado.
As APIs compatíveis com Kafka estão em Beta, com uma cota default de 50.000 mensagens por segundo por workspace. Para solicitar uma cota Beta maior, entre em contato com seu representante de conta Databricks.
Garantias de entrega
O Zerobus Ingest oferece garantias de entrega pelo menos uma vez.
Retenção de dados em buffer
Se o serviço Zerobus Ingest não conseguir liberar os dados em buffer para sua tabela Delta, ele manterá os dados em um armazenamento durável gerenciado pelo serviço e emitirá ocasionalmente eventos de aviso por transmissão.
Se os dados permanecerem sem descarga por 28 dias, o serviço excluirá os dados em buffer e emitirá um evento de descarte por transmissão, registrando o número de registros e bytes descartados. Não é possível recuperar os dados após a exclusão.
Comportamento da tabela
Como o Zerobus Ingest funciona com suas tabelas Delta.
Tabelas particionadas
Ao gravar em tabelas particionadas, o Zerobus Ingest não oferece suporte à gravação em mais de 100 partições em qualquer intervalo de 5 segundos. Para obter o melhor throughput, minimize o número de partições em cada intervalo de 5 segundos.
O Databricks recomenda o uso de tabelas com cluster líquido com o Zerobus Ingest em vez de particionamento.
Workspace e tabela de destino
A ingestão funciona com a seguinte configuração de workspace e tabela de destino.
- O Zerobus Ingest oferece suporte à gravação em tabelas Delta gerenciadas.
- O Zerobus Ingest não oferece suporte à recriação de uma tabela de destino.
- O Zerobus Ingest oferece suporte apenas a nomes de tabela com letras ASCII, dígitos e underscores.
- Tanto o workspace quanto a tabela de destino precisam estar em uma das regiões disponíveis.
Tabelas com clustering líquido (Beta)
Ao usar o Zerobus Ingest com tabelas liquid clustered, é recomendável manter a otimização preditiva habilitada para a tabela de destino. O Zerobus Ingest grava dados na tabela, mas o clustering de dados ideal é aplicado de forma assíncrona pelo serviço de otimização preditiva. Desativar a otimização preditiva pode resultar em um desempenho de query abaixo do ideal nos dados ingeridos.
Esquema e tipos de dados
Tamanho do registro
Cada mensagem tem um tamanho máximo de 10 MB. O tamanho máximo do registro é de 10.485.760 bytes. Os cabeçalhos necessários para a comunicação ocupam 19 bytes.
Para saber como o Zerobus Ingest valida registros em relação ao esquema da sua tabela, incluindo a evolução do esquema e as regras de esquema do Protobuf, consulte Gerenciamento de esquema. Para os tipos de dados Delta e Protobuf compatíveis, consulte Tipos de dados compatíveis.