Recursos do Zerobus Ingest
Esta página é uma visão geral do que o Zerobus Ingest no Lakeflow Connect oferece. Cada recurso contém um link para sua documentação completa.
- Endpoint sempre ativo: Serverless, ativado por default, escala automaticamente.
- Bloqueio de mensagem: métodos de ingestão e como confirmar a durabilidade.
- Callbacks de reconhecimento: reaja a reconhecimentos e erros de forma assíncrona.
- Recursos da tabela Delta: particionamento, cluster líquido e dados
VARIANT. - Coluna de resgate: capture campos que não se ajustam ao esquema da tabela em vez de rejeitá-los.
- Local de fallback durável: onde os dados são armazenados se não puderem ser publicados.
- Monitoramento do seu uso: tabelas do sistema para uso e gastos.
Endpoint sempre ativo
O Zerobus Ingest é um endpoint serverless que está ativado por default para workspaces em regiões com suporte. Não há nada para começar, provisionar ou fazer escala. Assim que você tiver uma tabela de destino e uma Service Principal com acesso a ela, você poderá começar a enviar dados, e a capacidade faz escala automaticamente à medida que você abre mais transmissões. Para começar, consulte Usar o Zerobus Ingest.
Recursos da tabela Delta
O Zerobus Ingest grava em tabelas Delta padrão gerenciadas pelo Unity Catalog, portanto, seus dados ingeridos funcionam com os recursos de tabela Delta. Para os requisitos que uma tabela de destino deve atender, consulte Requisitos da tabela.
- Tabelas particionadas : suportadas, sujeitas a um limite de expansão de partição (partition-fan-out). O Databricks recomenda o clustering líquido para chaves de alta cardinalidade. Consulte Tabelas particionadas.
- Tabelas com clustering líquido (Beta): a disposição recomendada, organizando dados para desempenho de query sem o limite de expansão de partição. Consulte Usar clustering líquido para tabelas.
- Dados Variant : ingira dados semiestruturados em colunas
VARIANT. Consulte Tipos de dados suportados.
Local de fallback durável
Se uma alteração de tabela disruptiva ocorrer após o Zerobus Ingest tornar seus dados duráveis, mas antes que ele possa publicar os dados na tabela, o Zerobus Ingest grava esses dados como arquivos Parquet em um diretório de fallback dentro do local de armazenamento da sua tabela, em vez de descartá-los. Para encontrar e reprocessar esses dados após corrigir o esquema, consulte Recuperando dados do local de fallback durável.
Monitoramento seu uso
Monitore seu uso e gastos do Zerobus Ingest por meio de tabelas do sistema. Consulte Referência da tabela do sistema do Zerobus Ingest e, para gastos, a tabela do sistema de faturamento em Custo.