Visão geral do conector Zerobus Ingest

O Zerobus Ingest é uma API de ingestão baseada em push que grava dados diretamente nas tabelas Delta Unity Catalog . É um conector serverless que escala automaticamente para lidar com conexões de entrada. Não requer a configuração de partições nem o gerenciamento de brokers.

Com o Zerobus Ingest, sua "estratégia de escalonamento" consiste em abrir mais conexões. Isso agiliza o fluxo de trabalho de ingestão, eliminando a necessidade de infraestrutura de barramento de mensagens.

Qualquer aplicação que possa se integrar com os SDKs do Zerobus Ingest ou se comunicar por meio de APIs compatíveis (gRPC e REST) pode usar o Zerobus Ingest para enviar dados de forma eficiente para tabelas Delta.

Os buffers de ingestão do Zerobus transmitem dados antes de adicioná-los a uma tabela Delta. Esse armazenamento temporário cria um mecanismo de ingestão eficiente e duradouro que suporta um grande volume de clientes com taxas de transferência variáveis.

Uma vez materializados no formato Delta , os dados tornam-se totalmente compatíveis com a abrangente Plataforma de Inteligência de Dados Databricks , permitindo que os usuários aproveitem ferramentas e recursos familiares para análises e processamento de dados adicionais.

Conceitos

Um produtor de dados primeiro abre uma transmissão para a API Zerobus Ingest e especifica uma tabela Delta de destino, constrói uma mensagem que corresponde ao seu esquema e, em seguida, envia a mensagem através da transmissão aberta. O serviço torna os dados duráveis, reconhece a mensagem do cliente e materializa os dados na tabela Delta de forma otimizada.

circunferência

Uma transmissão é uma conexão direta entre o seu cliente e o servidor Zerobus Ingest. Os SDKs usam transmissão para facilitar conexões de transferência de longa duração e alta taxa de transferência.

• As transmissões são usadas apenas na API gRPC com os SDKs.
• Uma transmissão ingere dados para uma única tabela de destino.
• A entrega dos eventos é garantida em nível de transmissão individual.
• Transcrições adicionais podem ser abertas para gravar dados em tabelas diferentes.
• Transferências adicionais podem ser abertas para aumentar a Taxa de transferência do cliente.
  • Observação: Se o seu cliente distribuir mensagens entre diferentes transmissões, a ordem de envio não será mais garantida.

Servidor

O serviço Zerobus Ingest não cria nem manipula tabelas automaticamente. Os usuários devem criar a tabela por conta própria. As tabelas e seus esquemas são as fontes de referência para as expectativas dos dados recebidos.

O servidor Zerobus Ingest aceita dados enviados pelos clientes, valida se eles correspondem ao esquema da tabela de destino e, em seguida, os grava na tabela. Se os dados couberem na tabela, ela será durável. Em seguida, é enviado um e-mail de confirmação ao cliente.

As responsabilidades do serviço incluem:

• Validação do esquema da mensagem para a tabela.
• Materializar os dados em tempo hábil na tabela de destino.
• Enviar uma confirmação ao cliente de que os dados são permanentes.

Cliente

A integração do cliente envolve:

• Selecionando uma tabela de destino.
• Estabelecendo transmissão com o serviço Zerobus Ingest.
• Construindo uma mensagem compatível com o esquema.
• Enviando a mensagem.
• Gerenciando confirmações de mensagens.
• Implementar mecanismos de recuperação em caso de falhas no cliente, na transmissão ou no servidor (por exemplo, problemas de conexão, incompatibilidades de esquema).

Os SDKs de ingestão do Zerobus fornecem métodos fáceis de usar para realizar a integração do cliente, e a documentação oferece exemplos de diferentes padrões de desenvolvimento. Para integrações personalizadas, os SDKs podem servir como referência para a estrutura de integração e o tratamento de recuperação.

Comece com Zerobus Ingest

nota

Se você tiver um firewall do lado do cliente, adicione o endereço IP usado pelo Zerobus Ingest à sua lista de permissões. Para view endereços IP por região, consulte Endereços do plano de controleDatabricks.

1. Obtenha um URL de ingestão do Zerobus.
2. Crie ou identifique a tabela na qual deseja inserir os dados.
3. Crie uma entidade de serviço e conceda privilégios à tabela.
4. Escreva um cliente para começar a enviar dados.

Para obter instruções completas, consulte Usar o conector Zerobus Ingest.

Localização de reserva durável

Se uma alteração incompatível for feita na sua tabela de destino depois que o Zerobus Ingest tornar seus dados permanentes, antes que o Zerobus Ingest tenha a chance de publicar (enviar o arquivo para o armazenamento), o conector disponibilizará os dados em uma pasta separada dentro do local de armazenamento da sua tabela.

Os dados são armazenados como arquivos Parquet no seguinte caminho relativo ao diretório raiz da tabela:

• _zerobus/table_rejected_parquets/

Este diretório é criado diretamente sob o local de armazenamento raiz físico da tabela, e todos os arquivos Parquet gerados pelo serviço são gravados nele.

Isso garante que todos os dados persistidos permaneçam dentro dos limites de armazenamento da tabela e sigam os mesmos controles de acesso e políticas de ciclo de vida da própria tabela.

Custo

As taxas do Zerobus Ingest serão cobradas na SKU "Jobs serverless". preços está disponível na página de preços LakeFlow Connect .

seu uso

Existem dois métodos para monitorar o uso do seu conector Zerobus Ingest.

Tabelas do sistema Zerobus Ingest

Você pode monitorar seu uso por meio das tabelas do sistema Zerobus Ingest.

Tabela do sistema de faturamento

Você pode monitorar seus gastos através da tabela do sistema de uso faturável. Filtre o uso do Zerobus Ingest com:

• billing_origin_product = 'LAKEFLOW_CONNECT'
• product_features.lakeflow_connect.zerobus_request_type = 'GRPC' ou 'HTTP'