Visão geral do conector Zerobus Ingest

info

Visualização

O conector Zerobus Ingest está em visualização pública. Para experimentar, entre em contato com seu representante account Databricks .

O conector Zerobus Ingest permite a ingestão de dados registro por registro diretamente nas tabelas Delta por meio de uma API gRPC. Este conector serverless opera em qualquer escala e simplifica o fluxo de trabalho de ingestão, eliminando a necessidade de infraestrutura de barramento de mensagens e dependências específicas do Delta.

O conector beneficia clientes que enfrentam desafios ao integrar com sistemas ou escrever diretamente no formato Delta Lake. Qualquer aplicativo que possa se comunicar via gRPC e construir mensagens Protobuf pode usar o Zerobus Ingest para enviar dados de forma eficiente para tabelas Delta.

Os aplicativos podem criar integração com base em uma interface de API padrão, simplificando a arquitetura ao remover dependências do barramento de mensagens. Por exemplo, dados de fluxo de cliques podem fluir diretamente de aplicativos para tabelas Delta sem infraestrutura de barramento de mensagens intermediária.

A API Zerobus Ingest armazena em buffer os dados transmitidos antes de adicioná-los a uma tabela Delta. Esse buffer cria um mecanismo de ingestão eficiente e durável que suporta um alto volume de clientes com Taxa de transferência variável.

Uma vez materializados no formato Delta, os dados se tornam totalmente compatíveis com a abrangente Plataforma de Inteligência de Dados Databricks, permitindo que os usuários aproveitem ferramentas e funcionalidades familiares para posterior análise e processamento de dados.

Conceitos

Um produtor de dados primeiro abre uma transmissão para uma tabela Delta , constrói uma mensagem correspondente ao seu esquema e, em seguida, envia a mensagem para a API Zerobus Ingest. O serviço torna os dados duráveis, reconhece a mensagem do cliente e materializa os dados na tabela Delta.

Servidor

O serviço Zerobus Ingest não cria nem manipula tabelas automaticamente. O serviço obtém dados dos clientes, valida se eles se encaixam no esquema da tabela e, em seguida, grava os dados na tabela.

As responsabilidades do serviço incluem:

• Validação do esquema da mensagem para a tabela.
• Materializar os dados em tempo hábil na tabela de destino.
• Enviando um aviso ao cliente de que os dados são duráveis.

Cliente

A integração do cliente envolve:

• Selecionando uma tabela de destino.
• Estabelecendo transmissão com o serviço Zerobus Ingest.
• Construindo uma mensagem compatível com o esquema.
• Enviando a mensagem.
• Gerenciando confirmações de mensagens.
• Implementar mecanismos de recuperação em caso de falhas do lado do cliente, da transmissão ou do servidor (por exemplo, problemas de conexão, incompatibilidades de esquema)

O Databricks Python SDK fornece métodos fáceis de usar para fazer isso, e a documentação oferece exemplos de diferentes padrões de desenvolvimento. Para integrações personalizadas, o SDK pode servir como referência para estrutura de integração e tratamento de recuperação.

Comece com Zerobus Ingest

1. Obtenha uma URL de ingestão do Zerobus.
2. Crie ou identifique a tabela na qual você deseja ingerir dados.
3. Crie uma entidade de serviço e conceda privilégios à tabela.
4. Escreva um cliente para começar a enviar dados.

Para obter instruções completas, consulte Usar o conector Zerobus Ingest.

Custo

Neste momento, você não será cobrado pelo uso do Zerobus. No entanto, a Databricks pretende introduzir taxas no futuro.