Visão geral do conector Zerobus Ingest
Visualização
O conector Zerobus Ingest está em versão prévia pública. Para experimentar, entre em contato com seu representante account Databricks .
O conector Zerobus Ingest permite a ingestão de dados registro por registro diretamente em tabelas Delta por meio de uma API gRPC. Este conector serverless opera em qualquer escala e agiliza o fluxo de trabalho de ingestão, eliminando a necessidade de infraestrutura de barramento de mensagens e dependências específicas do Delta.
O conector beneficia clientes que enfrentam desafios ao integrar-se com sistemas ou ao escrever diretamente no formato Delta Lake. Qualquer aplicação que consiga comunicar via gRPC e construir mensagens Protobuf pode usar o Zerobus Ingest para enviar dados de forma eficiente para tabelas Delta.
As aplicações podem criar integrações com base em uma interface de API padrão, simplificando a arquitetura ao eliminar as dependências do barramento de mensagens. Por exemplo, os dados de fluxo de cliques podem fluir diretamente dos aplicativos para as tabelas Delta sem a necessidade de uma infraestrutura intermediária de barramento de mensagens.
A API Zerobus Ingest armazena em buffer os dados transmitidos antes de adicioná-los a uma tabela Delta. Esse armazenamento temporário cria um mecanismo de ingestão eficiente e duradouro que suporta um grande volume de clientes com taxas de transferência variáveis.
Uma vez materializados no formato Delta , os dados tornam-se totalmente compatíveis com a abrangente Plataforma de Inteligência de Dados Databricks , permitindo que os usuários aproveitem ferramentas e funcionalidades familiares para análises e processamento de dados adicionais.
Conceitos
Um produtor de dados primeiro abre uma transmissão para uma tabela Delta , constrói uma mensagem que corresponde ao seu esquema e, em seguida, envia a mensagem para a API de ingestão do Zerobus. O serviço torna os dados duráveis, reconhece a mensagem do cliente e materializa os dados na tabela Delta.
Servidor
O serviço Zerobus Ingest não cria nem manipula tabelas automaticamente. O serviço recebe dados dos clientes, valida se eles se encaixam no esquema da tabela e, em seguida, grava os dados na tabela.
As responsabilidades do serviço incluem:
- Validação do esquema da mensagem para a tabela.
- Materializar os dados na tabela de destino em tempo hábil.
- Enviar uma confirmação ao cliente de que os dados são permanentes.
Cliente
A integração do cliente envolve:
- Selecionando uma tabela de destino.
- Estabelecendo transmissão com o serviço Zerobus Ingest.
- Construindo uma mensagem compatível com o esquema.
- Enviando a mensagem.
- Gerenciando confirmações de mensagens.
- Implementar mecanismos de recuperação em caso de falhas no cliente, na transmissão ou no servidor (por exemplo, problemas de conexão, incompatibilidades de esquema).
O SDK Python da Databricks fornece métodos fáceis de usar para realizar isso, e a documentação oferece exemplos de diferentes padrões de desenvolvimento. Para integrações personalizadas, o SDK pode servir como referência para a estrutura de integração e o tratamento de recuperação.
Comece com Zerobus Ingest
Se você tiver um firewall do lado do cliente, adicione o endereço IP usado pelo Zerobus Ingest à sua lista de permissões. Para view endereços IP por região, consulte Endereços do plano de controleDatabricks.
- Obtenha um URL de ingestão do Zerobus.
- Crie ou identifique a tabela na qual deseja inserir os dados.
- Crie uma entidade de serviço e conceda privilégios à tabela.
- Escreva um cliente para começar a enviar dados.
Para obter instruções completas, consulte Usar o conector Zerobus Ingest.
Custo
Neste momento, você não será cobrado pelo uso do Zerobus. No entanto, a Databricks pretende introduzir taxas no futuro.