Pular para o conteúdo principal
Última atualização em

Considerações de rede

Esta análise detalhada aborda como conectar produtores ao Zerobus Ingest no Lakeflow Connect de forma segura e eficiente: Private Link de front-end, conexão com armazenamento protegido por firewall e compressão.

O Zerobus Ingest sempre é executado na região do seu workspace. Os produtores enviam dados pela rede para esse endpoint regional, e o Zerobus Ingest os grava na sua tabela Delta de destino. O Zerobus Ingest está disponível em regiões selecionadas. Consulte Disponibilidade de ingestão.

Uma gravação do Zerobus Ingest tem duas etapas de rede, e você as protege de forma diferente:

  • Seu produtor para o serviço Zerobus Ingest. Acesse o endpoint regional pela internet pública ou mantenha o tráfego em um caminho privado com o Private Link de front-end.
  • O serviço Zerobus Ingest para o armazenamento da sua tabela. O Zerobus Ingest se conecta ao seu armazenamento a partir do compute serverless do Databricks. Se o seu armazenamento estiver atrás de um firewall, adicione os IPs de saída serverless do Databricks a uma lista de permissões para que o Zerobus Ingest possa acessá-lo. Consulte Conectar ao armazenamento com firewall.

As duas etapas de rede de uma gravação do Zerobus Ingest: os produtores alcançam o endpoint gerenciado pelo Databricks pela rede pública ou pelo Private Link de front-end, e o Zerobus Ingest grava em seu armazenamento a partir do compute serverless, acessível por meio de lista de permissões de IP

Por default, os produtores alcançam o Zerobus Ingest pela rede até o endpoint regional do seu workspace. Se você não deseja que esse tráfego atravesse a internet pública, ou se precisa de mais largura de banda ou de um caminho de rede mais previsível, use o Private Link de front-end para manter a conexão entre seus produtores e o serviço Zerobus Ingest em um caminho privado.

Considere o Private Link de front-end quando você:

  • Exija que o tráfego de ingestão nunca atravesse a Internet pública.
  • Precisa de uma largura de banda maior ou mais previsível do que a fornecida por um caminho público.
  • Deseja explorar a redução dos custos de tráfego de rede, já que manter a ingestão em um caminho privado pode reduzir a transferência de dados pela internet pública.

O Private Link de front-end para o Zerobus Ingest usa a mesma configuração de conectividade privada de front-end do workspace que o restante do seu workspace. Para configurá-lo para sua nuvem, consulte:

Habilitar conectividade de front-end do AWS PrivateLink. Para os conceitos subjacentes, consulte Conceitos de Private Link.

Conectar ao armazenamento com firewall​

O Zerobus Ingest torna seus dados duráveis e, em seguida, grava-os no armazenamento da sua tabela de destino a partir do compute serverless do Databricks. Se sua account de armazenamento ou bucket restringir o tráfego de entrada com um firewall, adicione os intervalos de IP de saída serverless do Databricks à lista de permissões para que o Zerobus Ingest possa acessá-lo.

O Databricks publica os IPs de saída serverless como um arquivo JSON em ip-ranges.json e também os lista por região na referência de rede. Você só precisa incluir na lista de permissões os intervalos para o cloud e a região do seu workspace:

Consulte IPs de saída para compute serverless.

Considerações entre regiões​

O Zerobus Ingest é executado na região do seu workspace (consulte Requisitos de tabela). Mantenha seus produtores nessa região sempre que possível: quanto mais próximos os produtores estiverem do Endpoint, menor será a latência de rede e maior será o throughput que você poderá sustentar.

Quando os produtores são executados em uma região diferente do endpoint do Zerobus Ingest, o tráfego cruza regiões, o que adiciona latência e pode incorrer em taxas de saída de nuvem. O custo exato depende da sua nuvem, regiões e volume de dados, e varia o suficiente para que um valor único seja enganoso. A Databricks recomenda a execução de uma prova de conceito com sua própria carga de trabalho e regiões para medir o custo real antes de se commit com uma topologia entre regiões.

Compressão pela rede​

Compactar registros antes da transmissão reduz os bytes enviados, o que pode evitar gargalos de largura de banda em troca de CPU adicional no cliente. Suas opções dependem da interface:

  • O Arrow Flight oferece suporte à compressão IPC (ZSTD para a melhor taxa, LZ4_FRAME quando o cliente tem restrição de CPU). Consulte compressão IPC.
  • O OpenTelemetry (OTLP) oferece suporte a gzip em todos os serviços. Consulte Compressão.

Escolher um formato de registro compacto, Protocol Buffers (protobuf) ou Arrow em vez de JSON, também reduz os bytes na rede.

Relacionado​

Nesta página