Recomendações de networking para a Lakehouse Federation

Este artigo fornece orientação para a configuração de um caminho de rede viável entre o seu Databricks clustering ou SQL warehouse e o sistema de banco de dados externo ao qual o senhor está se conectando usando o Lakehouse Federation.

O senhor deve ter em mente as seguintes informações importantes:

• Todo o tráfego de rede é feito diretamente entre o Databricks clustering (ou SQL warehouse) e o sistema de banco de dados externo. Nem o Unity Catalog nem o plano de controle do Databricks estão no caminho da rede.
• Databricks compute (ou seja, clustering e SQL warehouse) sempre implantado na nuvem, mas o sistema de banco de dados externo pode estar no local ou hospedado em qualquer provedor de nuvem, desde que haja um caminho de rede viável entre o seu Databricks compute e o banco de dados externo.
• Se houver restrições de rede de entrada ou saída no site Databricks compute ou no sistema de banco de dados externo, consulte as seções a seguir para obter orientações gerais que o ajudarão a criar um caminho de rede viável.

Para obter mais informações sobre redes no Databricks workspace, consulte Networking.

Sistema de banco de dados e Databricks compute , ambos acessíveis pela Internet

A conexão deve funcionar sem nenhuma configuração.

O sistema de banco de dados tem restrições de acesso à rede

Se o sistema de banco de dados externo tiver restrições de acesso à rede de entrada ou saída e o clustering Databricks ou SQL warehouse for acessível pela Internet, configure uma das seguintes soluções de rede para se conectar a partir do recurso clássico compute:

• IP de saída estável em Databricks compute.

  No plano clássico compute, configure um endereço IP estável com um balanceador de carga, gateway NAT, gateway de Internet ou equivalente e conecte-o à sub-rede em que o Databricks compute está implantado. Isso permite que o recurso compute compartilhe um endereço IP público estável que pode ser incluído na lista de permissões do lado do banco de dados externo.

No plano serverless compute , há suporte para IP de saída estável. Consulte a Etapa 1: Crie uma configuração de conectividade de rede e copie os IPs estáveis.

O sistema de banco de dados externo deve permitir a listagem do IP estável Databricks compute para o tráfego de entrada e saída.

• PrivateLink (somente quando o banco de dados externo estiver na mesma nuvem que o Databricks compute)

  No plano clássico compute, configure uma conexão PrivateLink entre a rede em que o banco de dados está implantado e a rede em que Databricks compute está implantado.

Databricks compute tem restrições de acesso à rede

Se o sistema de banco de dados externo for acessível pela Internet e o site Databricks compute tiver restrições de acesso à rede de entrada ou saída (o que só é possível se o senhor estiver em uma rede gerenciada pelo cliente), execute uma das seguintes configurações:

• Permitir listar o nome do host do banco de dados externo nas regras de firewall da sub-rede em que o Databricks compute está implantado.

  Se você optar por colocar na lista de permissões o endereço IP do banco de dados externo em vez do nome do host, certifique-se de que o banco de dados externo tenha um endereço IP estável.

• PrivateLink (somente quando o banco de dados externo estiver na mesma nuvem que o Databricks compute)

  Configure uma conexão PrivateLink entre a rede em que o banco de dados está implantado e a rede em que o site Databricks compute está implantado.

Databricks compute tem um servidor DNS personalizado

Se o sistema de banco de dados externo for acessível pela Internet e o Databricks compute tiver um servidor DNS personalizado (o que só é possível se o senhor estiver em uma rede gerenciada pelo cliente), adicione o nome do host do sistema de banco de dados ao seu servidor DNS personalizado para que ele possa ser resolvido.