Recomendações de networking para a Lakehouse Federation
A Lakehouse Federation requer um caminho de rede entre seus clusters do Databricks ou SQL Warehouse e o sistema de banco de dados externo ao qual você se conecta. Esta página explica como configurar esse caminho quando qualquer um dos lados tem restrições de acesso à rede ou um servidor DNS personalizado.
Considere o seguinte ao configurar a conectividade de rede para a Lakehouse Federation:
- Todo o tráfego de rede para consultas federadas é diretamente entre os clusters do Databricks (ou SQL warehouses) e o sistema de banco de dados externo. Nem o Unity Catalog nem o plano de controle do Databricks estão no caminho da rede.
- As conexões que usam OAuth têm um requisito adicional. Quando uma conexão é autenticada com OAuth, a troca de token OAuth ocorre no plano de controle do Databricks, não no plano de compute. O plano de controle deve ser capaz de alcançar o endpoint OAuth do sistema externo. Adicionar apenas o plano de compute à lista de permissões não é suficiente para essas conexões. Para requisitos específicos do conector, consulte os requisitos do endpoint OAuth em Limitações de federação de query do Snowflake e Criar uma conexão do SQL Server.
- Databricks compute (ou seja, clustering e SQL warehouse) sempre implantado na nuvem, mas o sistema de banco de dados externo pode estar no local ou hospedado em qualquer provedor de nuvem, desde que haja um caminho de rede viável entre o Databricks compute e o banco de dados externo.
- Se houver restrições de rede de entrada ou saída no site Databricks compute ou no sistema de banco de dados externo, consulte as seções a seguir para obter orientações gerais que o ajudarão a criar um caminho de rede viável.
Para obter mais informações sobre redes no Databricks workspace, consulte Networking.
Sistema de banco de dados e Databricks compute , ambos acessíveis pela Internet
A conexão deve funcionar sem nenhuma configuração.
O sistema de banco de dados tem restrições de acesso à rede
Se o sistema de banco de dados externo tiver restrições de acesso à rede de entrada ou saída e o site Databricks cluster ou SQL warehouse for acessível pela Internet, configure uma das seguintes soluções de rede para se conectar a partir do recurso clássico compute:
-
IP de saída estável em Databricks compute.
No plano clássico compute, configure um endereço IP estável com um balanceador de carga, gateway NAT, gateway de Internet ou equivalente e conecte-o à sub-rede em que o Databricks compute está implantado. Isso permite que o recurso compute compartilhe um endereço IP público estável que pode ser incluído na lista de permissões do lado do banco de dados externo.
No plano de compute serverless, o Databricks publica seu IP de saída, que pode ser adicionado à lista de permissões pelo sistema de banco de dados externo. É necessário manter esses endereços IP atualizados por meio de automação. Consulte Configuração de firewall de computação serverless.
Do plano de computação clássico, o sistema de banco de dados externo deve adicionar o IP estável de computação do Databricks à lista de permissões para tráfego de entrada e saída.
-
Link privado (somente quando o banco de dados externo estiver na mesma cloud que Databricks compute).
A partir do plano compute clássico, configure uma conexão de Link Privado entre a rede onde o banco de dados está implantado e a rede onde Databricks compute está implantado.
Databricks compute tem restrições de acesso à rede
Se o sistema de banco de dados externo for acessível pela Internet e o site Databricks compute tiver restrições de acesso à rede de entrada ou saída (o que só é possível se o senhor estiver em uma rede gerenciada pelo cliente), execute uma das seguintes configurações:
-
Permitir listar o nome do host do banco de dados externo nas regras de firewall da sub-rede em que o Databricks compute está implantado.
Se você optar por colocar na lista de permissões o endereço IP do banco de dados externo em vez do nome do host, certifique-se de que o banco de dados externo tenha um endereço IP estável.
-
Link privado (somente quando o banco de dados externo estiver na mesma cloud que compute Databricks )
Configure uma conexão de Link Privado entre a rede onde o banco de dados está implantado e a rede onde Databricks compute está implantado.
Databricks compute tem um servidor DNS personalizado
Se o sistema de banco de dados externo for acessível pela Internet e o Databricks compute tiver um servidor DNS personalizado (o que só é possível se o senhor estiver em uma rede gerenciada pelo cliente), adicione o nome do host do sistema de banco de dados ao seu servidor DNS personalizado para que ele possa ser resolvido.
Rede específica do conector
Alguns conectores têm requisitos de rede além das orientações gerais nesta página, como Endpoint necessários, verificações de conectividade ou opções de conectividade privada. Para esses detalhes, consulte a seção de rede da página de conexão relevante: