Recomendações de networking para a Lakehouse Federation

Este artigo fornece orientação para a configuração de um caminho de rede viável entre o seu Databricks clustering ou SQL warehouse e o sistema de banco de dados externo ao qual o senhor está se conectando usando o Lakehouse Federation.

Considere o seguinte ao configurar a conectividade de rede para a Lakehouse Federation:

• Todo o tráfego de rede para consultas federadas é diretamente entre os clusters do Databricks (ou SQL warehouses) e o sistema de banco de dados externo. Nem o Unity Catalog nem o plano de controle do Databricks estão no caminho da rede.
• Conexões que usam OAuth têm um requisito adicional. Quando uma conexão se autentica com OAuth, a troca de tokens OAuth acontece a partir do plano de controle do Databricks, não do plano de compute. O plano de controle deve ser capaz de alcançar o endpoint OAuth do sistema externo. Adicionar apenas o plano de compute à lista de permissões não é suficiente para essas conexões. Para orientação específica do conector, consulte a seção de rede ou limitações da página de conexão relevante, como Execução de consultas federadas no Snowflake (OAuth) ou Execução de consultas federadas no Microsoft SQL Server. Conexões HTTP são uma exceção; elas roteiam o OAuth através do plano de compute serverless em vez do plano de controle.
• Databricks compute (ou seja, clustering e SQL warehouse) sempre implantado na nuvem, mas o sistema de banco de dados externo pode estar no local ou hospedado em qualquer provedor de nuvem, desde que haja um caminho de rede viável entre o Databricks compute e o banco de dados externo.
• Se houver restrições de rede de entrada ou saída no site Databricks compute ou no sistema de banco de dados externo, consulte as seções a seguir para obter orientações gerais que o ajudarão a criar um caminho de rede viável.

Para obter mais informações sobre redes no Databricks workspace, consulte Networking.

Sistema de banco de dados e Databricks compute , ambos acessíveis pela Internet

A conexão deve funcionar sem nenhuma configuração.

O sistema de banco de dados tem restrições de acesso à rede

Se o sistema de banco de dados externo tiver restrições de acesso à rede de entrada ou saída e o site Databricks cluster ou SQL warehouse for acessível pela Internet, configure uma das seguintes soluções de rede para se conectar a partir do recurso clássico compute:

• IP de saída estável em Databricks compute.

  No plano clássico compute, configure um endereço IP estável com um balanceador de carga, gateway NAT, gateway de Internet ou equivalente e conecte-o à sub-rede em que o Databricks compute está implantado. Isso permite que o recurso compute compartilhe um endereço IP público estável que pode ser incluído na lista de permissões do lado do banco de dados externo.

• Serviço privado Connect (somente quando o banco de dados externo estiver na mesma nuvem que Databricks compute)

  No plano clássico compute, configure uma conexão Private Serviço Connect entre a rede em que o banco de dados está implantado e a rede em que o Databricks compute está implantado.

Databricks compute tem restrições de acesso à rede

Se o sistema de banco de dados externo for acessível pela Internet e o site Databricks compute tiver restrições de acesso à rede de entrada ou saída (o que só é possível se o senhor estiver em uma rede gerenciada pelo cliente), execute uma das seguintes configurações:

• Permitir listar o nome do host do banco de dados externo nas regras de firewall da sub-rede em que o Databricks compute está implantado.

  Se você optar por colocar na lista de permissões o endereço IP do banco de dados externo em vez do nome do host, certifique-se de que o banco de dados externo tenha um endereço IP estável.

• Serviço privado Connect (somente quando o banco de dados externo estiver na mesma nuvem que o Databricks compute)

  Configure uma conexão Private Serviço Connect entre a rede onde o banco de dados está implantado e a rede onde o site Databricks compute está implantado.

Databricks compute tem um servidor DNS personalizado

Se o sistema de banco de dados externo for acessível pela Internet e o Databricks compute tiver um servidor DNS personalizado (o que só é possível se o senhor estiver em uma rede gerenciada pelo cliente), adicione o nome do host do sistema de banco de dados ao seu servidor DNS personalizado para que ele possa ser resolvido.

Considerações sobre a rede Snowflake

Snowflake suporta o serviço privado Connect egress como um recurso de visualização. O Snowflake não oferece suporte ao fornecimento de IPs estáticos, o que impede a prática de configurar listas de permissões.