Redes

Este artigo apresenta as configurações de rede para a implementação e o gerenciamento da conta e do espaço de trabalho do Databricks.

Observação

A partir de 7 de outubro de 2024, o site Databricks cobrará dos clientes os custos de rede incorridos pelo serverless compute recurso conectado a um recurso externo. Nos próximos meses, faremos a transição gradual para o faturamento com base no tipo de compute. Inicialmente, isso pode reduzir sua fatura. Para obter mais informações sobre faturamento, consulte Databricks preços.

Visão geral da arquitetura do Databricks

O Databricks opera a partir de um plano de controle e de um planocompute .

• O plano de controle inclui o serviço de backend que o Databricks gerencia em sua account do Databricks. O aplicativo da web está no plano de controle.

• O planocompute é onde seus dados são processados. Existem dois tipos de planos compute , dependendo da compute que você está usando.

  • Para o clássico Databricks compute, o recurso compute está em seu AWS account no que é chamado de plano clássico compute . Isso se refere à rede em seu site AWS account e seu recurso. Os recursos do plano Classic compute estão na região em que se encontra o seu workspace.

  • Para serverless compute, o serverless compute recurso execução em um serverless compute plano em seu Databricks account. O recurso de plano sem servidor compute está na mesma cloud região que o workspaceplano clássico do seu.compute O senhor seleciona essa região ao criar um workspace.

Para saber mais sobre os sites clássicos compute e serverless compute, consulte Types of compute. Para obter informações adicionais sobre a arquitetura, consulte Databricks architecture overview.

Conectividade de rede segura

O Databricks fornece um ambiente de rede seguro por default, mas se sua organização tiver necessidades adicionais, você poderá configurar o recurso de conectividade de rede entre as diferentes conexões de rede mostradas no diagrama abaixo.

1. Usuários e aplicativos para a Databricks: O senhor pode configurar o recurso para controlar o acesso e fornecer conectividade privada entre os usuários e o espaço de trabalho do Databricks. Consulte Usuários da rede Databricks.

2. O plano de controle e o plano clássico compute: O recurso compute clássico, como clusters, é implantado no seu AWS account e se conecta ao plano de controle. O senhor pode usar o recurso de conectividade de rede clássica para implantar o recurso de plano de compute rede clássico em suas próprias nuvens privadas virtuais e para habilitar a conectividade privada dos clusters para o plano de controle. Consulte o site clássico compute plane networking.

3. O plano serverless compute e o armazenamento: O senhor pode configurar firewalls em seu recurso para permitir o acesso do plano da Databricks serverless compute . Consulte Serverless compute plane networking.

O senhor pode configurar o recurso de rede de armazenamento do AWS para proteger a conexão entre o plano clássico compute e o S3. Para obter mais informações, consulte Configure Databricks S3 commit service-related settings e Networking recommendations for lakehouse Federation.

A conectividade entre o plano de controle e o serverless compute plano ocorre sempre no clouds backbone da rede e não na Internet pública.