Redes
Este artigo apresenta as configurações de rede para a implementação e o gerenciamento da conta e do espaço de trabalho do Databricks.
Observação
A partir de 7 de outubro de 2024, o site Databricks cobrará dos clientes os custos de rede incorridos pelo serverless compute recurso conectado a um recurso externo. Nos próximos meses, o faturamento da rede serverless será implementado em fases, o que pode resultar em mudanças graduais no faturamento. Para obter mais informações sobre faturamento, consulte Databricks preços.
Visão geral da arquitetura do Databricks
O Databricks opera a partir de um plano de controle e de um planocompute .
O plano de controle inclui o serviço de backend que o Databricks gerencia em sua account do Databricks. O aplicativo da web está no plano de controle.
O planocompute é onde seus dados são processados. Existem dois tipos de planos compute , dependendo da compute que você está usando.
Para o clássico Databricks compute, o recurso compute está em seu AWS account no que é chamado de plano clássico compute . Isso se refere à rede em seu site AWS account e seu recurso. Os recursos do plano Classic compute estão na região em que se encontra o seu workspace.
Para serverless compute, o serverless compute recurso execução em um serverless compute plano em seu Databricks account. O recurso de plano sem servidor compute está na mesma cloud região que o workspaceplano clássico do seu.compute O senhor seleciona essa região ao criar um workspace.
Para saber mais sobre os sites clássicos compute e serverless compute, consulte Types of compute. Para obter informações adicionais sobre a arquitetura, consulte Databricks architecture overview.
Conectividade de rede segura
O Databricks fornece um ambiente de rede seguro por default, mas se sua organização tiver necessidades adicionais, você poderá configurar o recurso de conectividade de rede entre as diferentes conexões de rede mostradas no diagrama abaixo.
Usuários e aplicativos para a Databricks: O senhor pode configurar o recurso para controlar o acesso e fornecer conectividade privada entre os usuários e o espaço de trabalho do Databricks. Consulte Usuários da rede Databricks.
O plano de controle e o plano clássico compute: O recurso compute clássico, como clusters, é implantado no seu AWS account e se conecta ao plano de controle. O senhor pode usar o recurso de conectividade de rede clássica para implantar o recurso de plano de compute rede clássico em suas próprias nuvens privadas virtuais e para habilitar a conectividade privada dos clusters para o plano de controle. Consulte o site clássico compute plane networking.
O plano serverless compute e o armazenamento: O senhor pode configurar firewalls em seu recurso para permitir o acesso do plano da Databricks serverless compute . Consulte Serverless compute plane networking.
O senhor pode configurar o recurso de rede de armazenamento do AWS para proteger a conexão entre o plano clássico compute e o S3. Para obter mais informações, consulte Configure Databricks S3 commit service-related settings e Networking recommendations for lakehouse Federation.
A conectividade entre o plano de controle e o serverless compute plano ocorre sempre no clouds backbone da rede e não na Internet pública.