Visão geral da arquitetura de referência de rede
Diferentes organizações possuem requisitos distintos de isolamento de rede. Esta página descreve três arquiteturas de referência para requisitos comuns. Identifique a arquitetura que melhor se adapta à sua topologia de rede, necessidades de governança de dados e políticas de controle de saída.
Arquitetura do Databricks
O Databricks opera a partir de um plano de controle e de um plano de computação .
- O plano de controle inclui os serviços de backend que o Databricks gerencia em sua account do Databricks. O aplicativo da web está no plano de controle.
- O **plano de compute** é onde seus dados são processados. Existem dois tipos de planos de compute, dependendo do compute que o senhor estiver utilizando.
- Para o compute clássico do Databricks, os recursos de compute estão na sua account AWS no que é chamado de plano de compute clássico . Isto se refere à rede em sua conta AWS e seus recursos. Os recursos do plano de compute clássico estão na mesma região que seu workspace.
- Para compute serverless, os recursos de compute serverless executam em um *plano de compute serverless* na sua account Databricks. Recursos do plano de compute serverless estão na mesma região de cloud que o plano de compute clássico do seu workspace. Seleciona-se esta região ao criar um workspace.
Para saber mais sobre compute clássico e compute serverless, consulte Compute. Para obter informações adicionais sobre arquitetura, consulte Arquitetura de alto nível.
Tipos de conectividade de rede
O Databricks proporciona um ambiente de rede seguro por default, mas se a sua organização tiver necessidades adicionais, você pode configurar recursos de conectividade de rede entre as diferentes conexões de rede. Cada arquitetura configura recursos em três tipos de conectividade de rede:
- Entrada: Usuários e aplicativos para o Databricks : É possível configurar recursos para controlar o acesso e fornecer conectividade privada entre usuários e seus workspaces do Databricks. Consulte Usuários para rede do Databricks.
- Clássico: O painel de controle e o plano de compute clássico : Recursos de compute clássicos, como clusters, são implantados na sua conta AWS e se conectam ao painel de controle. É possível usar recursos de conectividade de rede clássicos para implantar recursos de plano de compute clássicos em sua própria rede virtual e para habilitar a conectividade privada dos clusters ao plano de controle. Consulte Rede do plano de compute clássico.
- Saída: o plano de compute serverless e o armazenamento : Você pode configurar firewalls em seus recursos para permitir o acesso do plano de compute serverless do Databricks. Consulte Rede de plano de compute serverless.
Use o diagrama a seguir para visualizar a forma como os dados fluem pelo Databricks.
Escolha sua arquitetura de rede
Estas arquiteturas fornecem segurança de rede para cada tipo de conectividade em uma progressão. Comece com a segurança gerenciada como sua base e adicione controles à medida que seus requisitos aumentam. A maioria das organizações reforçam a entrada e saída antes de adotarem conectividade privada completa.
-
Segurança gerenciada- Ponto de partida. Infraestrutura gerenciada pelo Databricks com defaults seguros. Aplicar os controles do Unity Catalog sobre esta linha de base para a governança de dados.
-
Conectividade reforçada- Reforça a entrada e saída além da segurança gerenciada. Ideal para organizações que devem ter auditabilidade e controle de acesso sem eliminar endpoints públicos.
-
Ambiente isolado- Torna todo o acesso privado além da conectividade reforçada. Para indústrias regulamentadas (serviços financeiros, saúde, governo) com requisitos rigorosos de exfiltração de dados.
Matriz de recursos
A tabela a seguir mostra quais recursos de segurança de rede se aplicam a cada arquitetura:
Conectividade | Recurso | Segurança gerenciada | Conectividade reforçada | Ambiente isolado |
|---|---|---|---|---|
Compute clássico | Conectividade segura de cluster (SCC) | Sim | Sim | Sim |
Compute clássico | VPC gerenciada pelo cliente | Sim | Sim | Sim |
Compute clássico | PrivateLink de plano de compute clássico | Opcional | Sim | Sim |
Entrada | Workspace de Entrada PrivateLink | Não | Não | Sim |
Entrada | PrivateLink de entrada para serviços intensivos em desempenho | Não | Não | Sim |
Entrada | Listas de Acesso IP do Workspace | Não | Sim | Sim |
Entrada | Listas de acesso de IP no nível da conta | Não | Sim | Sim |
Entrada | Listas de acesso IP do OpenSharing | Não | Sim | Sim |
Saída | Controle de saída serverless | Não | Sim | Sim |
Saída | Serverless PrivateLink (endpoints privados do NCC) | Não | Sim | Sim |
Saída | IPs estáveis serverless | Sim | Sim | Sim |
Saída | Firewall externo | Opcional | Opcional | Sim |
Recursos adicionais
-
- Melhores práticas de segurança do Databricks
- Arquiteturas de referência de segurança, Ferramenta de análise de segurança (SAT) e o white paper de segurança da AWS.
-
- Custos de rede
- Planejar e gerenciar os custos de rede nas implantações do Databricks.