Trabalho em rede
Este artigo apresenta as configurações de rede para a implementação e o gerenciamento da conta e do espaço de trabalho do Databricks.
Databricks cobranças por custos de rede quando cargas de trabalho d serverless se conectam ao recurso do cliente. Consulte Entenda os custos de rede do Databricks serverless.
Visão geral da arquitetura da Databricks
Databricks opera a partir de um plano de controle e de um planocompute .
- O plano de controle inclui o serviço de backend que Databricks gerenciar em seu Databricks account. O aplicativo web está no plano de controle.
- O planocompute é onde seus dados são processados. Há dois tipos de planos compute, dependendo do compute que o senhor estiver usando.
- Para o clássico Databricks compute, o recurso compute está em seu AWS account no que é chamado de plano clássico compute . Isso se refere à rede em seu site AWS account e seu recurso. O recurso clássico do plano compute está na região em que o seu workspace está.
- Para serverless compute, o serverless compute recurso execução em um serverless compute plano em seu Databricks account. O recurso de compute plano sem servidor está na mesma região de nuvem que o plano workspace clássico do seu.compute O senhor seleciona essa região ao criar um workspace.
Para saber mais sobre os sites clássicos compute e serverless compute, consulte computar. Para obter informações adicionais sobre a arquitetura, consulte Arquitetura de alto nível.
Conectividade de rede segura
Databricks fornece um ambiente de rede seguro pelo site default, mas se a sua organização tiver necessidades adicionais, o senhor pode configurar o recurso de conectividade de rede entre as diferentes conexões de rede mostradas no diagrama abaixo.
- Usuários e aplicativos para Databricks : O senhor pode configurar o recurso para controlar o acesso e fornecer conectividade privada entre os usuários e o espaço de trabalho Databricks. Consulte Usuários da rede Databricks.
- O plano de controle e o plano clássico compute: Os compute recursos clássicos, como o clusters, são implantados no seu AWS account e se conectam ao plano de controle. O senhor pode usar o recurso clássico de conectividade de rede para implantar o recurso clássico do plano de compute em seu próprio cloud privado virtual e para habilitar a conectividade privada do clusters para o plano de controle. Consulte o site clássico compute plane networking.
- O plano serverless compute e o armazenamento : O senhor pode configurar firewalls em seu recurso para permitir o acesso a partir do plano Databricks serverless compute . Consulte compute plane networking sem servidor.
O senhor pode configurar o recurso de rede de armazenamento AWS para proteger a conexão entre o plano clássico compute e o S3. Para obter mais informações, consulte Configure Databricks S3 commit service-related settings e Networking recommendations for lakehouse Federation.
A conectividade entre o plano de controle e o plano serverless compute está sempre no backbone da rede de nuvem e não na Internet pública.
Comece já
Entenda a arquitetura de rede Databricks e explore os key conceitos.
tópico | Descrição |
|---|---|
Aprenda sobre a arquitetura do plano de controle e do plano compute que formam a base da rede Databricks . | |
Estabeleça conexões privadas entre sua rede e o Databricks usando o AWS PrivateLink para maior segurança. | |
Saiba mais sobre preços de transferência de dados e otimize custos para recursos de conectividade de rede. |
Conectividade
Configure conexões de rede seguras para acesso de entrada ao espaço de trabalho e conectividade de saída do recurso compute .
tópico | Descrição |
|---|---|
Configure controles de acesso à rede para usuários que se conectam ao espaço de trabalho Databricks por meio da interface da Web e APIs. | |
Habilite a conectividade privada da sua rede corporativa para o espaço de trabalho Databricks usando AWS PrivateLink. | |
Configure o acesso seguro à rede entre o recurso compute serverless e sua fonte de dados e serviço. | |
Estabeleça conexões privadas de compute serverless para serviços AWS como S3, DynamoDB e RDS. | |
Conecte compute serverless ao recurso em execução na sua própria VPC usando um endpoint privado. | |
Configure e gerencie regras endpoint privado para conectividade compute serverless . | |
Aprenda sobre opções de rede para recursos compute clássica instalados em sua rede virtual. | |
Hospede clusters do Databricks em sua própria VPC da AWS para maior controle de rede. | |
Conecte sua VPC Databricks a outras VPCs na sua account AWS para acessar recursos adicionais. | |
Estabeleça conectividade privada entre o recurso compute clássico e o plano de controle Databricks . | |
Configure as definições de conectividade privada no nível account para implantação workspace . | |
registro e gerenciamento de endpoint VPC para conectividade privada ao serviço Databricks . | |
Definir configurações relacionadas ao serviço de commit do Databricks S3 | Otimize as operações de gravação S3 com configurações de rede para o serviço commit Databricks S3 . |
Segurança de rede
Implemente controles de segurança para restringir e monitorar o acesso à rede.
tópico | Descrição |
|---|---|
Restrinja as conexões de rede de saída do recurso compute serverless para evitar a exfiltração de dados e garantir compliance. | |
gerenciar políticas de rede para controle de saída serverless | Crie e gerencie políticas de rede que definam conexões de saída permitidas de compute serverless . |
Aprenda a usar listas de acesso IP para controlar quais endereços IP podem acessar seu espaço de trabalho Databricks . | |
Configure controles de acesso IP no nível workspacepara restringir o acesso de redes aprovadas. | |
Defina restrições de IP em nível accountque se aplicam a vários espaços de trabalho para gerenciamento de segurança centralizado. | |
Use endereços IP estáveis para configurar regras de firewall para conectividade compute serverless . | |
Configure regras de firewall baseadas em domínio para permitir que Databricks passe pelos seus controles de segurança de rede. |