Pular para o conteúdo principal

Trabalho em rede

Este artigo apresenta as configurações de rede para a implementação e o gerenciamento da conta e do espaço de trabalho do Databricks.

nota

Databricks cobranças por custos de rede quando cargas de trabalho d serverless se conectam ao recurso do cliente. Consulte Entenda os custos de rede do Databricks serverless.

Visão geral da arquitetura da Databricks

Databricks opera a partir de um plano de controle e de um planocompute .

  • O plano de controle inclui o serviço de backend que Databricks gerenciar em seu Databricks account. O aplicativo web está no plano de controle.
  • O planocompute é onde seus dados são processados. Há dois tipos de planos compute, dependendo do compute que o senhor estiver usando.
    • Para o clássico Databricks compute, o recurso compute está em seu AWS account no que é chamado de plano clássico compute . Isso se refere à rede em seu site AWS account e seu recurso. O recurso clássico do plano compute está na região em que o seu workspace está.
    • Para serverless compute, o serverless compute recurso execução em um serverless compute plano em seu Databricks account. O recurso de compute plano sem servidor está na mesma região de nuvem que o plano workspace clássico do seu.compute O senhor seleciona essa região ao criar um workspace.

Para saber mais sobre os sites clássicos compute e serverless compute, consulte computar. Para obter informações adicionais sobre a arquitetura, consulte Arquitetura de alto nível.

Conectividade de rede segura

Databricks fornece um ambiente de rede seguro pelo site default, mas se a sua organização tiver necessidades adicionais, o senhor pode configurar o recurso de conectividade de rede entre as diferentes conexões de rede mostradas no diagrama abaixo.

Diagrama geral da conectividade de rede

  1. Usuários e aplicativos para Databricks : O senhor pode configurar o recurso para controlar o acesso e fornecer conectividade privada entre os usuários e o espaço de trabalho Databricks. Consulte Usuários da rede Databricks.
  2. O plano de controle e o plano clássico compute: Os compute recursos clássicos, como o clusters, são implantados no seu AWS account e se conectam ao plano de controle. O senhor pode usar o recurso clássico de conectividade de rede para implantar o recurso clássico do plano de compute em seu próprio cloud privado virtual e para habilitar a conectividade privada do clusters para o plano de controle. Consulte o site clássico compute plane networking.
  3. O plano serverless compute e o armazenamento : O senhor pode configurar firewalls em seu recurso para permitir o acesso a partir do plano Databricks serverless compute . Consulte compute plane networking sem servidor.

O senhor pode configurar o recurso de rede de armazenamento AWS para proteger a conexão entre o plano clássico compute e o S3. Para obter mais informações, consulte Configure Databricks S3 commit service-related settings e Networking recommendations for lakehouse Federation.

A conectividade entre o plano de controle e o plano serverless compute está sempre no backbone da rede de nuvem e não na Internet pública.

Comece já

Entenda a arquitetura de rede Databricks e explore os key conceitos.

tópico

Descrição

Visão geral da arquitetura do Databricks

Aprenda sobre a arquitetura do plano de controle e do plano compute que formam a base da rede Databricks .

AWS PrivateLink

Estabeleça conexões privadas entre sua rede e o Databricks usando o AWS PrivateLink para maior segurança.

Entenda os custos de transferência de dados e conectividade

Saiba mais sobre preços de transferência de dados e otimize custos para recursos de conectividade de rede.

Conectividade

Configure conexões de rede seguras para acesso de entrada ao espaço de trabalho e conectividade de saída do recurso compute .

tópico

Descrição

Rede front-end

Configure controles de acesso à rede para usuários que se conectam ao espaço de trabalho Databricks por meio da interface da Web e APIs.

Link privado front-end

Habilite a conectividade privada da sua rede corporativa para o espaço de trabalho Databricks usando AWS PrivateLink.

Rede de plano de compute serverless

Configure o acesso seguro à rede entre o recurso compute serverless e sua fonte de dados e serviço.

Conectividade privada com o recurso AWS

Estabeleça conexões privadas de compute serverless para serviços AWS como S3, DynamoDB e RDS.

Conectividade privada para recurso em sua VPC

Conecte compute serverless ao recurso em execução na sua própria VPC usando um endpoint privado.

gerenciar regras endpoint privado

Configure e gerencie regras endpoint privado para conectividade compute serverless .

Rede de plano de computação clássico

Aprenda sobre opções de rede para recursos compute clássica instalados em sua rede virtual.

implantei Databricks em uma VPCgerenciada pelo cliente

Hospede clusters do Databricks em sua própria VPC da AWS para maior controle de rede.

Emparelhamento de VPC

Conecte sua VPC Databricks a outras VPCs na sua account AWS para acessar recursos adicionais.

Link privado de back-end

Estabeleça conectividade privada entre o recurso compute clássico e o plano de controle Databricks .

Gerenciar configurações de acesso privado

Configure as definições de conectividade privada no nível account para implantação workspace .

Gerenciar registros de endpoints de VPC

registro e gerenciamento de endpoint VPC para conectividade privada ao serviço Databricks .

Definir configurações relacionadas ao serviço de commit do Databricks S3

Otimize as operações de gravação S3 com configurações de rede para o serviço commit Databricks S3 .

Segurança de rede

Implemente controles de segurança para restringir e monitorar o acesso à rede.

tópico

Descrição

O que é controle de saída serverless ?

Restrinja as conexões de rede de saída do recurso compute serverless para evitar a exfiltração de dados e garantir compliance.

gerenciar políticas de rede para controle de saída serverless

Crie e gerencie políticas de rede que definam conexões de saída permitidas de compute serverless .

Visão geral das listas de acesso IP

Aprenda a usar listas de acesso IP para controlar quais endereços IP podem acessar seu espaço de trabalho Databricks .

Listas de acesso IP para espaço de trabalho

Configure controles de acesso IP no nível workspacepara restringir o acesso de redes aprovadas.

Listas de acesso IP para o console da conta

Defina restrições de IP em nível accountque se aplicam a vários espaços de trabalho para gerenciamento de segurança centralizado.

Configurar um firewall para acesso compute serverless

Use endereços IP estáveis para configurar regras de firewall para conectividade compute serverless .

Regras de firewall de nome de domínio

Configure regras de firewall baseadas em domínio para permitir que Databricks passe pelos seus controles de segurança de rede.