Trabalho em rede

Este artigo apresenta as configurações de rede para a implementação e o gerenciamento da conta e do espaço de trabalho do Databricks.

nota

A partir de 7 de outubro de 2024, o site Databricks começou a cobrar dos clientes os custos de rede incorridos pelo serverless compute recurso conectado a um recurso externo. O faturamento da rede sem servidor está sendo implementado em fases, o que pode resultar em mudanças graduais no faturamento. Para obter mais informações sobre faturamento, consulte Databricks preços.

Visão geral da arquitetura da Databricks

Databricks opera a partir de um plano de controle e de um planocompute .

• O plano de controle inclui o serviço de backend que Databricks gerenciar em seu Databricks account. O aplicativo web está no plano de controle.
• O planocompute é onde seus dados são processados. Há dois tipos de planos compute, dependendo do compute que o senhor estiver usando.
  • Para o clássico Databricks compute, o recurso compute está em seu AWS account no que é chamado de plano clássico compute . Isso se refere à rede em seu site AWS account e seu recurso. Os recursos do plano Classic compute estão na região em que se encontra o seu workspace.
  • Para serverless compute, o serverless compute recurso execução em um serverless compute plano em seu Databricks account. O recurso do compute plano sem servidor está na mesma região de nuvem que o workspaceplano clássico do seu.compute O senhor seleciona essa região ao criar um workspace.

Para saber mais sobre os sites clássicos compute e serverless compute, consulte Types of compute. Para obter informações adicionais sobre a arquitetura, consulte Databricks architecture overview.

Conectividade de rede segura

Databricks fornece um ambiente de rede seguro pelo site default, mas se a sua organização tiver necessidades adicionais, o senhor pode configurar o recurso de conectividade de rede entre as diferentes conexões de rede mostradas no diagrama abaixo.

1. Usuários e aplicativos para Databricks : O senhor pode configurar o recurso para controlar o acesso e fornecer conectividade privada entre os usuários e o espaço de trabalho Databricks. Consulte Usuários da rede Databricks.
2. O plano de controle e o plano clássico compute: Os recursos compute clássicos, como o clustering, são implantados no seu AWS account e se conectam ao plano de controle. O senhor pode usar o recurso de conectividade de rede clássica para implantar o recurso de plano de compute rede clássico em sua própria nuvem privada virtual e habilitar a conectividade privada do clustering para o plano de controle. Consulte o site clássico compute plane networking.
3. O plano serverless compute e o armazenamento : O senhor pode configurar firewalls em seu recurso para permitir o acesso a partir do plano Databricks serverless compute . Consulte compute plane networking sem servidor.

O senhor pode configurar o recurso de rede de armazenamento AWS para proteger a conexão entre o plano clássico compute e o S3. Para obter mais informações, consulte Configure Databricks S3 commit service-related settings e Networking recommendations for lakehouse Federation.

A conectividade entre o plano de controle e o plano serverless compute está sempre no backbone da rede de nuvem e não na Internet pública.