Rede clássica de plano de computação

Este artigo apresenta recursos para personalizar o acesso à rede entre o plano de controle Databricks e o plano compute clássico. A conectividade entre o plano de controle e o plano serverless compute é sempre feita pelo backbone da rede cloud e não pela Internet pública.

Para saber mais sobre o plano de controle e o plano compute , consulte Visão geral da arquitetura do Databricks.

Para saber mais sobre os sites clássicos compute e serverless compute, consulte Types of compute.

O recurso nesta seção concentra-se em estabelecer e proteger a conexão entre o plano de controle do Databricks e o plano compute clássico. Esta conexão está no rótulo conforme 2 do diagrama abaixo:

O que é conectividade segura clusters ?

Todos os novos espaços de trabalho são criados com a conectividade segura cluster por default. A conectividade cluster segura significa que os VPCs do cliente não têm portas abertas e o recurso de plano compute clássico não tem endereços IP públicos. Isso simplifica a administração da rede, eliminando a necessidade de configurar portas em grupos de segurança ou emparelhamento de rede.

A conectividade segura do cluster garante que os clusters se conectem ao plano de controle do Databricks por meio de um túnel seguro usando HTTPS (porta 443) sem exigir endereços IP públicos nos nós do cluster. Essa conexão é estabelecida usando um relé de conectividade cluster seguro, que separa o tráfego de rede do aplicativo da Web e REST API da tarefa de gerenciamento cluster.

Embora o plano serverless compute não use o relé de conectividade cluster seguro para o plano compute clássico, o recurso serverless compute não tem endereços IP públicos

implantar um espaço de trabalho em sua própria VPC

Uma clouds virtual privada (VPC) da AWS permite provisionar uma seção logicamente isolada das clouds AWS, onde você pode iniciar o recurso AWS em uma rede virtual. A VPC é o local de rede dos clusters do Databricks. Por default, o Databricks cria e gerencia um VPC para o espaço de trabalho do Databricks.

Em vez disso, você pode fornecer sua própria VPC para hospedar seus clusters Databricks, permitindo manter mais controle de sua própria account AWS e limitar as conexões de saída. Para aproveitar uma VPC gerenciada pelo cliente, você deve especificar uma VPC ao criar pela primeira vez o espaço de trabalho do Databricks. Para obter mais informações, consulte Configurar uma VPC gerenciada pelo cliente.

Faça peering do Databricks VPC com outro AWS VPC

Por default, o Databricks cria e gerencia um VPC para o espaço de trabalho do Databricks. Para segurança adicional, worker que pertencem a clusters só podem se comunicar com outros worker que pertencem aos mesmos clusters. worker não pode se comunicar com nenhuma outra instância do EC2 ou outro serviço da AWS em execução no Databricks VPC. Se você tiver algum serviço AWS em execução no mesmo VPC dos clusters Databricks, talvez não consiga se comunicar com o serviço devido a essa restrição de firewall. Você pode executar esse serviço fora do VPC do Databricks e peer com esse VPC para se conectar a esses serviços. Consulte peering de VPC.

Habilite a conectividade privada do plano de controle para o plano de computação clássico

O AWS PrivateLink fornece conectividade privada de VPCs da AWS e redes locais para serviços da AWS sem expor o tráfego à rede pública. Você pode habilitar a conectividade privada do plano compute clássico para o serviço principal do workspacedo Databricks no plano de controle habilitando o AWS Private Link.

Para obter mais informações, consulte Habilitar a conectividade privada usando AWS PrivateLink.