Compartilhe dados por trás de um firewall com o SecureConnect

O SecureConnect simplifica a criação de redes para compartilhamento de dados, permitindo que os provedores de dados compartilhem com diferentes destinatários sem precisar adicionar cada destinatário à lista de permissões em suas regras de rede de armazenamento. Além disso, o SecureConnect permite que os provedores compartilhem dados de armazenamento em nuvem protegidos por um endpoint privado.

Como o SecureConnect funciona

Para usar o SecureConnect, o provedor realiza uma configuração única que permite aos destinatários do Databricks acessar o armazenamento do provedor por trás de um firewall ou endpoint privado. Em seguida, o Databricks encaminha as solicitações dos destinatários por meio de um proxy gerenciado, para que o provedor não precise atualizar seu firewall de armazenamento ao adicionar um novo destinatário.

Os destinatários acessam os dados compartilhados usando a configuração existente do OpenSharing:

• Destinatários Databricks em compute serverless acessam compartilhamentos sem alterações de firewall por provedor.
• Destinatários do Databricks em compute clássica e destinatários abertos adicionam à lista de permissões um único conjunto de IPs do plano de controle do Databricks para a região do provedor.

Para otimizar o desempenho, os destinatários em compute Serverless na mesma região que o armazenamento do provedor leem diretamente do armazenamento, em vez de usar o proxy gerenciado. Destinatários de diferentes regiões e nuvens, bem como destinatários em computação clássica, leem através do proxy gerenciado. Essa diferença afeta a forma como o uso da rede é cobrado. Consulte a seção Faturamento.

Sem o SecureConnect, um provedor deve adicionar o identificador de rede de cada destinatário ao firewall de armazenamento, coordenando com o destinatário e um administrador de plataforma em cloud para cada novo destinatário.

O SecureConnect também se aplica a produtos de dados compartilhados por meio do Databricks Marketplace e a dados compartilhados em clean rooms, pois ambos são baseados no OpenSharing.

Configure o SecureConnect como um provedor

Configurar o SecureConnect envolve configurar seu firewall de armazenamento para permitir o acesso e habilitar o SecureConnect para seus metastores e destinatários.

Etapa 1: Configurar o firewall do armazenamento

As seguintes instruções pressupõem que seus ativos compartilhados e o metastore do provedor estejam na mesma região. Para os custos de rede mais baixos, mantenha a região dos seus ativos compartilhados igual à região do metastore do seu provedor.

O SecureConnect acessa seu armazenamento a partir do plano de dados serverless pela rede do seu provedor de cloud, e não pela internet pública.

A forma como você configura o acesso depende de o seu bucket do Google Cloud Storage (GCS) estar protegido por um firewall ou VPC Service Controls.

Opção 1: bucket do GCS sem um firewall ou VPC Service Controls

Se o seu bucket GCS não estiver protegido por um firewall ou VPC Service Controls, nenhuma configuração será necessária.

Option 2: GCS bucket behind a firewall or VPC Service Controls

info

Visualização

Essa opção está em Pré-visualização privada.

If your GCS bucket is protected by VPC Service Controls (VPC-SC), add the Databricks serverless project numbers to your VPC-SC ingress rules so that only Databricks serverless compute projects can access your storage. As part of SecureConnect enrollment, your Databricks account team provides the serverless project numbers to add. For configuration instructions, see Configure access using serverless project numbers.

Além disso, adicione o número do projeto de host da VPC do plano de controle para sua região às regras de entrada VPC-SC. Encontre-o em Control plane VPC host project # em URIs de anexo e números de projeto do Private Service Connect (PSC).

Etapa 2: ativar o SecureConnect em um metastore

Um administrador de metastore pode configurar o metastore para que novos destinatários usem automaticamente o SecureConnect. Por default, destinatários novos e existentes não estão inscritos no SecureConnect. É preciso configurar os destinatários existentes separadamente. Consulte o Passo 3: Habilitar SecureConnect para destinatários individuais.

Para habilitar o SecureConnect em um metastore:

1. No seu workspace do Databricks, clique em Catálogo para abrir o Catalog Explorer.

2. No topo do painel Catálogo , clique no ícone de engrenagem e selecione OpenSharing .

   Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.

3. Clique em **Configurações** no canto superior direito.

4. Ative a configuração para **Ativar SecureConnect para novos destinatários**.

5. Clique em Salvar .

O passo 3: Habilitar SecureConnect para destinatários individuais

Proprietários de destinatário e usuários com o privilégio USE_RECIPIENT ativam ou desativam o SecureConnect para cada destinatário. O SecureConnect é desativado em um destinatário por default, a menos que o metastore tenha sido configurado para habilitá-lo para todos os novos destinatários quando o destinatário foi criado.

Para configurar o SecureConnect para um destinatário:

1. No seu Databricks workspace, clique em Catálogo .

2. No topo do painel Catálogo , clique no ícone de engrenagem e selecione OpenSharing .

   Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.

3. Na guia Compartilhado por mim , clique na guia Destinatários .

4. Ative SecureConnect para cada destinatário desejado.

(Opcional) O passo 4: Restringir o acesso aberto do destinatário com ACLs de IP

Para destinatários abertos, é possível restringir quais endereços IP de cliente podem acessar o SecureConnect utilizando listas de acesso IP. IP ACLs aplicam-se somente a destinatários abertos.

Com o SecureConnect, as ACLs de IP aplicam-se tanto ao acesso de endpoint do OpenSharing quanto ao acesso de armazenamento. Sem o SecureConnect, as listas de acesso IP restringem apenas o acesso ao endpoint do OpenSharing; as URLs de armazenamento permanecem acessíveis de qualquer IP de cliente.

Para obter instruções de configuração, consulte Restringir o acesso do destinatário do OpenSharing usando listas de acesso IP (Compartilhamento de Databricks para Open).

nota

As alterações de ACL de IP para destinatários abertos habilitados para SecureConnect podem levar até 10 minutos para entrar em vigor.

Cenários de compartilhamento suportados

importante

Qualquer recurso não compatível retorna ao acesso direto do compute do destinatário para o armazenamento. O provedor deve conceder acesso manualmente aos IPs do destinatário em seu firewall de armazenamento. Consulte O que é o protocolo Databricks-to-Databricks OpenSharing? ou O que é o protocolo Databricks-to-Open compartilhamento?.

O SecureConnect permite o compartilhamento com destinatários independentemente da cloud em que estejam instalados, tanto para compartilhamento entre Databricks-to-Databricks quanto para compartilhamento de Databricks para sistemas abertos.

A conversão de mTLS para SecureConnect é compatível apenas com destinatários do Databricks que utilizam compute Serverless para acessar os dados compartilhados.

Suporte de recursos

Recurso	D2O (token)	D2O (OIDC)*	D2O (Iceberg)	D2D (serverless)	D2D (clássico)
Tabelas com história e sem partições	✓	✓	Não	✓ **	✓ **
Tabelas sem história ou com partições	✓	✓	Não	✓	✓
Exibições	✓	✓	Não	✓ ***	✓
Tabelas externas	✓	✓	Não	✓	✓
Visualizações materializadas	✓	✓	Não	✓ ***	✓
Tabelas de streaming	✓	✓	Não	✓ ***	✓
Volumes	Não	Não	Não	Não	Não
cadernos	Não	Não	Não	Não	Não
modelos de AI	Não	Não	Não	Não	Não

Recurso	D2O (token)	D2O (OIDC)*	D2O (Iceberg)	D2D (serverless)	D2D (clássico)
Tabelas com história e sem partições	✓	✓	Não	✓ **	✓ **
Tabelas sem história ou com partições	✓	✓	Não	✓	✓
Exibições	✓	✓	Não	✓ ***	✓
Tabelas externas	✓	✓	Não	✓	✓
Visualizações materializadas	✓	✓	Não	✓ ***	✓
Tabelas de streaming	✓	✓	Não	✓ ***	✓
Volumes	Não	Não	Não	Não	Não
cadernos	Não	Não	Não	Não	Não
modelos de AI	Não	Não	Não	Não	Não

O compartilhamento OIDC não funciona atualmente quando o destinatário também está no Databricks.

**A otimização de tokens de cloud não está disponível para SecureConnect.

*** Esses ativos são materializados e filtrados no lado do provedor. Consulte Os destinatários têm acesso direto aos dados subjacentes em views compartilhadas, visualizações materializadas e tabelas de transmissão em fluxo?.

Limitações

• Seus ativos não podem ser armazenados pelo Cloudflare R2.
• O SecureConnect não pode ser usado com destinatários que leem dados compartilhados usando o SAP HANA, porque o SAP HANA não oferece suporte às URLs pré-assinadas do Databricks que o SecureConnect usa para entregar dados compartilhados.

Para limitações do lado do destinatário, como suporte mTLS e restrições de compartilhamento Databricks-to-Open, consulte Limitações.

Cobrança

O Databricks está implementando a cobrança de rede do SecureConnect para que os provedores não sejam cobrados pela transferência de dados (saída) quando os destinatários acessarem dados compartilhados por meio do SecureConnect. Para entender como você poderá ser cobrado, consulte Faturamento de rede expandida para OpenSharing SecureConnect.

Recursos adicionais

• Configure o OpenSharing para sua account (para provedores).
• Configuração de firewall do destinatário OpenSharing para SecureConnect