Compartilhe dados por trás de um firewall com o SecureConnect
Visualização
Esse recurso está em Prévia Pública.
Esta página descreve como os provedores configuram o OpenSharing SecureConnect para compartilhar dados do armazenamento em cloud que está por trás de um firewall ou endpoint privado, sem a necessidade de adicionar a rede de cada destinatário à lista de permissões.
Como o SecureConnect funciona
Antes de habilitar o SecureConnect em uma conta do Databricks, um provedor faz uma configuração de uma única vez. Esta configuração permite que os destinatários do Databricks acessem o armazenamento do provedor por trás de um firewall ou endpoint privado. Databricks então direciona as solicitações dos destinatários por meio de um proxy gerenciado, para que o provedor não precise atualizar seu firewall de armazenamento ao adicionar um novo destinatário.
Os destinatários acessam os dados compartilhados usando a configuração existente do OpenSharing:
- Destinatários Databricks em compute serverless acessam compartilhamentos sem alterações de firewall por provedor.
- Destinatários do Databricks em compute clássica e destinatários abertos adicionam à lista de permissões um único conjunto de IPs do plano de controle do Databricks para a região do provedor.
Sem o SecureConnect, um provedor deve adicionar o identificador de rede de cada destinatário ao firewall de armazenamento, coordenando com o destinatário e um administrador de plataforma em cloud para cada novo destinatário.
Requisitos
- A pré-visualização do **OpenSharing SecureConnect** no **Console de Contas** deve ser habilitada. Consulte Gerenciar prévias do Databricks.
Configure o SecureConnect como um provedor
Configurar o SecureConnect envolve configurar seu firewall de armazenamento para permitir o acesso e habilitar o SecureConnect para seus metastores e destinatários.
Etapa 1: Configurar o firewall do armazenamento
As seguintes instruções pressupõem que seus ativos compartilhados e o metastore do provedor estejam na mesma região. Para os custos de rede mais baixos, mantenha a região dos seus ativos compartilhados igual à região do metastore do seu provedor.
O SecureConnect acessa seu armazenamento a partir do plano de dados serverless pela rede do seu provedor de cloud, não pela internet pública. Escolha uma das seguintes opções de configuração com base na necessidade de conectividade privada do seu armazenamento.
Opção 1: Adicionar a rede serverless do Databricks à lista de permissões
Permita o acesso adicionando o identificador de rede serverless da Databricks ao firewall do seu armazenamento. Se o seu armazenamento estiver atrás de um endpoint privado, consulte a seção a seguir.
Configure suas políticas de bucket S3 para incluir o VPCE OrgPath. Consulte Configurar acesso ao bucket S3 usando VPCE OrgPath.
Opção 2: Configurar conectividade privada
Use esta opção se o seu armazenamento compartilhado estiver atrás de um endpoint privado.
Um administrador account deve configurar uma configuração de conectividade de rede (NCC) e anexá-la ao metastore que hospeda seus dados compartilhados. Para saber mais sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.
Uma NCC anexada a um workspace não pode ser anexada a um metastore. Um NCC aplicado a um metastore para OpenSharing se aplica a todos os compartilhamentos anexados ao metastore.
O AWS PrivateLink para S3 não é compatível com endpoints FIPS, que o Databricks usa por default em todas as regiões dos EUA. Se o seu metastore de provedor estiver em uma região dos EUA, entre em contato com sua equipe de conta do Databricks.
Para obter mais informações, consulte a documentação da AWS.
Crie uma NCC e uma regra de endpoint privado para seu bucket S3, mas não anexe a NCC a um workspace. Consulte Configurar conectividade privada a recursos gerenciados pela AWS para configuração de NCC e PrivateLink.
Anexe a NCC ao seu metastore OpenSharing:
- Como administrador de conta do Databricks, acesse o console da conta.
- Na barra lateral, clique em
Catálogo . - Clique no nome do metastore do OpenSharing para abrir seus detalhes.
- Em **Configuração de conectividade de rede (NCC) do OpenSharing**, clique em **Editar**.
- Pesquise e selecione o NCC criado para o OpenSharing.
- Clique em Salvar .
Etapa 2: ativar o SecureConnect em um metastore
Um administrador de metastore pode configurar o metastore para que novos destinatários usem automaticamente o SecureConnect. Por default, destinatários novos e existentes não estão inscritos no SecureConnect. É preciso configurar os destinatários existentes separadamente. Consulte o Passo 3: Habilitar SecureConnect para destinatários individuais.
Para habilitar o SecureConnect em um metastore:
-
No seu workspace do Databricks, clique em
Catálogo para abrir o Catalog Explorer. -
No topo do painel Catálogo , clique no ícone de
engrenagem e selecione OpenSharing .Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.
-
Clique em **Configurações** no canto superior direito.
-
Ative a configuração para **Ativar SecureConnect para novos destinatários**.
-
Clique em Salvar .
O passo 3: Habilitar SecureConnect para destinatários individuais
Proprietários de destinatário e usuários com o privilégio USE_RECIPIENT ativam ou desativam o SecureConnect para cada destinatário. O SecureConnect é desativado em um destinatário por default, a menos que o metastore tenha sido configurado para habilitá-lo para todos os novos destinatários quando o destinatário foi criado.
Para configurar o SecureConnect para um destinatário:
-
No seu Databricks workspace, clique em
Catálogo . -
No topo do painel Catálogo , clique no ícone de
engrenagem e selecione OpenSharing .Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.
-
Na guia Compartilhado por mim , clique na guia Destinatários .
-
Ative SecureConnect para cada destinatário desejado.
(Opcional) O passo 4: Restringir o acesso aberto do destinatário com ACLs de IP
Para destinatários abertos, é possível restringir quais endereços IP de cliente podem acessar o SecureConnect utilizando listas de acesso IP. IP ACLs aplicam-se somente a destinatários abertos.
Com o SecureConnect, as ACLs de IP aplicam-se tanto ao acesso de endpoint do OpenSharing quanto ao acesso de armazenamento. Sem o SecureConnect, as listas de acesso IP restringem apenas o acesso ao endpoint do OpenSharing; as URLs de armazenamento permanecem acessíveis de qualquer IP de cliente.
Para obter instruções de configuração, consulte Restringir o acesso do destinatário do OpenSharing usando listas de acesso IP (Compartilhamento de Databricks para Open).
As alterações de ACL de IP para destinatários abertos habilitados para SecureConnect podem levar até 10 minutos para entrar em vigor.
Cenários de compartilhamento suportados
Qualquer recurso não compatível retorna ao acesso direto do compute do destinatário para o armazenamento. O provedor deve conceder acesso manualmente aos IPs do destinatário em seu firewall de armazenamento. Consulte O que é o protocolo Databricks-to-Databricks OpenSharing? ou O que é o protocolo Databricks-to-Open compartilhamento?.
SecureConnect oferece suporte a compartilhamento para AWS, Azure e GCP.
mTLS para SecureConnect é compatível apenas com clusters de destinatário serverless.
Suporte de recursos
Recurso | D2O (token) | D2O (OIDC)* | D2O (Iceberg) | D2D (serverless) | D2D (clássico) |
|---|---|---|---|---|---|
Tabelas com história e sem partições | ✓ | ✓ | Não | ✓ ** | ✓ ** |
Tabelas sem história ou com partições | ✓ | ✓ | Não | ✓ | ✓ |
Exibições | ✓ | ✓ | Não | ✓ *** | ✓ |
Tabelas externas | ✓ | ✓ | Não | ✓ | ✓ |
Visualizações materializadas | ✓ | ✓ | Não | ✓ *** | ✓ |
Tabelas de streaming | ✓ | ✓ | Não | ✓ *** | ✓ |
Volumes | Não | Não | Não | Não | Não |
cadernos | Não | Não | Não | Não | Não |
modelos de AI | Não | Não | Não | Não | Não |
O compartilhamento OIDC não funciona atualmente quando o destinatário também está no Databricks.
**A otimização de tokens de cloud não está disponível para SecureConnect.
*** Esses ativos são materializados e filtrados no lado do provedor. Consulte Os destinatários têm acesso direto aos dados subjacentes em views compartilhadas, visualizações materializadas e tabelas de transmissão em fluxo?.
Limitações
-
Seus ativos não podem ser armazenados pelo Cloudflare R2.
-
SecureConnect não está disponível na AWS GovCloud.
-
O AWS PrivateLink para S3 não é compatível com endpoints FIPS, que o Databricks usa por default em todas as regiões dos EUA. Se utilizar SecureConnect com PrivateLink em uma região dos EUA, entre em contato com sua equipe de conta do Databricks.
Para limitações do lado do destinatário, como suporte mTLS e restrições de compartilhamento Databricks-to-Open, consulte Limitações.
Cobrança
Provedores são cobrados pela transferência de dados através do SecureConnect. Consulte Preços de transferência de dados e conectividade.
O uso por destinatário é atribuído por meio do campo recipient_id na tabela do sistema de faturamento, para que os provedores possam detalhar o uso faturável do SecureConnect por destinatário. Consulte a Referência da tabela do sistema de uso faturável.
A seguinte query retorna a saída de dados do SecureConnect (em GB) para cada destinatário nos últimos 7 dias:
SELECT
usage_records.usage_metadata.recipient_id,
SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
usage_records.billing_origin_product = 'NETWORKING'
AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
usage_records.usage_metadata.recipient_id
ORDER BY
total_usage_gb DESC
Para converter o uso em custo, join à tabela do sistema de preços. Consulte Referência da tabela do sistema de preços.