Compartilhe dados por trás de um firewall com o SecureConnect

info

Visualização

Esse recurso está em Prévia Pública.

Esta página descreve como os provedores configuram o OpenSharing SecureConnect para compartilhar dados do armazenamento em cloud que está por trás de um firewall ou endpoint privado, sem a necessidade de adicionar a rede de cada destinatário à lista de permissões.

Como o SecureConnect funciona

Antes de habilitar o SecureConnect em uma conta do Databricks, um provedor faz uma configuração de uma única vez. Esta configuração permite que os destinatários do Databricks acessem o armazenamento do provedor por trás de um firewall ou endpoint privado. Databricks então direciona as solicitações dos destinatários por meio de um proxy gerenciado, para que o provedor não precise atualizar seu firewall de armazenamento ao adicionar um novo destinatário.

Os destinatários acessam os dados compartilhados usando a configuração existente do OpenSharing:

• Destinatários Databricks em compute serverless acessam compartilhamentos sem alterações de firewall por provedor.
• Destinatários do Databricks em compute clássica e destinatários abertos adicionam à lista de permissões um único conjunto de IPs do plano de controle do Databricks para a região do provedor.

Sem o SecureConnect, um provedor deve adicionar o identificador de rede de cada destinatário ao firewall de armazenamento, coordenando com o destinatário e um administrador de plataforma em cloud para cada novo destinatário.

Requisitos

• A pré-visualização do **OpenSharing SecureConnect** no **Console de Contas** deve ser habilitada. Consulte Gerenciar prévias do Databricks.

Configure o SecureConnect como um provedor

Configurar o SecureConnect envolve configurar seu firewall de armazenamento para permitir o acesso e habilitar o SecureConnect para seus metastores e destinatários.

Etapa 1: Configurar o firewall do armazenamento

Para os menores custos de rede, mantenha a região de seus ativos compartilhados a mesma que a região do metastore do seu provedor.

As instruções a seguir pressupõem que seus ativos compartilhados e o metastore do provedor estejam na mesma região.

O SecureConnect acessa seu armazenamento por meio do plano de dados serverless. Configure as políticas do seu bucket S3 para incluir o OrgPath do VPCE. Consulte acesso ao bucket S3 usando VPCE OrgPath.

(Opcional) Configurar a conectividade privada com uma Configuração de conectividade de rede (NCC)

Se o seu armazenamento compartilhado estiver por trás de um endpoint privado e não for acessível a partir da rede pública, um administrador account deve configurar uma configuração de conectividade de rede (NCC) e anexá-la ao metastore que hospeda seus dados compartilhados. Para saber mais sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Uma NCC anexada a um workspace não pode ser anexada a um metastore. Um NCC aplicado a um metastore para OpenSharing se aplica a todos os compartilhamentos anexados ao metastore.

atenção

O AWS PrivateLink para S3 não é compatível com endpoints FIPS, que o Databricks usa por default em todas as regiões dos EUA. Se o seu metastore de provedor estiver em uma região dos EUA, entre em contato com sua equipe de conta do Databricks.

Para obter mais informações, consulte a documentação da AWS.

Crie uma NCC e uma regra de endpoint privado para seu bucket S3, mas não anexe a NCC a um workspace. Veja Configurar conectividade privada para recursos gerenciados pela AWS para a configuração de NCC e PrivateLink.

Anexe a NCC ao seu metastore OpenSharing:

1. Como administrador de conta do Databricks, acesse o console da conta.
2. Na barra lateral, clique em Catálogo .
3. Clique no nome do metastore do OpenSharing para abrir seus detalhes.
4. Em **Configuração de conectividade de rede (NCC) do OpenSharing**, clique em **Editar**.
5. Pesquise e selecione o NCC criado para o OpenSharing.
6. Clique em Salvar .

importante

Se não for possível anexar uma NCC a um metastore, entre em contato com a equipe de sua conta Databricks para habilitar a conectividade privada para OpenSharing SecureConnect usando uma NCC.

Etapa 2: ativar o SecureConnect em um metastore

Um administrador de conta ou administrador do metastore pode configurar o metastore para que novos destinatários usem o SecureConnect automaticamente. Por default, destinatários novos e existentes não estão inscritos no SecureConnect. Você precisa configurar os destinatários existentes separadamente. Consulte o Passo 3: Habilitar SecureConnect para destinatários individuais.

Um administrador de conta ou administrador de metastore pode configurar o SecureConnect:

Account admin

1. Faça login no console da conta.
2. Na barra lateral, clique em Catálogo .
3. Clique no nome de um metastore para abrir seus detalhes.
4. Alternar a configuração do SecureConnect:
   • Ativado : Novos destinatários no metastore têm o SecureConnect habilitado por default no momento da criação. Os destinatários existentes não são afetados.
   • Desativado (default): Novos destinatários não estão inscritos no SecureConnect. Ative por destinatário individualmente.

Metastore admin

1. No seu workspace do Databricks, clique em Catálogo para abrir o Catalog Explorer.

2. No topo do painel Catálogo , clique no ícone de engrenagem e selecione OpenSharing .

   Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.

3. Clique em **Configurações** no canto superior direito.

4. Ative a configuração para **Ativar SecureConnect para novos destinatários**.

5. Clique em Salvar .

O passo 3: Habilitar SecureConnect para destinatários individuais

Proprietários de destinatário e usuários com o privilégio USE_RECIPIENT ativam ou desativam o SecureConnect para cada destinatário. O SecureConnect é desativado em um destinatário por default, a menos que o metastore tenha sido configurado para habilitá-lo para todos os novos destinatários quando o destinatário foi criado.

Para configurar o SecureConnect para um destinatário:

1. No seu Databricks workspace, clique em Catálogo .

2. No topo do painel Catálogo , clique no ícone de engrenagem e selecione OpenSharing .

   Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.

3. Na guia Compartilhado por mim , clique na guia Destinatários .

4. Ative SecureConnect para cada destinatário desejado.

(Opcional) O passo 4: Restringir o acesso aberto do destinatário com ACLs de IP

Para destinatários abertos, é possível restringir quais endereços IP de cliente podem acessar o SecureConnect utilizando listas de acesso IP. IP ACLs aplicam-se somente a destinatários abertos.

Com o SecureConnect, as ACLs de IP aplicam-se tanto ao acesso de endpoint do OpenSharing quanto ao acesso de armazenamento. Sem o SecureConnect, as listas de acesso IP restringem apenas o acesso ao endpoint do OpenSharing; as URLs de armazenamento permanecem acessíveis de qualquer IP de cliente.

Para obter instruções de configuração, consulte Restringir o acesso do destinatário do OpenSharing usando listas de acesso IP (Compartilhamento de Databricks para Open).

nota

As alterações de ACL de IP para destinatários abertos habilitados para SecureConnect podem levar até 10 minutos para entrar em vigor.

Cenários de compartilhamento suportados

importante

Qualquer recurso não compatível recorre ao acesso direto do compute do destinatário ao armazenamento. O provedor deve conceder acesso manualmente aos IPs do destinatário no firewall de armazenamento. Consulte O que é o protocolo Databricks-to-Databricks OpenSharing? ou O que é o OpenSharing, o protocolo de compartilhamento aberto do Databricks?.

SecureConnect oferece suporte a compartilhamento para AWS, Azure e GCP.

mTLS para SecureConnect é compatível apenas com clusters de destinatário serverless.

Suporte a recursos

Recurso	D2O (token)	D2O (OIDC)*	D2O (Iceberg)	D2D (serverless)	D2D (clássico)
Tabelas com história e sem partições	✓	✓	Não	✓ **	✓ **
Tabelas sem história ou com partições	✓	✓	Não	✓	✓
Exibições	✓	✓	Não	Não	✓
Tabelas externas	✓	✓	Não	✓	✓
Visualizações materializadas	✓	✓	Não	Não	✓
Tabelas de streaming	✓	✓	Não	Não	✓
Volumes	Não	Não	Não	Não	Não
cadernos	Não	Não	Não	Não	Não
modelos de AI	Não	Não	Não	Não	Não

O compartilhamento OIDC não funciona atualmente quando o destinatário também está no Databricks.

**A otimização de tokens de cloud não está disponível para SecureConnect.

Limitações

• Seus ativos não podem ser armazenados pelo Cloudflare R2.

• SecureConnect não está disponível na AWS GovCloud.

• O AWS PrivateLink para S3 não é compatível com endpoints FIPS, que o Databricks usa por default em todas as regiões dos EUA. Se utilizar SecureConnect com PrivateLink em uma região dos EUA, entre em contato com sua equipe de conta do Databricks.

Para limitações do lado do destinatário, como suporte mTLS e restrições de compartilhamento Databricks-to-Open, consulte Limitações.

Cobrança

Provedores são cobrados pela transferência de dados através do SecureConnect. Consulte Preços de transferência de dados e conectividade.

O uso por destinatário é atribuído por meio do campo recipient_id na tabela do sistema de faturamento, para que os provedores possam detalhar o uso faturável do SecureConnect por destinatário. Consulte a Referência da tabela do sistema de uso faturável.

A consulta a seguir retorna o custo da lista de saída de dados do SecureConnect para cada destinatário nos últimos 7 dias:

SQL

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity * list_prices.pricing.default) AS list_cost
FROM system.billing.usage usage_records
INNER JOIN system.billing.list_prices ON
  usage_records.cloud = list_prices.cloud AND
  usage_records.sku_name = list_prices.sku_name AND
  usage_records.usage_start_time >= list_prices.price_start_time AND
  (usage_records.usage_end_time <= list_prices.price_end_time OR list_prices.price_end_time IS NULL)
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.recipient_id IS NOT NULL
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  list_cost DESC

Recursos adicionais

• Configure o OpenSharing para sua account (para provedores).
• Configuração de firewall do destinatário OpenSharing para SecureConnect