Configure Delta Sharing para seu account (para provedores)

Esta página descreve como configurar o Delta Sharing no Databricks para provedores de dados (organizações que desejam usar o Delta Sharing para compartilhar dados com segurança).

Se o senhor for um destinatário de dados (uma organização que recebe dados compartilhados usando Delta Sharing), consulte Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).

important

Delta Sharing requer um Unity Catalog habilitado workspace. O senhor pode criar um site habilitado para o Unity Catalog workspace para o gerenciamento de compartilhamentos. Em algumas contas, o novo espaço de trabalho é ativado automaticamente para Unity Catalog. Consulte Ativação automática do Unity Catalog.

Se a criação de um novo workspace habilitado para o Unity Catalog não for uma opção, o senhor pode usar o projeto código aberto Delta Sharing para implantar seu próprio servidor Delta Sharing e compartilhar tabelas Delta de qualquer plataforma.

A configuração inicial do provedor inclui as seguintes etapas:

1. Habilite o Delta Sharing em um metastore do Unity Catalog.
2. (Opcional) Instale a CLI do Unity Catalog.
3. Conceda privilégios para criar e gerenciar compartilhamentos e destinatários.
4. Configure as auditorias da atividade do Delta Sharing.
5. Configure o tempo de vida útil (TTL) da materialização de dados.
6. Configure o acesso à rede de armazenamento.

Requisitos

Como um provedor de dados que está configurando seu Databricks account para poder compartilhar dados, o senhor deve ter:

• Pelo menos um Databricks workspace que está habilitado para Unity Catalog.

  O senhor não precisa migrar todo o seu espaço de trabalho para Unity Catalog para aproveitar o suporte de Databricks para os provedores de Delta Sharing. Consulte Preciso do Unity Catalog para usar o Delta Sharing?

  Os destinatários não precisam ter um Catálogo Unity habilitado workspace.

• para habilitar o Delta Sharing para o metastore Unity Catalog e para habilitar o registro de auditoria.

• Função de administrador do Metastore ou privilégios CREATE SHARE e CREATE RECIPIENT. Consulte Funções de administrador.

nota

Se o seu workspace foi ativado automaticamente para Unity Catalog, talvez o senhor não tenha um administrador de metastore. No entanto, os administradores do workspace nesse espaço de trabalho têm os privilégios CREATE SHARE e CREATE RECIPIENT no metastore pelo default.

Para obter mais informações, consulte Ativação automática de Unity Catalog e privilégios de administrador do espaço de trabalho quando o espaço de trabalho é ativado automaticamente para Unity Catalog.

• Uma configuração de armazenamento em nuvem que permite o acesso à rede do destinatário.

Ativar o Delta Sharing em um metastore

Você não precisa habilitar o compartilhamento Delta em seu metastore se pretende usar o compartilhamento Delta apenas para compartilhar dados com usuários em outros metastore do Unity Catalog em sua account. O compartilhamento de metastore para metastore em uma única conta do Databricks é habilitado por padrão.

Caso contrário, siga estas etapas para cada metastore Unity Catalog que gerencie dados que o senhor planeja compartilhar usando Delta Sharing.

1. Databricks account Comolog in account administrador de , acesse o console em.

2. Na barra lateral, clique em Catálogo .

3. Clique no nome de uma metastore para abrir seus detalhes.

4. Clique na caixa de seleção ao lado de Permitir Delta Sharing com pessoas de fora da sua organização .

5. Configure o tempo de vida dos tokens do destinatário.

   Essa configuração define o período de tempo após o qual todos os tokens de destinatário expiram e precisam ser gerados novamente. Os tokens de destinatário são usados somente no protocolo de compartilhamento aberto. Databricks recomenda que o senhor configure um tempo de vida útil dos tokens default em vez de permitir que o tokens tenha vida indefinida.

nota

O tempo de vida dos tokens de destinatário para os destinatários existentes não é atualizado automaticamente quando o senhor altera o tempo de vida dos tokens de destinatário do default para um metastore. Para aplicar um novo tempo de vida de tokens a um determinado destinatário, o senhor deve girar os tokens dele. Consulte gerenciar destinatário tokens.

Para definir o tempo de vida dos tokens do destinatário do default:

1. Confirme se Set expiration está ativado (esse é o endereço default).

   Se o senhor desmarcar essa caixa de seleção, os tokens nunca expirarão. A Databricks recomenda que o senhor configure os tokens para expirar.

2. Insira um número de segundos, minutos, horas ou dias e selecione a unidade de medida.

3. Clique em Ativar .

Para obter mais informações, consulte Considerações de segurança para tokens. 6. Ao compartilhar com um destinatário Databricks que não está em sua lista de contatos ( account), insira o nome da organização .

nota

Especificar um nome de organização legível ajuda os destinatários a identificar seus provedores de ações e os objetos de provedor correspondentes na lista de fornecedores do destinatário.

7. Clique em Ativar .

(Opcional) Instale a CLI do Unity Catalog

Para gerenciar compartilhamentos e destinatários, o senhor pode usar o Catalog Explorer, o SQL comando ou o Unity Catalog CLI. A CLI execução em seu ambiente local e não requer Databricks compute recurso.

Para instalar a CLI, consulte O que é a CLI da Databricks?

Conceder permissão para criar e gerenciar compartilhamentos e destinatários

Os administradores do Metastore podem criar e gerenciar compartilhamentos e destinatários, incluindo a concessão de compartilhamentos a destinatários. Muitas tarefas do provedor podem ser delegadas por um administrador do metastore usando os seguintes privilégios:

• CREATE SHARE na metastore concede a capacidade de criar compartilhamentos.
• CREATE RECIPIENT no metastore concede a capacidade de criar destinatários.
• USE RECIPIENT on concede a capacidade de listar e view detalhes de todos os destinatários no metastore.
• USE SHARE no metastore concede a capacidade de listar e view detalhes de todos os compartilhamentos no metastore.
• USE RECIPIENT, USE SHARE, e SET SHARE PERMISSION combinados oferecem ao usuário a capacidade de conceder acesso compartilhado aos destinatários.
• O administrador da metastore tem a capacidade de transferir a propriedade de qualquer ação.
• Os proprietários de ações e destinatários podem atualizar esses objetos e conceder compartilhamentos aos destinatários. A propriedade é concedida aos criadores de objetos pelo site default, mas a propriedade pode ser transferida.
• Os proprietários de ações podem adicionar tabelas e volumes aos compartilhamentos, desde que tenham acesso SELECT às tabelas e acesso READ VOLUME aos volumes.

Para obter detalhes, consulte Unity Catalog privileges and securable objects e as permissões listadas para a tarefa Delta Sharing descrita.

Ativar registro de auditoria

Como administrador do Databricks account , o senhor deve ativar o registro de auditoria para capturar os eventos do Delta Sharing, como, por exemplo, os eventos do :

• Quando alguém cria, modifica, atualiza ou exclui um compartilhamento ou um destinatário
• Quando um destinatário acessa um link de ativação e downloads a credencial (somente compartilhamento aberto)
• Quando um destinatário acessa os dados
• Quando a credencial de um destinatário é rotacionada ou expira (somente compartilhamento aberto)

important

Delta Sharing A atividade é registrada no nível account. Quando o senhor configurar a entrega log, não insira um valor para workspace_ids_filter.

Para ativar o registro de auditoria, siga as instruções em Audit log reference.

Para obter informações detalhadas sobre como os eventos do Delta Sharing são registrados, consulte Auditar e monitorar o compartilhamento de dados.

Configurar o TTL da materialização de dados

Como administrador do Databricks account ou do metastore, o senhor pode configurar o TTL da materialização de dados, que determina por quanto tempo um resultado materializado é armazenado em cache. As materializações ocorrem quando um destinatário consulta a exibição dinâmica compartilhada, a exibição materializada, as tabelas de transmissão e as tabelas estrangeiras. Em default, o TTL é de oito horas. O cache em si será eliminado pela materialização após mais três horas, fornecendo mais tempo para que as consultas existentes sejam concluídas.

Para alterar esse valor, faça o seguinte:

1. Em seu site Databricks workspace, clique em Catalog para abrir o Catalog Explorer.

2. Na parte superior do painel Catálogo , clique no ícone de engrenagem e selecione Delta Sharing .

   Como alternativa, na página de acesso rápido , clique no botão Delta Sharing > .

3. No Shared with me tab, clique no nome de sua organização no canto superior direito.

4. Clique em view Delta Sharing settings .

5. Para Materialização TTL , insira o valor TTL desejado.

Permitir acesso de rede ao armazenamento

Se o armazenamento em nuvem subjacente estiver configurado com controles de acesso, adicione a rede do destinatário à lista de permissões para que eles possam ler tabelas compartilhadas.

Para obter detalhes, consulte Políticas de bucket para Amazon S3e Configurar um firewall para acesso a serverless compute.