Pular para o conteúdo principal
Última atualização em

Configure Delta Sharing para seu account (para provedores)

Esta página descreve como configurar o Delta Sharing no Databricks para provedores de dados (organizações que desejam usar o Delta Sharing para compartilhar dados com segurança).

Se o senhor for um destinatário de dados (uma organização que recebe dados compartilhados usando Delta Sharing), consulte Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).

importante

O Delta Sharing requer um workspace habilitado para o Unity Catalog. Você pode criar um workspace habilitado para Unity Catalog para gerenciamento de compartilhamento. Em algumas contas, os novos workspaces são habilitados para Unity Catalog automaticamente. Consulte Introdução ao uso do Unity Catalog.

Se a criação de um novo workspace habilitado para o Unity Catalog não for uma opção, o senhor pode usar o projeto código aberto Delta Sharing para implantar seu próprio servidor Delta Sharing e compartilhar tabelas Delta de qualquer plataforma.

A configuração inicial do provedor inclui as seguintes etapas:

  1. Habilite o Delta Sharing em um metastore do Unity Catalog.
  2. (Opcional) Instale a CLI do Unity Catalog.
  3. Conceda privilégios para criar e gerenciar compartilhamentos e destinatários.
  4. Configure o tempo de vida útil (TTL) da materialização de dados.
  5. Configure o acesso à rede de armazenamento.

Requisitos​

Como um provedor de dados que está configurando seu Databricks account para poder compartilhar dados, o senhor deve ter:

  • Pelo menos um Databricks workspace que está habilitado para Unity Catalog.

    O senhor não precisa migrar todo o seu espaço de trabalho para Unity Catalog para aproveitar o suporte de Databricks para os provedores de Delta Sharing. Consulte Preciso do Unity Catalog para usar o Delta Sharing?

    Os destinatários não precisam ter um Catálogo Unity habilitado workspace.

  • Conceda a função de administrador da conta para habilitar Delta Sharing para seu metastore Unity Catalog .

  • Função de administrador do Metastore ou os privilégios CREATE SHARE e CREATE RECIPIENT . Consulte a seção de administradores do Metastore.

nota

Se o seu workspace foi ativado automaticamente para Unity Catalog, talvez o senhor não tenha um administrador de metastore. No entanto, os administradores do workspace nesse espaço de trabalho têm os privilégios CREATE SHARE e CREATE RECIPIENT no metastore pelo default.

Para obter mais informações, consulte Comece a usar o Unity Catalog e Privilégios de administrador do workspace quando os workspaces são ativados automaticamente para Unity Catalog.

  • Uma configuração de armazenamento em nuvem que permite o acesso à rede do destinatário.

Ativar o Delta Sharing em um metastore​

Você não precisa habilitar o compartilhamento Delta em seu metastore se pretende usar o compartilhamento Delta apenas para compartilhar dados com usuários em outros metastore do Unity Catalog em sua account. O compartilhamento de metastore para metastore em uma única conta do Databricks é habilitado por padrão.

Caso contrário, siga estas etapas para cada metastore Unity Catalog que gerencie dados que o senhor planeja compartilhar usando Delta Sharing.

  1. Databricks account Comolog in account administrador de , acesse o console em.

  2. Na barra lateral, clique em Ícone de dados. Catálogo .

  3. Clique no nome de uma metastore para abrir seus detalhes.

  4. Clique na caixa de seleção ao lado de Permitir Delta Sharing com pessoas de fora da sua organização .

  5. Configure o tempo de vida dos tokens do destinatário.

    Esta configuração define o período de tempo após o qual todos os tokens dos destinatários expiram e devem ser regenerados. Os tokens de destinatário são usados apenas no protocolo de compartilhamento aberto . Os tokens são válidos por um período máximo de um ano após a sua criação.

nota

O tempo de vida dos tokens de destinatário para os destinatários existentes não é atualizado automaticamente quando o senhor altera o tempo de vida dos tokens de destinatário do default para um metastore. Para aplicar um novo tempo de vida de tokens a um determinado destinatário, o senhor deve girar os tokens dele. Consulte gerenciar destinatário tokens.

Para definir o tempo de vida dos tokens do destinatário do default:

  1. Confirme se Set expiration está ativado (esse é o endereço default).
  2. Insira um número de segundos, minutos, horas ou dias e selecione a unidade de medida. Os tokens são válidos por um período máximo de um ano após a sua criação.
  3. Clique em Ativar .

Para obter mais informações, consulte Considerações de segurança para tokens. 6. Ao compartilhar com um destinatário Databricks que não está em sua lista de contatos ( account), insira o nome da organização .

nota

Especificar um nome de organização legível ajuda os destinatários a identificar seus provedores de ações e os objetos de provedor correspondentes na lista de fornecedores do destinatário.

  1. Clique em Ativar .

(Opcional) Instale a CLI do Unity Catalog​

Para gerenciar compartilhamentos e destinatários, o senhor pode usar o Catalog Explorer, o SQL comando ou o Unity Catalog CLI. A CLI execução em seu ambiente local e não requer Databricks compute recurso.

Para instalar a CLI, consulte Databricks CLI.

Conceder permissão para criar e gerenciar compartilhamentos e destinatários​

Os administradores do Metastore podem criar e gerenciar compartilhamentos e destinatários, incluindo a concessão de compartilhamentos a destinatários. Muitas tarefas do provedor podem ser delegadas por um administrador do metastore usando os seguintes privilégios:

  • CREATE SHARE na metastore concede a capacidade de criar compartilhamentos.
  • CREATE RECIPIENT no metastore concede a capacidade de criar destinatários.
  • USE RECIPIENT on concede a capacidade de listar e view detalhes de todos os destinatários no metastore.
  • USE SHARE no metastore concede a capacidade de listar e view detalhes de todos os compartilhamentos no metastore.
  • USE RECIPIENT, USE SHARE, e SET SHARE PERMISSION combinados oferecem ao usuário a capacidade de conceder acesso compartilhado aos destinatários.
  • O administrador da metastore tem a capacidade de transferir a propriedade de qualquer ação.
  • Os proprietários de ações e destinatários podem atualizar esses objetos e conceder compartilhamentos aos destinatários. A propriedade é concedida aos criadores de objetos pelo site default, mas a propriedade pode ser transferida.
  • Os proprietários de ações podem adicionar tabelas e volumes aos compartilhamentos, desde que tenham acesso SELECT às tabelas e acesso READ VOLUME aos volumes.

Para obter detalhes, consulte a referência de privilégiosUnity Catalog e as permissões listadas para a tarefa Delta Sharing descrita.

Configurar o TTL da materialização de dados​

Como administrador do Databricks account ou do metastore, o senhor pode configurar o TTL da materialização de dados, que determina por quanto tempo um resultado materializado é armazenado em cache. As materializações ocorrem quando um destinatário consulta a exibição dinâmica compartilhada, a exibição materializada, as tabelas de transmissão e as tabelas estrangeiras. Em default, o TTL é de oito horas. O cache em si será eliminado pela materialização após mais três horas, fornecendo mais tempo para que as consultas existentes sejam concluídas.

Para alterar esse valor, faça o seguinte:

  1. Em seu site Databricks workspace, clique em Ícone de dados. Catalog para abrir o Catalog Explorer.

  2. Na parte superior do painel Catálogo , clique no ícone de engrenagem Ícone de engrenagem. e selecione Delta Sharing .

    Alternativamente, no canto superior direito, clique em Compartilhar > Delta Sharing .

  3. No Shared with me tab, clique no nome de sua organização no canto superior direito.

  4. Clique no canto superior direito Ícone de engrenagem. ícone de engrenagem.

  5. Para Materialização TTL , insira o valor TTL desejado.

Permitir acesso de rede ao armazenamento​

Se o armazenamento em nuvem subjacente estiver configurado com controles de acesso, adicione a rede do destinatário à lista de permissões para que eles possam ler tabelas compartilhadas.

Para obter detalhes, consulte Políticas de bucket para o Amazon S3 e Configurar um firewall para acesso compute serverless (legado).

Próximos passos​

Nesta página