Compartilhamento de uso de dados o protocolo de compartilhamento aberto Delta Sharing (para provedores)
Este artigo apresenta uma visão geral de como os provedores podem usar o protocolo de compartilhamento aberto Delta Sharing para compartilhar dados do seu Unity Catalog habilitado Databricks workspace com qualquer usuário em qualquer plataforma de computação, em qualquer lugar.
Se o senhor for um destinatário de dados (um usuário ou grupo de usuários com quem os dados estão sendo compartilhados), consulte Acessar dados compartilhados com o senhor usando o Delta Sharing (para destinatários).
Quem deve usar o protocolo de compartilhamento aberto Delta Sharing?
Há três maneiras de compartilhar dados com o Delta Sharing:
-
O protocolo de compartilhamento aberto Databricks , abordado neste artigo, permite que o senhor compartilhe dados gerenciados em um Unity Catalog habilitado Databricks workspace com usuários em qualquer plataforma de computação.
Essa abordagem utiliza o servidor Delta Sharing que é integrado ao Databricks e é útil quando você gerencia os dados usando o Unity Catalog e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para Unity Catalog. A integração com o Unity Catalog no lado do provedor simplifica a configuração e a governança para os provedores.
-
Uma implementação de gerenciar o cliente do servidor de código aberto Delta Sharing permite que o senhor compartilhe de qualquer plataforma para qualquer plataforma, seja ela Databricks ou não.
Consulte github.com/delta-io/delta-sharing.
-
O protocolo de compartilhamento Databricks-to-Databricks permite que o senhor compartilhe dados do seu Unity Catalog habilitado workspace com usuários que também tenham acesso a um Unity Catalog habilitado Databricks workspace.
Veja em Compartilhamento de uso de dados o protocolo Delta Sharing Databricks-to-Databricks (para provedores).
Para obter uma introdução ao site Delta Sharing e mais informações sobre essas três abordagens, consulte O que é Delta Sharing?
Delta Sharing open compartilhamento fluxo de trabalho
Esta seção fornece uma visão geral de alto nível do fluxo de trabalho de compartilhamento aberto, com links para a documentação detalhada de cada passo.
No modelo de compartilhamento aberto Delta Sharing:
-
O provedor de dados cria um destinatário , que é um objeto nomeado que representa um usuário ou grupo de usuários com quem o provedor de dados deseja compartilhar dados.
Quando o provedor de dados cria o destinatário, o provedor configura a autenticação usando tokens portadores de longa duração ou a federação Open ID Connect (OIDC). Se o provedor usar tokens de portador, o site Databricks gera um arquivo de credencial e um link de ativação que o provedor de dados pode enviar ao destinatário para acessar o arquivo de credencial. No fluxo de federação do OIDC, o IdP do destinatário gerencia a autenticação, com base em uma política criada pelo provedor.
Para obter detalhes, consulte Criar um objeto destinatário para usuários que não sejam do Databricks usando tokens portadores (compartilhamento aberto) e Usar a federação Open ID Connect (OIDC) para habilitar a autenticação nos compartilhamentos do Delta Sharing (compartilhamento aberto).
-
O provedor de dados cria um compartilhamento , que é um objeto nomeado que contém uma coleção de tabelas registradas em um metastore Unity Catalog no account do provedor.
Para obter detalhes, consulte Criar e gerenciar compartilhamentos para o Delta Sharing.
-
O provedor de dados concede ao destinatário acesso ao compartilhamento.
Para obter detalhes, consulte gerenciar o acesso a Delta Sharing data shares (para provedores).
-
No fluxo de tokens de portador, o provedor de dados envia o link de ativação para o destinatário por meio de um canal seguro, juntamente com instruções para usar o link de ativação para download o arquivo de credencial que o destinatário usará para estabelecer uma conexão segura com o provedor de dados para receber os dados compartilhados.
Para obter detalhes, consulte Obter o link de ativação.
No fluxo de federação do OIDC, os destinatários se autenticam por meio de seu IdP. Consulte Usar a federação Open ID Connect (OIDC) para habilitar a autenticação nos compartilhamentos do Delta Sharing (compartilhamento aberto).
-
No fluxo de tokens de portador, o destinatário dos dados segue o link de ativação para download o arquivo de credencial e, em seguida, usa o arquivo de credencial para acessar os dados compartilhados.
Os dados compartilhados estão disponíveis somente para leitura. Os usuários podem acessar o uso de dados na plataforma ou nas ferramentas de sua preferência. Para obter detalhes, consulte Ler dados compartilhados usando o compartilhamento aberto Delta Sharing com tokens de portador (para destinatários).
No fluxo de federação do OIDC, os destinatários se autenticam por meio de seu IdP. Consulte Usar a federação Open ID Connect (OIDC) para habilitar a autenticação nos compartilhamentos do Delta Sharing (compartilhamento aberto).
Configurações específicas do provedor
Muitos provedores têm suas próprias redes Delta Sharing para compartilhamento. Para obter instruções específicas sobre compartilhamento, consulte, por exemplo:
Configuração do provedor e considerações de segurança para compartilhamento aberto
Um bom gerenciamento de tokens é key para compartilhar dados com segurança quando o senhor usa o modelo de compartilhamento aberto:
- Os provedores de dados em Databricks que pretendem usar o compartilhamento aberto quando fornecem compartilhamentos devem configurar o tempo de vida dos tokens do destinatário de default quando ativarem Delta Sharing para seu metastore Unity Catalog. A Databricks recomenda que o senhor configure os tokens para expirar. Consulte Ativar o Delta Sharing em um metastore.
- Se o senhor precisar modificar o tempo de vida dos tokens do default, consulte Modificar o tempo de vida dos tokens do destinatário.
- Incentive os destinatários a gerenciar seus arquivos de credenciais de downloads com segurança.
- Para obter mais informações sobre gerenciamento de tokens e segurança de compartilhamento aberto, consulte gerenciar recipient tokens.
Os provedores de dados podem fornecer segurança adicional atribuindo listas de acesso IP para restringir o acesso dos destinatários a locais específicos da rede. Consulte Restringir o acesso do destinatário do Delta Sharing usando listas de acesso IP (compartilhamento aberto).