O que é o protocolo OpenSharing de compartilhamento aberto da Databricks?
Esta página apresenta uma visão geral de como os provedores podem usar o protocolo de compartilhamento OpenSharing Databricks-to-Open para compartilhar dados de seu workspace do Databricks habilitado para Unity Catalog com qualquer usuário em qualquer plataforma de computação, em qualquer lugar. Se você é um destinatário de dados (um usuário ou grupo de usuários com quem os dados estão sendo compartilhados), consulte Acessar dados compartilhados com você utilizando o OpenSharing (para destinatários).
Quem deve usar o protocolo OpenSharing Databricks-para-compartilhamento aberto?
Há três maneiras de compartilhar dados usando o OpenSharing:
-
O protocolo de compartilhamento aberto do Databricks, abordado neste artigo, permite compartilhar dados que você gerencia em um workspace do Databricks habilitado para Unity Catalog com usuários em qualquer plataforma de computação.
Essa abordagem utiliza o servidor OpenSharing que é integrado ao Databricks e é útil quando você gerencia dados usando o Unity Catalog e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para Unity Catalog. A integração com o Unity Catalog no lado do provedor simplifica a configuração e a governança para os provedores.
-
Uma implementação gerenciada pelo cliente do servidor OpenSharing de código aberto , que permite o compartilhamento de qualquer plataforma para qualquer plataforma, seja ele o Databricks ou não.
Explorar o projeto de código aberto.
-
O protocolo de compartilhamento Databricks-to-Databricks permite que você compartilhe dados do seu workspace habilitado para Unity Catalog com usuários que também têm acesso a um workspace Databricks habilitado para Unity Catalog.
Consulte O que é o protocolo OpenSharing Databricks-to-Databricks?.
Para uma introdução ao OpenSharing e mais informações sobre essas três abordagens, consulte O que é OpenSharing?.
Compartilhamento aberto Databricks-para-Compartilhamento aberto fluxo de trabalho
Esta seção fornece uma visão geral de alto nível do fluxo de trabalho de compartilhamento Databricks-para-Open, com links para a documentação detalhada de cada passo.
No modelo de compartilhamento OpenSharing Databricks-para-aberto:
-
O provedor de dados cria um destinatário , que é um objeto nomeado que representa um usuário ou grupo de usuários com os quais o provedor de dados deseja compartilhar dados.
Quando o provedor de dados cria o destinatário, o provedor configura a autenticação usando um token de acesso de longa duração ou federação Open ID Connect (OIDC). Se o provedor usar um token de acesso, o Databricks gerará um arquivo de credencial e um link de ativação que o provedor de dados poderá enviar ao destinatário para acessar o arquivo de credencial. No fluxo de federação OIDC, o IdP do destinatário gerencia a autenticação, com base em uma política criada pelo provedor.
Para obter detalhes, consulte Criar um objeto de destinatário para usuários não-Databricks usando tokens de acesso (compartilhamento Databricks para Aberto) ou Habilitar a federação do Open ID Connect (OIDC) para destinatários do Compartilhamento Aberto.
-
O provedor de dados cria um compartilhamento , que é um objeto nomeado que contém uma coleção de tabelas registradas em um metastore do Unity Catalog na account do provedor.
Para detalhes, consulte Criar compartilhamentos para OpenSharing.
-
O provedor de dados concede ao destinatário acesso ao compartilhamento.
Para detalhes, consulte Gerenciar acesso a compartilhamentos de dados OpenSharing (para provedores).
-
No fluxo de token de portador, o provedor de dados envia o link de ativação ao destinatário por um canal seguro, juntamente com instruções para usar o link de ativação para baixar o arquivo de credenciais que o destinatário usará para estabelecer uma conexão segura com o provedor de dados para receber os dados compartilhados.
Para obter detalhes, consulte Obtenha o link de ativação.
No fluxo de federação OIDC, os destinatários se autenticam por meio de seu IdP. Consulte Ativar a federação do Open ID Connect (OIDC) para destinatários do OpenSharing.
-
No fluxo do token de portador, o destinatário dos dados segue o link de ativação para fazer o download do arquivo de credenciais e, em seguida, usa o arquivo de credenciais para acessar os dados compartilhados.
Dados compartilhados estão disponíveis somente para leitura. Os usuários podem acessar uso de dados utilizando sua plataforma ou ferramentas de escolha. Para obter detalhes, consulte Ler dados compartilhados usando OpenSharing Databricks-to-Open compartilhamento aberto com bearer tokens.
No fluxo de federação OIDC, os destinatários se autenticam por meio de seu IdP. Consulte Ativar a federação do Open ID Connect (OIDC) para destinatários do OpenSharing.
Configurações específicas do provedor
Muitos provedores têm suas próprias redes OpenSharing para compartilhamento. Para obter instruções específicas de compartilhamento, consulte, por exemplo:
cloud tokens e acesso baseado em diretório
Ao compartilhar tabelas Delta qualificadas usando o compartilhamento Databricks-to-Open, o Databricks retorna o local de armazenamento na cloud da tabela, juntamente com credenciais temporárias na cloud (tokens de cloud) que os destinatários podem usar para ler dados diretamente do armazenamento na cloud. Isso é chamado de modo de acesso baseado em diretório e faz parte do protocolo de compartilhamento Databricks-para-Open. É habilitado por default para ativos recém-compartilhados que atendem aos requisitos de qualificação. Se uma tabela compartilhada não atender a todos os requisitos, os destinatários utilizam o acesso a URL pré-assinado normalmente.
Para requisitos de elegibilidade e considerações de privacidade de dados, consulte Elegibilidade de token na nuvem.
Configuração do provedor e considerações de segurança para compartilhamento Databricks-para-Open
O bom gerenciamento de tokens é key para compartilhar dados com segurança quando você usa o modelo de compartilhamento Databricks-to-Open:
- Provedores de dados no Databricks que pretendem usar o compartilhamento Databricks-to-Open quando fornecem compartilhamentos devem configurar o tempo de vida do token do destinatário default quando habilitam o OpenSharing para o metastore do Unity Catalog. O Databricks recomenda que os tokens sejam configurados para expirar. Consulte Ativar o OpenSharing em um metastore.
- Se for preciso modificar a duração do token default, consulte Modificar a duração do token do destinatário.
- Incentive os destinatários a gerenciar o arquivo de credenciais baixado de forma segura.
- Para mais informações sobre gerenciamento de tokens e segurança de compartilhamento Databricks-to-Open, consulte Gerenciar tokens do destinatário.
- O compartilhamento Databricks-para-aberto é compatível entre todos os tipos de ambiente de cloud.
Provedores de dados podem oferecer segurança adicional atribuindo listas de acesso IP para restringir o acesso de destinatários a locais de rede específicos. Consulte Restringir o acesso do destinatário do OpenSharing usando listas de acesso IP (Databricks para compartilhamento aberto).