Acessar dados compartilhados com você usando OpenSharing (para destinatários)
Esta página explica como acessar dados que foram compartilhados com você usando OpenSharing. O OpenSharing oferece suporte a dois modelos: o compartilhamento Databricks-to-Databricks, para usuários de workspace do Databricks com o Unity Catalog, e o compartilhamento Databricks-to-Open, para qualquer destinatário que use qualquer ferramenta.
OpenSharing e destinatários de dados
OpenSharing é um padrão aberto para o compartilhamento de dados. Um usuário do Databricks, referido como um provedor de dados neste contexto, pode usar o OpenSharing no Databricks para compartilhar dados com uma pessoa ou grupo fora de sua organização, chamado de destinatário de dados .
Compartilhamento Databricks-to-Databricks e compartilhamento Databricks-para-aberto
O modo como o usuário acessa os dados depende do fato de o próprio usuário ser um usuário do Databricks e de o provedor de dados ter configurado ou não os dados compartilhados com o usuário para Databricks-to-Databricks compartilhamento ou compartilhamento aberto .
No modelo Databricks-to-Databricks , o senhor deve ser um usuário em um Databricks workspace que esteja habilitado para Unity Catalog. Um membro da sua equipe fornece ao provedor de dados um identificador exclusivo para o metastore do Unity Catalog, e o provedor de dados o utiliza para criar uma conexão de compartilhamento segura. Os dados compartilhados ficam disponíveis para acesso em seu site workspace. Se necessário, um membro da sua equipe configura o controle de acesso granular sobre esses dados.
No modelo de compartilhamento Databricks-para-Open, pode-se usar qualquer ferramenta de sua preferência (incluindo Databricks) para acessar os dados compartilhados. O provedor de dados envia-lhe uma URL de ativação ou um link de portal através de um canal seguro. Siga-o para fazer o download de um arquivo de credencial ou URL que permite acessar os dados compartilhados com você.
Os dados compartilhados não são fornecidos diretamente pela Databricks, mas por provedores de dados executados na Databricks.
Databricks poderá coletar informações sobre o uso e o acesso dos destinatários de dados aos dados compartilhados (incluindo a identificação de qualquer indivíduo ou empresa que acesse o arquivo de credenciais em conexão com tais informações) e poderá compartilhá-las com o provedor de dados aplicável.
Tenha acesso aos dados compartilhados com você
Como você acessa os dados depende se o seu provedor de dados compartilhou dados com você usando o protocolo de compartilhamento Databricks-to-Open ou o protocolo de compartilhamento Databricks-to-Databricks. Consulte compartilhamento Databricks-para-Databricks e compartilhamento aberto.
Obter acesso no modelo Databricks-to-Databricks
Use o ponto de extremidade do gateway VPC ou o ponto de extremidade da interface para S3 em vez de gateways NAT para acesso ao armazenamento na região sempre que possível para reduzir custos e aumentar a segurança.
No modelo Databricks-to-Databricks:
-
O provedor de dados envia ao senhor instruções para encontrar um identificador exclusivo para o Unity Catalog metastore associado ao seu Databricks workspace, e o senhor o envia a ele.
O identificador do compartilhamento é uma cadeia de caracteres que consiste na nuvem, na região e no UUID do metastore (o identificador exclusivo do metastore), no formato
<cloud>:<region>:<uuid>. Por exemplo,aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.Para obter o identificador de compartilhamento usando o Catalog Explorer:
-
Em seu site Databricks workspace, clique em
Catalog . -
No topo do painel Catálogo , clique no ícone de
engrenagem e selecione OpenSharing .Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.
-
Na tab Compartilhado comigo , selecione o nome da sua organização Databricks Compartilhado no canto superior direito e selecione Copiar identificador de compartilhamento .
Para obter o identificador de compartilhamento usando uma consulta do Notebook ou Databricks SQL, use a função default SQL
CURRENT_METASTORE. Se usar um notebook, ele deverá ser executado em um modo de acesso padrão ou dedicado no site workspace que o senhor usará para acessar os dados compartilhados.SQLSELECT CURRENT_METASTORE(); -
-
O provedor de dados cria:
- Um destinatário em Databricks account para representar o senhor e os usuários da sua organização que acessarão os dados.
- Um compartilhamento , que é uma representação das tabelas, volumes e visualizações a serem compartilhados com o senhor.
-
O usuário acessa os dados compartilhados com ele. É possível que a sua equipe ou um de seus membros possa, se necessário, configurar o acesso granular a esses dados para os seus usuários. Consulte Ler dados compartilhados usando o Databricks-to-Databricks OpenSharing (para destinatários).
Obter acesso no modelo de compartilhamento Databricks-to-Open
No modelo de compartilhamento Databricks para Aberto:
-
O provedor de dados cria:
- Um destinatário em Databricks account para representar o senhor e os usuários da sua organização que acessarão os dados.
- Um compartilhamento , que é uma representação das tabelas e partições a serem compartilhadas com você.
-
O provedor de dados envia ao senhor um URL de ativação (por meio de um canal seguro) ou um URL do portal. O senhor segue para download um arquivo de credencial ou um URL que lhe permite acessar os dados compartilhados com o senhor.
Tanto os tokens de portador quanto as credenciais de cliente OAuth são compatíveis.
Não compartilhe o link de ativação com ninguém. O senhor pode fazer o download de um arquivo de credencial apenas uma vez. Se o senhor acessar o link de ativação novamente depois que o arquivo de credencial já tiver sido baixado, o botão de download do arquivo de credencial será desativado.
Se você perder o link de ativação antes de usá-lo, entre em contato com o provedor de dados. 3. Armazene o arquivo de credenciais em um local seguro.
Não compartilhe o arquivo de credenciais com ninguém fora do grupo de usuários que deveria ter acesso aos dados compartilhados. Se o senhor precisar compartilhá-la com alguém da sua organização, a Databricks recomenda o uso de um gerenciador de senhas.
Leia os dados compartilhados
A forma como você lê os dados que foram compartilhados com você de forma segura usando o OpenSharing depende de você ter recebido um arquivo de credenciais (modelo de compartilhamento Databricks-para-Open) ou de estar usando um espaço de trabalho do Databricks e ter fornecido ao provedor de dados seu identificador de compartilhamento (modelo Databricks-to-Databricks).
Se você receber um erro informando que os dados ativos não existem ao tentar ler seus compartilhamentos, consulte o erro "Dados ativos não existem".
Ler dados compartilhados usando um arquivo de credenciais (compartilhamento Databricks-to-Open)
Caso dados tenham sido compartilhados com o senhor/a senhora utilizando o protocolo de compartilhamento OpenSharing Databricks-to-Open com tokens de portador, utilize o arquivo de credenciais baixado para autenticar na account do provedor de dados e ler os dados compartilhados. O acesso persiste enquanto o token subjacente for válido e o provedor continuar a compartilhar os dados. Provedores gerenciam a expiração e rotação de tokens. Tokens são válidos por, no máximo, um ano após a criação. As atualizações dos dados estão disponíveis em quase tempo real. É possível ler e fazer cópias dos dados compartilhados, mas não é possível modificar os dados de origem.
Para saber como acessar e ler dados compartilhados usando o arquivo de credenciais no Databricks, Apache Spark, Pandas e Power BI, consulte Ler dados compartilhados utilizando o OpenSharing Databricks-para-compartilhamento aberto com tokens de portador.
Ler dados compartilhados usando uma federação OIDC (Databricks para compartilhamento aberto)
Se os dados tiverem sido compartilhados com você usando o protocolo de compartilhamento OpenSharing Databricks-to-Open com federação OIDC, você usa a URL que foi enviada a você para autenticar-se na account do provedor de dados e ler os dados compartilhados. O acesso persiste enquanto o provedor continuar a compartilhar os dados. As atualizações dos dados estão disponíveis em quase tempo real. É possível ler e fazer cópias dos dados compartilhados, mas não é possível modificar os dados de origem.
Para aprender como acessar e ler dados compartilhados usando o fluxo de federação de tokens OIDC no Tableau e Power BI, consulte Ler dados compartilhados usando a federação Open ID Connect (OIDC) em um fluxo U2M. Para aprender como acessar e ler o uso de dados compartilhados no fluxo de federação de tokens OIDC em um aplicativo cliente Python , consulte Ler dados compartilhados usando a federação Open ID Connect (OIDC) em um fluxo M2M.
Leia o uso compartilhado de dados Databricks-to-Databricks compartilhamento
Se os dados tiverem sido compartilhados com o senhor usando o modelo Databricks-to-Databricks, não será necessário nenhum arquivo de credencial para acessar os dados compartilhados. Databricks cuida da conexão segura, e os dados compartilhados podem ser descobertos automaticamente em seu site Databricks workspace.
Para aprender como encontrar, ler e gerenciar esses dados compartilhados em seu workspace Databricks, consulte Ler dados compartilhados utilizando o compartilhamento aberto Databricks-to-Databricks (para destinatários).
Auditar o uso de dados compartilhados
Se você tem acesso a um workspace do Databricks, você pode usar os logs de auditoria do Databricks para entender quem em sua organização está acessando quais dados usando o OpenSharing. Consulte Auditar e monitorar o compartilhamento de dados.