O que é OpenSharing?
Esta página apresenta o OpenSharing no Databricks, a plataforma segura de compartilhamento de dados que permite compartilhar dados e ativos de IA no Databricks com usuários fora da sua organização, independentemente de eles usarem o Databricks ou não. OpenSharing também é a base para Databricks Marketplace, um fórum aberto para a troca de produtos de dados, e Clean Rooms, um ambiente seguro e com proteção de privacidade onde várias partes podem trabalhar juntas em dados corporativos sensíveis.
OpenSharing também está disponível como um projeto de código aberto que você pode usar para compartilhar tabelas Delta de outras plataformas.
Como funciona o compartilhamento aberto?
O OpenSharing é um protocolo aberto desenvolvido pelo Databricks para compartilhamento seguro de dados com outras organizações. Ele funciona independentemente das plataformas de computação que essas organizações utilizam.
Há algumas maneiras de compartilhar dados com o OpenSharing:
-
O protocolo de Databricks-to-Databricks compartilhamento , que permite compartilhar dados e AI ativos do seu Unity Catalog habilitado workspace com usuários que também têm acesso a um Unity Catalog habilitado Databricks workspace.
Essa abordagem usa o servidor OpenSharing que é integrado ao Databricks. Ele oferece suporte a alguns recursos do OpenSharing que não são suportados em outros protocolos, incluindo compartilhamento de Notebook, compartilhamento de volume do Unity Catalog, compartilhamento de modelo de AI do Unity Catalog, governança de dados do Unity Catalog, auditoria e acompanhamento de uso para provedores e destinatários. A integração com o Unity Catalog simplifica a configuração e a governança para provedores e destinatários e melhora o desempenho.
Veja O que é o protocolo OpenSharing Databricks-to-Databricks?.
-
O protocolo de compartilhamento Databricks-para-aberto, que permite compartilhar dados tabulares que você gerencia em um workspace do Databricks habilitado para Unity Catalog com usuários em qualquer plataforma de computação.
Essa abordagem utiliza o servidor OpenSharing que é integrado ao Databricks e é útil quando você gerencia dados usando o Unity Catalog e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para Unity Catalog. A integração com o Unity Catalog no lado do provedor simplifica a configuração e a governança para os provedores.
Consulte O que é o protocolo de compartilhamento OpenSharing Databricks-to-Open?.
-
**Uma implementação gerenciada pelo cliente do servidor OpenSharing de código aberto**, que permite o compartilhamento de qualquer plataforma para qualquer plataforma, seja Databricks ou não.
A documentação da Databricks não contém instruções para configurar seu próprio servidor OpenSharing. Explorar o projeto de código aberto.
-
O SAP Business Data Cloud (BDC) Connector for Databricks , que permite que o senhor compartilhe dados entre seu Unity Catalog habilitado workspace e um SAP BDC account.
Esta abordagem usa o Conector SAP BDC, que utiliza o OpenSharing para acesso em tempo real e sem cópia a produtos de dados SAP BDC.
Ações, fornecedores e destinatários
Os principais conceitos subjacentes ao OpenSharing no Databricks são compartilhamentos , provedores e destinatários .
O que é uma ação?
No OpenSharing, um compartilhamento é uma coleção somente para leitura de tabelas e partições de tabelas que um provedor deseja compartilhar com um ou mais destinatários. Se o destinatário usar um workspace do Databricks habilitado para Unity Catalog, você também pode incluir arquivos de notebook, views (incluindo views dinâmicas que restringem o acesso em nível de linha e coluna), volumes do Unity Catalog e modelos do Unity Catalog em um compartilhamento.
O senhor pode adicionar ou remover tabelas, tabelas de transmissão, gerenciar Iceberg tabelas, visualizações, visualizações materializadas, volumes, modelos e arquivos do Notebook de um compartilhamento a qualquer momento, e pode atribuir ou revogar o acesso do destinatário de dados a um compartilhamento a qualquer momento.
Em um workspace do Databricks habilitado para Unity Catalog, o compartilhamento é um objeto protegido registrado no Unity Catalog. Se você remover um compartilhamento de seu metastore Unity Catalog, todos os destinatários desse compartilhamento perderão a capacidade de acessá-lo.
Consulte Criar compartilhamentos para o OpenSharing.
O que é um provedor?
Um provedor é uma entidade que compartilha dados com um destinatário. Se você for um provedor e quiser aproveitar o servidor OpenSharing do Databricks integrado e gerenciar compartilhamentos e destinatários utilizando o Unity Catalog, é necessário ter pelo menos um workspace do Databricks habilitado para Unity Catalog. Não é necessário migrar todos os seus workspaces existentes para o Unity Catalog. Você pode criar um novo workspace habilitado para Unity Catalog para suas necessidades do OpenSharing.
Se um destinatário estiver em um workspace do Databricks habilitado para Unity Catalog, o provedor também será um objeto protegido do Unity Catalog que representa a organização provedora e associa essa organização a um conjunto de compartilhamentos.
O que é um destinatário?
O destinatário é uma entidade que recebe compartilhamentos do provedor. No Unity Catalog, um compartilhamento é um objeto protegido que representa uma organização e a associa a uma credencial ou identificador de compartilhamento seguro que permite que essa organização acesse um ou mais compartilhamentos.
Como um provedor de dados (compartilhador), você pode definir vários destinatários para qualquer metastore Unity Catalog, mas se quiser compartilhar dados de vários metastore com um determinado usuário ou grupo de usuários, você deve definir o destinatário em separado para cada metastore. Um destinatário pode ter acesso a vários compartilhamentos.
Se um provedor excluir um destinatário de seu metastore do Unity Catalog, esse destinatário perde acesso a todos os compartilhamentos que ele podia acessar anteriormente.
Consulte Criar destinatários de dados para OpenSharing (compartilhamento Databricks-to-Databricks).
Compartilhamento Databricks-to-Open versus compartilhamento Databricks-to-Databricks
Esta seção descreve os dois protocolos de compartilhamento de um workspace do Databricks que está habilitado para o Unity Catalog.
Esta seção pressupõe que o provedor está em um workspace do Databricks habilitado para o Unity Catalog. Para saber como configurar um OpenSharing server de código aberto para compartilhar de uma plataforma que não seja o Databricks ou de um workspace que não seja o Unity Catalog, consulte o projeto de código aberto.
A maneira como o provedor utiliza o OpenSharing no Databricks depende com quem ele está compartilhando dados:
- O compartilhamento aberto permite que você compartilhe dados com qualquer usuário, tenham ou não acesso ao Databricks.
- O compartilhamento Databricks-to-Databricks permite compartilhar dados com usuários do Databricks cujo workspace está anexado a um metastore Unity Catalog diferente do seu. Databricks-to-Databricks também oferece suporte ao compartilhamento de notebook, volume e modelo, que não está disponível no compartilhamento Databricks-para-aberto.
O que é OpenSharing?
Se você deseja compartilhar dados com usuários fora do seu Databricks workspace, independentemente de usar o Databricks, pode usar o OpenSharing aberto para compartilhar seus dados com segurança. Como provedor de dados, gerencie a autenticação com o destinatário de compartilhamento usando um dos seguintes métodos:
- O senhor gera tokens portadores de longa duração e os compartilha de forma segura com o destinatário. Eles usam os tokens para se autenticar e obter acesso de leitura às tabelas que o senhor incluiu nos compartilhamentos aos quais lhes concedeu acesso.
- Você utiliza a federação Open ID Connect (OIDC), concedendo tokens OAuth de curta duração do Databricks ao destinatário em troca de tokens JWT que o provedor de identidade (IdP) do destinatário repassa para o Databricks.
Os destinatários podem acessar os dados compartilhados utilizando muitas ferramentas e plataformas de computação, incluindo:
- Databricks
- Apache Spark
- Pandas
- Power BI
Para obter uma lista completa de conectores OpenSharing e informações sobre como usá-los, consulte a documentação OpenSharing.
Consulte também O que é o protocolo de compartilhamento Databricks-to-Open do OpenSharing?.
O que é o OpenSharing Databricks-to-Databricks?
Se você quiser compartilhar dados com usuários que têm um workspace do Databricks que está habilitado para o Unity Catalog, você pode usar o Databricks-to-Databricks OpenSharing. O compartilhamento Databricks-to-Databricks permite que você compartilhe dados com usuários em outras contas Databricks, estejam eles na AWS, no Azure ou no GCP. Também é uma ótima maneira de compartilhar dados com segurança entre diferentes metastores do Unity Catalog em sua própria conta do Databricks. Observe que não é necessário usar o OpenSharing para compartilhar dados entre workspaces conectados ao mesmo metastore do Unity Catalog, pois, nesse cenário, você pode usar o próprio Unity Catalog para gerenciar o acesso aos dados entre workspaces.
Uma vantagem do compartilhamento Databricks-to-Databricks é que o destinatário do compartilhamento não precisa de um token para acessar o compartilhamento, e o provedor não precisa gerenciar os tokens do destinatário. A segurança da conexão de compartilhamento, incluindo toda a verificação de identidade, autenticação e auditoria, é gerenciada inteiramente por meio do OpenSharing e da plataforma Databricks. Outra vantagem é a capacidade de compartilhar arquivos de Notebook do Databricks, volumes do Unity Catalog e modelos do Unity Catalog.
Consulte também O que é o protocolo OpenSharing Databricks-to-Databricks?.
Como os administradores de provedores configuram o OpenSharing?
Esta seção traz uma visão geral de como os provedores podem habilitar o OpenSharing e iniciar o compartilhamento do workspace do Databricks habilitado para Unity Catalog. Para o OpenSharing de código aberto, consulte o projeto de código aberto.
O compartilhamento Databricks-to-Databricks entre metastores do Unity Catalog na mesma account está sempre habilitado. Se você é um provedor que deseja habilitar o OpenSharing para compartilhar dados com workspaces do Databricks em outras contas ou clientes não-Databricks, um administrador account do Databricks ou administrador de metastore executa os seguintes os passos de configuração (em alto nível):
- Habilite o OpenSharing para o metastore do Unity Catalog que gerencia os dados que você deseja compartilhar.
Não é necessário habilitar o OpenSharing no seu metastore caso pretenda usar o OpenSharing apenas para compartilhar dados com usuários em outros metastores do Unity Catalog em sua conta. O compartilhamento de metastore para metastore em uma única account do Databricks é habilitado por default.
Consulte Ativar o OpenSharing em um metastore. 2. Crie um compartilhamento que inclua dados ativos registrados no metastore Unity Catalog.
Se você estiver compartilhando com um destinatário que não seja do Databricks (conhecido como compartilhamento Databricks-para-Open), poderá incluir tabelas no formato Delta. Se você planeja usar o compartilhamento Databricks-to-Databricks, também pode adicionar visualizações, volumes do Unity Catalog, modelos do Unity Catalog e arquivos de notebook a um compartilhamento.
Consulte Criar compartilhamentos para o OpenSharing. 3. Crie um destinatário.
Consulte Criar destinatários de dados para OpenSharing (compartilhamento Databricks-to-Databricks).
Se o destinatário não for um usuário do Databricks, ou não tiver acesso a um workspace do Databricks habilitado para Unity Catalog, você deve usar o compartilhamento Databricks-to-Open. É possível gerar credenciais baseadas em token de acesso para esse destinatário ou usar a federação OIDC.
Se o destinatário tiver acesso a um Databricks workspace que esteja habilitado para Unity Catalog, o senhor poderá usar oDatabricks-to-Databricks compartilhamento, e não serão necessárias credenciais baseadas em tokens. O senhor solicita um identificador de compartilhamento do destinatário e o utiliza para estabelecer a conexão segura.
Use a si mesmo como destinatário de teste para testar o processo de configuração.
-
Conceda ao destinatário o acesso a um ou mais compartilhamentos.
Consulte Gerenciar acesso a compartilhamentos de dados do OpenSharing (para provedores).
Este passo também pode ser realizado por um usuário não administrador com os privilégios USE SHARE, USE RECIPIENT e SET SHARE PERMISSION . Consulte a referência de privilégiosUnity Catalog.
-
Envie ao destinatário as informações de que precisa para se conectar ao compartilhamento (compartilhamento Databricks-to-Open somente).
Para compartilhamento aberto da Databricks usando tokens de acesso, use um canal seguro para enviar ao destinatário um link de ativação que permite que ele baixe suas credenciais baseadas em token. Consulte Enviar ao destinatário suas informações de conexão.
Para compartilhamento de Databricks para Open usando federação de tokens OIDC, envie o URL do portal gerado. Consulte Ativar a federação do Open ID Connect (OIDC) para destinatários do OpenSharing.
Para Databricks-to-Databricks compartilhamento, os dados incluídos no compartilhamento ficam disponíveis no Databricks workspace do destinatário assim que o senhor concede a ele acesso ao compartilhamento.
Agora, o destinatário pode acessar os dados compartilhados.
Como os destinatários acessam os dados compartilhados?
Os destinatários acessam os dados compartilhados ativos em formato somente leitura. Os arquivos do Shared Notebook são somente de leitura, mas podem ser clonados e, em seguida, modificados e executados no destinatário workspace como qualquer outro Notebook.
O acesso seguro depende do modelo de compartilhamento:
-
Databricks para o compartilhamento aberto (o destinatário não tem um workspace do Databricks habilitado para Unity Catalog) tem duas opções:
- No fluxo de token de portador, o destinatário fornece a credencial sempre que acessa os dados em sua ferramenta de escolha, incluindo Apache Spark, pandas, Power BI, Databricks e muitos mais. Consulte Ler dados compartilhados usando OpenSharing Databricks-to-compartilhamento aberto com tokens de portador.
- No fluxo de federação de tokens OIDC, o destinatário ou o aplicativo cliente do destinatário acessa o uso de dados de seu próprio provedor de identidade (IdP). Consulte Ler dados compartilhados usando a federação Open ID Connect (OIDC) em um fluxo U2M e Ler dados compartilhados usando a federação Open ID Connect (OIDC) em um fluxo M2M.
-
Databricks-to-Databricks (o workspace do destinatário está habilitado para o Unity Catalog): O destinatário acessa os dados usando Databricks. Podem utilizar o Unity Catalog para conceder e negar acesso a outros usuários em sua conta do Databricks. Consulte Ler dados compartilhados usando o Databricks-to-Databricks OpenSharing (para destinatários).
Sempre que o provedor de dados atualiza tabelas de dados ou volumes em sua própria account do Databricks, as atualizações aparecem quase em tempo real no sistema do destinatário. Para aprender como acessar dados que foram compartilhados com você usando OpenSharing, consulte Acessar dados compartilhados com você usando OpenSharing (para destinatários).
Como o senhor controla quem está compartilhando e acessando os dados compartilhados?
Os provedores de dados no espaço de trabalho Databricks habilitado para o Unity Catalog podem usar o registro de auditoria Databricks e as tabelas do sistema para monitorar a criação e a modificação de compartilhamentos e destinatários, e podem monitorar a atividade do destinatário nos compartilhamentos. Consulte Auditar e monitorar o compartilhamento de dados.
Os destinatários de dados que usam dados compartilhados em um Databricks workspace podem usar o registro de auditoria Databricks e as tabelas do sistema para entender quem está acessando quais dados. Consulte Auditar e monitorar o compartilhamento de dados.
compartilhamento de volumes
Você pode compartilhar volumes usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar volumes a um compartilhamento (para provedores) e Ler dados compartilhados utilizando o Databricks-to-Databricks compartilhamento aberto (para destinatários) (para destinatários).
modelos de compartilhamento
Você pode compartilhar modelos usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar modelos a um compartilhamento (para provedores) e Ler dados compartilhados utilizando Databricks-to-Databricks OpenSharing (para destinatários) (para destinatários).
compartilhamento Notebook
Você pode usar o OpenSharing para compartilhar arquivos de notebook usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar arquivos de Notebook a um compartilhamento (para provedores) e Ler Notebooks compartilhados (para destinatários).
Restringir o acesso no nível da linha e coluna ao compartilhar a visualização
Você pode compartilhar uma visualização dinâmica que restringe o acesso a determinados dados da tabela com base nas propriedades do destinatário. Consulte Adicionar visualização dinâmica a um compartilhamento para filtrar linhas e colunas.
Compartilhamento aberto e transmissão
O OpenSharing oferece suporte à transmissão estructurada do Apache Spark. Um provedor pode compartilhar uma tabela com história ou uma tabela de transmissão para que um destinatário possa usá-la como uma fonte de transmissão estructurada, processando dados compartilhados de forma incremental com baixa latência. Os destinatários também podem realizar consultas de viagem do tempo do Delta Lake em tabelas compartilhadas com o histórico.
Para aprender como compartilhar tabelas com histórico, consulte Adicionar tabelas a um compartilhamento. Para aprender como usar tabelas compartilhadas como fontes de transmissão, consulte Consultar uma tabela usando o Apache Spark transmissão estructurada (para destinatários do compartilhamento Databricks-to-Databricks) ou Acessar uma tabela compartilhada usando o Spark transmissão estructurada (para destinatários de dados compartilhados Databricks-para-Open).
Para saber como compartilhar tabelas de transmissão, consulte Adicionar tabelas de transmissão a um compartilhamento.
Veja também os conceitos de transmissão estruturada.
Delta Lake matriz de suporte de recurso
OpenSharing oferece suporte para a maioria dos recursos do Delta Lake ao compartilhar uma tabela. Esta matriz de suporte lista:
- Recursos do Delta que exigem versões específicas do Databricks Runtime, o conector Spark OpenSharing de código aberto ou o conector Python OpenSharing de código aberto.
- Recurso parcialmente suportado.
Recurso | Pro | Destinatário da Databricks | Receptor de código aberto |
|---|---|---|---|
Vetores de deleção |
|
|
|
Mapeamento de coluna |
|
|
|
Formato uniforme |
|
|
|
Ponto de verificação V2 | Suportado com limitações | Suportado com limitações | Suportado com limitações |
Carimbo de data/hora NTZ | Suportado | Databricks Runtime 14.1+ | OpenSharing Spark conector 3.3+ |
Clusters líquidos | Suportado com limitações | Suportado com limitações | Suportado com limitações |
Perguntas frequentes sobre o OpenSharing
A seguir, apresentamos algumas perguntas frequentes sobre o OpenSharing.
Preciso do Unity Catalog para usar o OpenSharing?
Não, o senhor não precisa do Unity Catalog para compartilhar (como provedor) ou consumir dados compartilhados (como destinatário). No entanto, o site Unity Catalog oferece benefícios como suporte para compartilhamento não tabular e AI ativo, governança pronta para uso, simplicidade e desempenho de consulta.
Os provedores podem compartilhar dados de duas maneiras:
-
Coloque os ativos a serem compartilhados no gerenciamento do Unity Catalog e compartilhe-os utilizando o servidor integrado Databricks OpenSharing.
Não é necessário migrar todos os ativos para o Unity Catalog. Basta ter um workspace do Databricks habilitado para Unity Catalog para gerenciar os ativos que você quer compartilhar. Em algumas contas, os novos workspaces são habilitados para Unity Catalog automaticamente. Consulte Introdução ao uso do Unity Catalog.
-
Implemente o servidor de compartilhamento Databricks-para-Open para compartilhar dados, sem ter que usar, necessariamente, a sua account do Databricks.
Os destinatários podem consumir os dados de duas maneiras:
-
Sem um workspace do Databricks. Utilize conectores OpenSharing de código aberto que estão disponíveis para muitas plataformas de dados, incluindo Power BI, pandas e Apache Spark de código aberto. Consulte Ler dados compartilhados utilizando o compartilhamento Databricks-para-aberto do OpenSharing com tokens de portador e o projeto de código aberto do OpenSharing.
-
Em um Databricks workspace. O espaço de trabalho do destinatário não precisa estar habilitado para Unity Catalog, mas há vantagens de governança, simplicidade e desempenho se estiver.
As organizações destinatárias que desejam essas vantagens não precisam migrar todos os ativos para o Unity Catalog. Basta ter um workspace do Databricks habilitado para Unity Catalog para gerenciar ativos que são compartilhados com você. Em algumas contas, os novos workspaces são habilitados para Unity Catalog automaticamente. Consulte Introdução ao uso do Unity Catalog.
Consulte Ler dados compartilhados utilizando o Compartilhamento Aberto Databricks para Compartilhamento Aberto com tokens de portador e Ler dados compartilhados utilizando o Databricks-to-Databricks Compartilhamento Aberto (para destinatários).
Preciso ser cliente do Databricks para usar o OpenSharing?
Não, OpenSharing é um protocolo aberto. Você pode compartilhar dados que não sejam do Databricks com destinatários em qualquer plataforma de dados. Provedores podem configurar um servidor OpenSharing aberto para compartilhamento por qualquer plataforma de computação. Os destinatários podem consumir dados compartilhados utilizando conectores OpenSharing de código aberto para muitos produtos de dados, entre eles Power BI, pandas e Spark de código aberto.
No entanto, o uso de OpenSharing no Databricks, especialmente o compartilhamento por um workspace habilitado para Unity Catalog, tem muitas vantagens.
Para ver os detalhes, consulte a primeira pergunta desta seção de dúvidas frequentes.
Como eu incorro e verifico os custos do OpenSharing?
O custo do OpenSharing incorre ao compartilhamento e acessar visualizações, visualizações materializadas e tabelas de transmissão. Estas são as fontes de custo em potencial para compartilhamento:
- custo de computação, cobrado por Databricks.
- Custo de armazenamento e transferência de rede (saída), cobrado pelo fornecedor de armazenamento.
- Foreign compute source cost, ao compartilhar esquemas e tabelas estrangeiras.
O método pelo qual o compute é realizado e quem paga por ele depende de vários fatores:
- O tipo de destinatário compute
- Se o compartilhamento ocorre dentro do mesmo Databricks account ou entre contas
A tabela a seguir descreve o método de cobrança para compartilhamento e acesso a views usando o OpenSharing:
Beneficiário compute | relacionamento com a conta | Quem paga | SKU usado para faturamento | Método de acesso |
|---|---|---|---|---|
Databricks sem servidor | Qualquer um | Destinatário* | Do destinatário serverless | O destinatário recebe acesso direto aos dados subjacentes |
Databricks Classic | O mesmo account | Destinatário* | Clássico do destinatário | O destinatário recebe acesso direto aos dados subjacentes |
Databricks Classic | Diferentes account | Destinatário | Interativo do provedor serverless | O provedor executa a filtragem |
Conectores de compartilhamento Databricks-para-aberto | Qualquer um | Pro | Interativo do provedor serverless | O provedor executa a filtragem |
* Ao utilizar o OpenSharing com um destinatário que utiliza compute serverless em uma account diferente, ou com um destinatário na mesma account, não há cobrança incremental. Isso significa que não há custo adicional para a materialização do ativo de dados.
Ao compartilhar tabelas estrangeiras (Beta), a materialização é sempre realizada e armazenada no lado do provedor. Para tabelas Iceberg estrangeiras, a materialização é realizada no lado do provedor quando há compartilhamento com um destinatário aberto que não utiliza um cliente Iceberg . Os provedores podem observar uma cobrança adicional atribuída ao armazenamento default usado para a materialização de dados. Não há custos compute para tabelas estrangeiras durante a versão Beta.
A atribuição de faturamento também pode ser consultada usando a tabela de referência do sistema de uso faturável e a tabela de referência do sistema de histórico de materialização do OpenSharing. Se o destinatário pagar pela atribuição, somente ele poderá ver o registro associado na tabela do sistema. Para exemplos de consultas, consulte Consultas de exemplo.
O OpenSharing incorre em custos de saída?
O OpenSharing dentro de uma região não incorre em custos de saída. Ao contrário de outras plataformas de compartilhamento de dados, o OpenSharing não requer replicação de dados. Este modelo possui muitas vantagens, mas significa que o cloud vendor pode cobrar taxas de saída de dados quando há o compartilhamento de dados entre clouds ou regiões. Databricks oferece suporte a compartilhamento do Cloudflare R2, que não acarreta taxas de saída, e fornece outras ferramentas e recomendações para monitorar e evitar taxas de saída. Consulte Monitorar e Gerenciar os Custos de Saída do OpenSharing (para Provedores).
Os destinatários têm acesso direto aos dados subjacentes na exibição compartilhada, na exibição materializada e nas tabelas de transmissão?
Para tabelas de visão compartilhada, visão materializada e transmissão, o destinatário dos dados tem acesso direto se uma das seguintes condições for verdadeira:
- O destinatário usa compute serverless ou compute clássica não dedicada na mesma account Databricks .
- O destinatário usa compute serverless em uma account diferente Databricks .
Caso contrário, os dados são materializados e filtrados no lado do provedor.
A materialização dos dados é armazenada no local de armazenamento pai do ativo de dados compartilhado.
Ao compartilhar materialized ativo, o compute processa a solicitação aplicando os filtros necessários e criando uma materialização temporária armazenada em cache no armazenamento do provedor. Esses dados filtrados são entregues aos destinatários usando URLs de curta duração pré-assinados, garantindo acesso seguro e mantendo o controle de acesso de provedor para destinatário.
Os provedores podem revogar o acesso do destinatário?
Sim, o acesso do destinatário pode ser revogado sob demanda e em níveis específicos de granularidade. Você pode negar o acesso do destinatário a compartilhamentos específicos e endereços IP específicos, filtrar dados tabulares para um destinatário, revogar tokens de destinatário e excluir destinatários completamente. Consulte Revogar acesso do destinatário a um compartilhamento e Criar destinatários de dados para OpenSharing (compartilhamento Databricks-to-Databricks).
Não é inseguro usar URLs pré-assinados?
O OpenSharing utiliza URLs pré-assinados para permitir o acesso temporário a um arquivo no armazenamento de objetos. Eles são disponibilizados somente para os destinatários que já têm acesso aos dados compartilhados. São seguros porque têm vida curta e não expandem o nível de acesso para além do que já foi concedido aos destinatários.
Os tokens utilizados no protocolo de compartilhamento aberto OpenSharing Databricks-to-Open são seguros?
Como o OpenSharing permite o compartilhamento entre plataformas, ao contrário de outras plataformas de compartilhamento de dados disponíveis, o protocolo de compartilhamento requer um token aberto. Os provedores podem garantir a segurança do token configurando o tempo de vida do token, definindo controles de rede e revogando o acesso sob demanda. Além disso, o token não expande o nível de acesso além do que os destinatários já receberam. Consulte Considerações de segurança para tokens.
Se preferir não usar tokens para gerenciar o acesso aos compartilhamentos do destinatário, use Databricks-to-Databricks compartilhamento ou entre em contato com sua equipe Databricks account para obter alternativas.
Qual é a diferença entre o LakeFlow Connect e o OpenSharing?
O OpenSharing possibilita o compartilhamento seguro de dados em tempo real entre plataformas, nuvens e regiões. O Databricks recomenda a ingestão usando conectores gerenciados porque eles se dimensionam para acomodar altos volumes de dados, consultas de baixa latência e limites de API de terceiros. No entanto, pode-se desejar consultar os dados sem movê-los.
Quando tiver uma escolha entre conectores gerenciados e OpenSharing, opte por OpenSharing para os seguintes cenários:
- Limitar a duplicação de dados.
- Consultando os dados mais recentes possíveis.
Limitações
Formato de tabela e suporte a recursos
Requisitos de formato:
- Os dados tabulares devem estar no formato Delta de tabela Iceberg ou . Você pode converter facilmente tabelas Parquet para Delta — e vice-versa. Veja CONVERT TO DELTA.
- OpenSharing somente pode ler tabelas UniForm como tabelas Delta.
Tabelas não suportadas:
- Os provedores não podem compartilhar tabelas que usam clustering líquido com filtragem de partições.
- Os provedores não podem compartilhar tabelas R2 com o ponto de verificação V2.
- Os provedores não podem compartilhar tabelas com agrupamentos ativados.
- Os provedores não podem compartilhar tabelas com filtros de linha ou máscaras de coluna.
- Os provedores não podem compartilhar tabelas
SHALLOW CLONE. O Databricks não oferece suporte à pré-assinatura de URLs para logs Delta que fazem referência a caminhos absolutos. - Os provedores não podem compartilhar tabelas Iceberg gerenciadas com clientes Iceberg externos. Consulte Adicionar gerenciamento de tabelas Iceberg a um compartilhamento e Habilitar compartilhamento para clientes Iceberg externos.
- Restrições key estrangeira não estão disponíveis em tabelas compartilhadas.
Somente compartilhamentoDatabricks-to-Databricks
A seguinte atividade só pode ser compartilhada usando o fluxo de compartilhamento Databricks-to-Databricks :
- Compartilhamento de Notebook. Consulte Adicionar arquivos de Notebook a um compartilhamento e Ler dados compartilhados usando o compartilhamento aberto Databricks-to-Databricks (para destinatários).
- Compartilhamento de Volumes. Consulte Adicionar volumes a um compartilhamento (para provedores) e Ler dados compartilhados utilizando o Databricks-to-Databricks OpenSharing (para destinatários).
- Compartilhamento de modelos. Consulte Adicionar modelos a um compartilhamento (para provedores) e Ler dados compartilhados utilizando o Open Sharing Databricks-to-Databricks (para destinatários).
visualizar
- A visualização compartilhável deve ser definida em Delta tables ou em outra visualização compartilhável. Consulte Adicionar visualização a um compartilhamento (para provedores) e Ler visualização compartilhada (para destinatários).
circunferência
- O OpenSharing não oferece suporte a alterar
responseFormatenquanto uma fonte de transmissão estiver em execução ou durante reinicializações da transmissão.
Metadados do destinatário
- As tabelas em
information_schemade um catálogo compartilhado refletem metadados armazenados no Unity Catalog. Esses metadados são atualizados pelo provedor somente quando você consulta a tabela compartilhada diretamente ou executa um comando como DESCRIBE ou REFRESH FOREIGN. Até então,information_schemapode parecer desatualizado em comparação com os dados do provedor.
recursos e limites técnicos
- Há limites no número de arquivos nos metadados permitidos para uma tabela compartilhada. Para saber mais, consulte Erros de limite de recurso excedido.
- Esquemas chamados
information_schemanão podem ser importados para o metastore do Unity Catalog, porque esse nome de esquema é reservado no Unity Catalog.
Consulte também Delta Lake recurso support matrix.
O Cascade exclui a proteção de compartilhamento que ignora a cascata.
A exclusão de um objeto pai, como um catálogo ou esquema, desencadeia uma exclusão em cascata de seus objetos filhos, mesmo que esses objetos filhos estejam incluídos em compartilhamentos ativos. Após uma exclusão em cascata remover um ativo, você não poderá adicionar novamente um ativo com o mesmo nome ao compartilhamento.
Para evitar esse problema, remova o "ativo" de todos os compartilhamentos antes de excluir os objetos pai.
recurso quotas
A Databricks aplica cotas de recursos em todos os objetos protegíveis do OpenSharing. Essas cotas estão listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de account Databricks.
O senhor pode monitorar o uso da cota usando o recurso Unity Catalog quotas APIs. Consulte Monitorar o uso das cotas de recurso do Unity Catalog.
Próximas etapas
- Ativar sua conta Databricks para o OpenSharing
- Criar compartilhamentos
- Criar destinatários
- Saiba mais sobre os modelos de compartilhamento Databricks-to-Open e Databricks-to-Databricks
- Saiba como os destinatários acessam os dados compartilhados