O que é Delta Sharing?
Este artigo apresenta Delta Sharing em Databricks, a plataforma segura de compartilhamento de dados que permite que o senhor compartilhe dados e AI ativo em Databricks com usuários fora de sua organização, quer esses usuários usem Databricks ou não. Delta Sharing também é a base para o Databricks Marketplaceum fórum aberto para troca de dados de produto, e Clean Rooms, um ambiente seguro e com proteção de privacidade onde várias partes podem trabalhar juntas em dados corporativos confidenciais.
Delta Sharing também está disponível como um projeto de código aberto que você pode usar para compartilhar tabelas Delta de outras plataformas.
Para saber como acessar os dados que foram compartilhados com o senhor usando o Delta Sharing, consulte Acessar dados compartilhados com o senhor usando o Delta Sharing (para destinatários).
Como funciona o Delta Sharing?
O Delta Sharing é um protocolo aberto desenvolvido pelo Databricks para compartilhamento seguro de dados com outras organizações, independentemente das plataformas de computação que utilizam.
Há três maneiras de compartilhar dados com o Delta Sharing:
-
O protocolo de Databricks-to-Databricks compartilhamento , que permite compartilhar dados e AI ativos do seu Unity Catalog habilitado workspace com usuários que também têm acesso a um Unity Catalog habilitado Databricks workspace.
Essa abordagem usa o servidor Delta Sharing incorporado ao Databricks. Ele suporta alguns Delta Sharing recursos que não são suportados nos outros protocolos, incluindo compartilhamento de Notebook, Unity Catalog compartilhamento de volume, Unity Catalog AI compartilhamento de modelo, Unity Catalog governança de dados, auditoria e acompanhamento de uso para provedores e destinatários. A integração com o Unity Catalog simplifica a configuração e a governança para provedores e destinatários e melhora o desempenho.
Veja em Compartilhamento de uso de dados o protocolo Delta Sharing Databricks-to-Databricks (para provedores).
-
O protocolo de compartilhamento aberto Databricks , que permite compartilhar dados tabulares gerenciados em um Unity Catalog habilitado Databricks workspace com usuários em qualquer plataforma de computação.
Essa abordagem utiliza o servidor Delta Sharing que é integrado ao Databricks e é útil quando você gerencia os dados usando o Unity Catalog e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para Unity Catalog. A integração com o Unity Catalog no lado do provedor simplifica a configuração e a governança para os provedores.
Veja em Compartilhar uso de dados o protocolo de compartilhamento aberto Delta Sharing (para provedores).
-
Uma implementação gerenciada pelo cliente do servidor Delta Sharing de código aberto , que permite o compartilhamento de qualquer plataforma para qualquer plataforma, seja ela o Databricks ou não.
A documentação do Databricks não contém instruções para configurar seu próprio servidor Delta Sharing. Consulte github.com/delta-io/delta-sharing.
Ações, fornecedores e destinatários
Os principais conceitos subjacentes ao Delta Sharing no Databricks são compartilhamentos , provedores e destinatários .
O que é uma ação?
No Delta Sharing, um compartilhamento é uma coleção de tabelas e partições de tabela somente para leitura que um provedor deseja compartilhar com um ou mais destinatários. Se o destinatário usar um Unity Catalog-enabled Databricks workspace, o senhor também poderá incluir arquivos de Notebook, visualização (incluindo visualização dinâmica que restringe o acesso no nível de linha e coluna), volumes Unity Catalog e modelos Unity Catalog em um compartilhamento.
O senhor pode adicionar ou remover tabelas, visualizações, volumes, modelos e arquivos do Notebook de um compartilhamento a qualquer momento, e pode atribuir ou revogar o acesso do destinatário de dados a um compartilhamento a qualquer momento.
Em um workspace do Databricks habilitado para Unity Catalog, o compartilhamento é um objeto protegido registrado no Unity Catalog. Se você remover um compartilhamento de seu metastore Unity Catalog, todos os destinatários desse compartilhamento perderão a capacidade de acessá-lo.
Consulte Criar e gerenciar compartilhamentos para o Delta Sharing.
O que é um provedor?
O provedor é uma entidade que compartilha dados com um destinatário. Se você for um provedor e quiser aproveitar o servidor integrado do Databricks Delta Sharing e gerenciar compartilhamentos e destinatários utilizando o Unity Catalog, é necessário ter pelo menos um workspace do Databricks habilitado para Unity Catalog. Você não precisa migrar todos os seus atuais workspaces para o Unity Catalog. Você pode criar um novo workspace habilitado para Unity Catalog para suas necessidades do Delta Sharing.
Se um destinatário estiver em um workspace do Databricks habilitado para Unity Catalog, o provedor também será um objeto protegido do Unity Catalog que representa a organização provedora e associa essa organização a um conjunto de compartilhamentos.
O que é um destinatário?
O destinatário é uma entidade que recebe compartilhamentos do provedor. No Unity Catalog, um compartilhamento é um objeto protegido que representa uma organização e a associa a uma credencial ou identificador de compartilhamento seguro que permite que essa organização acesse um ou mais compartilhamentos.
Como um provedor de dados (compartilhador), você pode definir vários destinatários para qualquer metastore Unity Catalog, mas se quiser compartilhar dados de vários metastore com um determinado usuário ou grupo de usuários, você deve definir o destinatário em separado para cada metastore. Um destinatário pode ter acesso a vários compartilhamentos.
Se um provedor excluir um destinatário de seu metastore do Unity Catalog, esse destinatário perde acesso a todos os compartilhamentos que ele podia acessar anteriormente.
Compartilhamento aberto versus Databricks-to-Databricks compartilhamento
Esta seção descreve os dois protocolos de compartilhamento de um workspace do Databricks que está habilitado para o Unity Catalog.
Esta seção pressupõe que o provedor está em um workspace do Databricks habilitado para o Unity Catalog. Para saber como configurar um servidor Delta Sharing de código aberto para compartilhar de uma plataforma que não seja o Databricks ou de um workspace que não seja o Unity Catalog, consulte github.com/delta-io/delta-sharing.
A maneira como o provedor utiliza o Delta Sharing no Databricks depende com quem ele está compartilhando dados:
- O compartilhamento aberto permite que você compartilhe dados com qualquer usuário, tenham ou não acesso ao Databricks.
- Databricks-to-Databricks O compartilhamento permite que o senhor compartilhe dados com usuários do Databricks cujo workspace está anexado a um metastore Unity Catalog diferente do seu. Databricks-to-Databricks também oferece suporte ao compartilhamento de notebooks, volumes e modelos, o que não está disponível no compartilhamento aberto.
O que é open Delta Sharing?
Se quiser compartilhar dados com usuários fora do seu Databricks workspace, independentemente de eles usarem o Databricks, o senhor pode usar o open Delta Sharing para compartilhar seus dados com segurança. Como provedor de dados, o senhor gerencia a autenticação com o destinatário do compartilhamento usando um dos seguintes métodos:
- O senhor gera tokens portadores de longa duração e os compartilha de forma segura com o destinatário. Eles usam os tokens para se autenticar e obter acesso de leitura às tabelas que o senhor incluiu nos compartilhamentos aos quais lhes concedeu acesso.
- O senhor usa a federação Open ID Connect (OIDC), concedendo tokens OAuth de curta duração da Databricks ao destinatário em troca de tokens JWT que o IdP do destinatário passa para a Databricks.
Os destinatários podem acessar os dados compartilhados utilizando muitas ferramentas e plataformas de computação, incluindo:
- Databricks
- Apache Spark
- Pandas
- Power BI
Para ver a lista completa de conectores Delta Sharing e informações sobre como usá-los, consulte a documentação do Delta Sharing .
Consulte também Compartilhar uso de dados, o protocolo de compartilhamento aberto Delta Sharing (para provedores).
O que é Databricks-to-Databricks Delta Sharing?
Se quiser compartilhar dados com usuários que tenham um Databricks workspace habilitado para Unity Catalog, o senhor pode usar Databricks-to-Databricks Delta Sharing. Databricks-to-Databricks O compartilhamento permite que o senhor compartilhe dados com usuários de outras contas Databricks, estejam elas em AWS, Azure, ou GCP. Também é uma ótima maneira de compartilhar dados com segurança em diferentes Unity Catalog metastores em seu próprio Databricks account. Observe que não há necessidade de usar Delta Sharing para compartilhar dados entre espaços de trabalho anexados ao mesmo metastore Unity Catalog, pois nesse cenário o senhor pode usar o próprio Unity Catalog para gerenciar o acesso aos dados entre espaços de trabalho.
Uma vantagem do Databricks-to-Databricks compartilhamento é que o destinatário do compartilhamento não precisa de tokens para acessar o compartilhamento, e o provedor não precisa gerenciar o destinatário tokens. A segurança da conexão de compartilhamento, incluindo toda a verificação de identidade, autenticação e auditoria, é gerenciada inteiramente pelo site Delta Sharing e pela plataforma Databricks. Outra vantagem é a capacidade de compartilhar arquivos do Databricks Notebook, visualizar, Unity Catalog volumes e Unity Catalog modelos.
Consulte também Compartilhar uso de dados no protocolo Delta Sharing Databricks-to-Databricks (para provedores).
Como os administradores do provedor configuram o Delta Sharing?
Esta seção traz uma visão geral de como os provedores podem habilitar o Delta Sharing e iniciar o compartilhamento do workspace do Databricks habilitado para Unity Catalog. Para Delta Sharing de código aberto, consulte github.com/delta-io/delta-sharing.
O compartilhamento Databricks-to-Databricks entre metastores do Unity Catalog na mesma account está sempre habilitado. Se você é um provedor que deseja habilitar o Delta Sharing para compartilhar dados com workspaces do Databricks em outras accounts ou clientes não-Databricks, um administrador de account do Databricks ou um administrador de metastore realiza os seguintes passos de configuração (em alto nível):
- Habilite Delta Sharing para o metastore do Unity Catalog que gerencia os dados que você deseja compartilhar.
Você não precisa habilitar Delta Sharing em seu metastore se pretende usar Delta Sharing para compartilhar dados apenas com usuários em outros metastores do Unity Catalog em sua conta. O compartilhamento de metastore para metastore em uma única conta do Databricks é habilitado por padrão.
Consulte Ativar o Delta Sharing em um metastore. 2. Crie um compartilhamento que inclua dados ativos registrados no metastore Unity Catalog.
Se o senhor estiver compartilhando com um destinatário que não sejaDatabricks (conhecido como compartilhamento aberto), poderá incluir tabelas no formato Delta ou Parquet. Se o senhor planeja usar o Databricks-to-Databricks compartilhamento, também pode adicionar visualização, Unity Catalog volumes, Unity Catalog modelos e arquivos de Notebook a um compartilhamento.
Consulte Criar e gerenciar compartilhamentos para o Delta Sharing. 3. Crie um destinatário.
Se o destinatário não for um usuário Databricks ou não tiver acesso a um Databricks workspace que esteja habilitado para Unity Catalog, o senhor deverá usar o compartilhamento aberto. O senhor pode gerar credenciais baseadas em bearer-tokens para esse destinatário ou usar a federação OIDC.
Se o destinatário tiver acesso a um Databricks workspace que esteja habilitado para Unity Catalog, o senhor poderá usar oDatabricks-to-Databricks compartilhamento, e não serão necessárias credenciais baseadas em tokens. O senhor solicita um identificador de compartilhamento do destinatário e o utiliza para estabelecer a conexão segura.
Use a si mesmo como destinatário de teste para testar o processo de configuração.
-
Conceda ao destinatário o acesso a um ou mais compartilhamentos.
Consulte gerenciar o acesso a Delta Sharing data shares (para provedores).
Essa etapa também pode ser executada por um usuário não administrador com os privilégios USE SHARE, USE RECIPIENT e SET SHARE PERMISSION. Consulte Privilégios e objetos protegidos do Unity Catalog.
-
Envie ao destinatário as informações de que precisa para se conectar ao compartilhamento (compartilhamento aberto somente).
Para compartilhamento aberto usando portadores tokens, use um canal seguro para enviar ao destinatário um link de ativação que permita a ele download suas credenciais baseadas em tokens. Consulte Enviar ao destinatário suas informações de conexão.
Para compartilhamento aberto usando a federação de tokens OIDC, envie o URL do portal gerado. Consulte Usar a federação Open ID Connect (OIDC) para habilitar a autenticação nos compartilhamentos do Delta Sharing (compartilhamento aberto).
Para compartilhamento Databricks-to-Databricks, os dados contidos no compartilhamento ficam disponíveis no workspace do Databricks do destinatário assim que o acesso ao compartilhamento é concedido.
Agora, o destinatário pode acessar os dados compartilhados.
Como os destinatários acessam os dados compartilhados?
Os destinatários acessam os dados compartilhados ativos em formato somente leitura. Os arquivos do Shared Notebook são somente de leitura, mas podem ser clonados e, em seguida, modificados e executados no destinatário workspace como qualquer outro Notebook.
O acesso seguro depende do modelo de compartilhamento:
-
O compartilhamento aberto (o destinatário não tem um Databricks workspace habilitado para Unity Catalog) tem duas opções:
- No fluxo de tokens de portador, o destinatário fornece a credencial sempre que acessa os dados na ferramenta de sua escolha, incluindo Apache Spark, Pandas, Power BI, Databricks, e muitas outras. Consulte Ler dados compartilhados usando o compartilhamento aberto Delta Sharing com tokens de portador (para destinatários).
- No fluxo de federação de tokens OIDC, o destinatário ou o aplicativo cliente do destinatário acessa o uso de dados de seu próprio IdP. Consulte Receber compartilhamentos do Delta Sharing usando a federação Open ID Connect (OIDC) em um fluxo de usuário para máquina (compartilhamento aberto) e Receber compartilhamentos do Delta Sharing usando um cliente Python e a federação Open ID Connect (OIDC) em um fluxo de máquina para máquina (compartilhamento aberto).
-
Databricks-to-Databricks (o destinatário workspace está habilitado para Unity Catalog): O destinatário acessa o uso de dados Databricks. Eles podem usar o site Unity Catalog para conceder e negar acesso a outros usuários em seu site Databricks account. Consulte Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).
Sempre que o provedor de dados atualiza tabelas ou volumes de dados em seu próprio site Databricks account, as atualizações aparecem em tempo quase real no sistema do destinatário.
Como o senhor controla quem está compartilhando e acessando os dados compartilhados?
Os provedores de dados no espaço de trabalho Databricks habilitado para o Unity Catalog podem usar o registro de auditoria Databricks e as tabelas do sistema para monitorar a criação e a modificação de compartilhamentos e destinatários, e podem monitorar a atividade do destinatário nos compartilhamentos. Consulte Auditar e monitorar o compartilhamento de dados.
Os destinatários de dados que usam dados compartilhados em um Databricks workspace podem usar o registro de auditoria Databricks e as tabelas do sistema para entender quem está acessando quais dados. Consulte Auditar e monitorar o compartilhamento de dados.
compartilhamento de volumes
O senhor pode compartilhar volumes usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar volumes a um compartilhamento (para provedores) e Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários) (para destinatários).
modelos de compartilhamento
O senhor pode compartilhar modelos usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar modelos a um compartilhamento (para provedores) e Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários) (para destinatários).
compartilhamento Notebook
O senhor pode usar o site Delta Sharing para compartilhar arquivos do Notebook usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar arquivos de Notebook a um compartilhamento (para provedores) e Ler Notebook compartilhado (para destinatários).
Restringindo o acesso no nível da linha e da coluna
O senhor pode compartilhar visualizações dinâmicas que restringem o acesso a determinados dados da tabela com base nas propriedades do destinatário. O compartilhamento dinâmico do view requer o fluxo de compartilhamento do Databricks-to-Databricks. Consulte Adicionar exibição dinâmica a um compartilhamento para filtrar linhas e colunas.
Delta Sharing e transmissão
Delta Sharing suporta Spark transmissão estruturada. Um provedor pode compartilhar uma tabela com histórico para que um destinatário possa usá-la como uma fonte de transmissão estruturada, processando dados compartilhados de forma incremental com baixa latência. Os destinatários também podem realizar Delta Lake viagem do tempo consultas em tabelas compartilhadas com a história.
Para saber como compartilhar tabelas com a história, consulte Adicionar tabelas a um compartilhamento. Para saber como usar tabelas compartilhadas como fontes de transmissão, consulte Consultar uma tabela usando Apache Spark transmissão estructurada (para destinatários de Databricks-to-Databricks compartilhamento) ou Acessar uma tabela compartilhada usando Spark transmissão estructurada (para destinatários de dados de compartilhamento aberto).
Veja também transmissão em Databricks.
Delta Lake matriz de suporte de recurso
Delta Sharing suporta a maioria dos Delta Lake recursos quando o senhor compartilha uma mesa. Essa matriz de suporte lista:
- Delta recurso que exige versões específicas de Databricks Runtime, o conector código aberto Delta Sharing Spark ou o conector código aberto Delta Sharing Python .
- Recurso parcialmente suportado.
Recurso | Pro | Destinatário da Databricks | Receptor de código aberto |
|---|---|---|---|
Vetores de deleção | O compartilhamento de tabelas com esse recurso está em Public Preview. |
|
|
Mapeamento de coluna | O compartilhamento de tabelas com esse recurso está em Public Preview. |
|
|
Formato uniforme | O compartilhamento de tabelas com esse recurso está em Public Preview. |
|
|
Ponto de verificação V2 | Suportado com limitações | Suportado com limitações | Suportado com limitações |
Carimbo de data/hora NTZ | Suportado | Databricks Runtime 14.1+ | Conector Delta Sharing Spark 3.3+ |
Clusters líquidos | Suportado com limitações | Suportado com limitações | Suportado com limitações |
Perguntas frequentes sobre o Delta Sharing
Veja a seguir algumas dúvidas frequentes sobre o Delta Sharing.
Preciso do Unity Catalog para usar o Delta Sharing?
Não, o senhor não precisa do Unity Catalog para compartilhar (como provedor) ou consumir dados compartilhados (como destinatário). No entanto, o site Unity Catalog oferece benefícios como suporte para compartilhamento não tabular e AI ativo, governança pronta para uso, simplicidade e desempenho de consulta.
Os provedores podem compartilhar dados de duas maneiras:
-
Coloque os ativos a serem compartilhados no gerenciamento do Unity Catalog e compartilhe-os utilizando o servidor integrado Databricks Delta Sharing.
O senhor não precisa migrar todo o ativo para Unity Catalog. O senhor precisa apenas de um Databricks workspace que esteja habilitado para Unity Catalog para gerenciar ativo que deseja compartilhar. Em algumas contas, o novo espaço de trabalho é ativado automaticamente para Unity Catalog. Consulte Ativação automática do Unity Catalog.
-
Implemente o servidor Delta Sharing aberto para compartilhar dados, sem ter que usar, necessariamente, a sua conta do Databricks.
Os destinatários podem consumir os dados de duas maneiras:
-
Sem um Databricks workspace. Use os conectores código aberto Delta Sharing que estão disponíveis para muitas plataformas de dados, incluindo Power BI, Pandas e código aberto Apache Spark. Consulte Ler dados compartilhados usando o compartilhamento aberto Delta Sharing com tokens de portador (para destinatários) e o projeto de código aberto Delta Sharing.
-
Em um workspace do Databricks. Os workspaces dos destinatários não precisam ser habilitados para Unity Catalog, mas há vantagens de governança, simplicidade e desempenho caso sejam.
As organizações beneficiárias que desejam essas vantagens não precisam migrar todo o ativo para Unity Catalog. O senhor precisa apenas de um Databricks workspace que esteja habilitado para Unity Catalog para gerenciar ativos que são compartilhados com o senhor. Em algumas contas, o novo espaço de trabalho é ativado automaticamente para Unity Catalog. Consulte Ativação automática do Unity Catalog.
Consulte Ler dados compartilhados usando Delta Sharing open compartilhamento with bearer tokens (para destinatários) e Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).
Preciso ser um cliente da Databricks para usar o Delta Sharing?
Não, o Delta Sharing é um protocolo aberto. Você pode compartilhar dados que não sejam do Databricks com destinatários em qualquer plataforma de dados. Os provedores podem configurar um servidor Delta Sharing aberto para compartilhamento por qualquer plataforma de computação. Os destinatários podem consumir os dados compartilhados utilizando conectores Delta Sharing de código aberto para muitos produtos de dados, entre eles Power BI, pandas e Spark de código aberto.
No entanto, o uso do Delta Sharing no Databricks, especialmente o compartilhamento por um workspace habilitado para Unity Catalog, tem muitas vantagens.
Para ver os detalhes, consulte a primeira pergunta desta seção de dúvidas frequentes.
A Delta Sharing incorre em custos de egresso?
O Delta Sharing em uma região não tem custo de saída. Diferentemente de outras plataformas de compartilhamento de dados, o Delta Sharing não requer replicação de dados. Esse modelo tem muitas vantagens, mas significa que seu fornecedor de nuvem pode cobrar taxas de saída de dados quando você compartilha dados entre nuvens ou regiões. A Databricks oferece suporte ao compartilhamento do Cloudflare R2, que não incorre em taxas de saída, e fornece outras ferramentas e recomendações para monitorar e evitar taxas de saída. Consulte Monitorar e gerenciar os custos de saída do Delta Sharing (para provedores).
Os provedores podem revogar o acesso do destinatário?
Sim, o acesso do destinatário pode ser revogado sob demanda e em níveis específicos de granularidade. O senhor pode negar o acesso do destinatário a compartilhamentos específicos e endereços IP específicos, filtrar dados tabulares de um destinatário, revogar tokens de destinatário e excluir destinatários completamente. Consulte Revogar o acesso do destinatário a um compartilhamento e Criar e gerenciar destinatários de dados para Delta Sharing (Databricks-to-Databricks compartilhamento).
Não é inseguro usar URLs pré-assinados?
O Delta Sharing utiliza URLs pré-assinados para permitir o acesso temporário a um arquivo no armazenamento de objetos. Eles são disponibilizados somente para os destinatários que já têm acesso aos dados compartilhados. São seguros porque têm vida curta e não expandem o nível de acesso para além do que já foi concedido aos destinatários.
Os tokens usados no protocolo de compartilhamento aberto Delta Sharing são seguros?
Como o Delta Sharing permite o compartilhamento entre plataformas, diferentemente de outras plataformas de compartilhamento de dados disponíveis, o protocolo de compartilhamento requer tokens abertos. Os provedores podem garantir a segurança dos tokens configurando o tempo de vida dos tokens, definindo controles de rede e revogando o acesso sob demanda. Além disso, os tokens não expandem o nível de acesso além do que já foi concedido aos destinatários. Consulte Considerações de segurança para tokens.
Se preferir não usar tokens para gerenciar o acesso aos compartilhamentos do destinatário, use Databricks-to-Databricks compartilhamento ou entre em contato com sua equipe Databricks account para obter alternativas.
O site Delta Sharing oferece suporte ao view compartilhamento?
Sim, o site Delta Sharing é compatível com o view compartilhamento. Consulte Adicionar visualização a um compartilhamento.
Para saber mais sobre as melhorias planejadas para o compartilhamento de views, entre em contato com a equipe responsável pela sua conta no Databricks.
Limitações
-
Os dados tabulares devem estar no formato de tabela Delta. O senhor pode converter facilmente as tabelas Parquet em Delta e vice-versa. Consulte CONVERT TO DELTA.
-
O Delta Sharing é compatível com tabelas que usam clustering líquido e ponto de verificação V2, com as seguintes limitações:
- Os destinatários podem executar apenas consultas de Snapshot. Eles não podem executar consultas de transmissão ou alimentação de dados alterados (CDF).
- Os provedores não podem compartilhar a tabela com a filtragem de partição.
-
Os provedores não podem compartilhar tabelas R2 com clustering líquido e ponto de verificação V2.
-
As restrições de tabela (primárias e estrangeiras key ) não estão disponíveis em tabelas compartilhadas.
-
A visualização compartilhável deve ser definida em Delta tables ou em outra visualização compartilhável. Consulte Adicionar visualização a um compartilhamento (para provedores) e Ler visualização compartilhada (para destinatários).
-
Notebook O compartilhamento é suportado somente em Databricks-to-Databricks compartilhamento. Consulte Adicionar arquivos do Notebook a um compartilhamento e Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).
-
O compartilhamento de volumes é suportado somente em Databricks-to-Databricks compartilhamento. Consulte Adicionar volumes a um compartilhamento (para provedores) e Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).
-
O compartilhamento de modelos é suportado somente em Databricks-to-Databricks compartilhamento. Consulte Adicionar modelos a um compartilhamento (para provedores) e Ler dados compartilhados usando Databricks-to-Databricks Delta Sharing (para destinatários).
-
Há limites no número de arquivos nos metadados permitidos para uma tabela compartilhada. Para saber mais, consulte Erros de limite de recurso excedido.
-
Esquemas chamados
information_schemanão podem ser importados para o metastore do Unity Catalog, porque esse nome de esquema é reservado no Unity Catalog. -
O compartilhamento de tabelas
SHALLOW CLONEnão é compatível com o Delta Sharing. Databricks não é compatível com a predefinição de URLs para Delta logs que fazem referência a caminhos absolutos.
Consulte também Delta Lake recurso support matrix.
recurso quotas
Databricks impõe cotas de recurso em todos os objetos protegíveis do site Delta Sharing. Essas cotas são listadas em limites de recurso. Se o senhor espera exceder esses limites de recurso, entre em contato com a equipe Databricks account .
O senhor pode monitorar o uso da cota usando o recurso Unity Catalog quotas APIs. Consulte Monitorar o uso das cotas de recurso do Unity Catalog.
Próximas etapas
- Habilitar sua conta no Databricks para Delta Sharing
- Criar compartilhamentos
- Criar destinatários
- Saiba mais sobre os modelos abertos de compartilhamento e Databricks-to-Databricks modelos de compartilhamento
- Saiba como os destinatários acessam os dados compartilhados