Amazon
Web Services
Microsoft Azure
Google Cloud PlatformLer dados compartilhados usando Databricks-to-Databricks Delta compartilhamento (para destinatários)
Este artigo descreve como ler dados que foram compartilhados com você usando o protocolo Databricks-to-Databricks Delta Sharing, no qual Databricks gerencia uma conexão segura para compartilhamento de dados. Ao contrário do protocolo de compartilhamento aberto Delta Sharing, o protocolo Databricks-to-Databricks não requer um arquivo de credencial (segurança baseada em tokens ).
O compartilhamento de Databricks para Databricks exige que você, como destinatário, tenha acesso a um workspace do Databricks habilitado para Unity Catalog.
Se você não tiver um workspace do Databricks habilitado para Unity Catalog, os dados deverão ser compartilhados com você usando o protocolo de compartilhamento aberto Delta Sharing, e estes artigos não se aplicam a você. Consulte Ler dados compartilhados usando o compartilhamento aberto Delta Sharing (para destinatários).
Permissões necessárias
Para poder listar e view detalhes sobre todos os provedores e compartilhamentos de provedores, você deve ser um administrador de metastore ou ter o privilégio USE PROVIDER. Outros usuários têm acesso apenas aos provedores e compartilhamentos de sua propriedade.
Para criar um catálogo a partir de um compartilhamento de provedor, você deve ser um administrador metastore, um usuário que tenha os privilégios CREATE_CATALOG e USE PROVIDER para seu metastore Unity Catalog ou um usuário que tenha o privilégio CREATE_CATALOG e a propriedade de o objeto provedor.
A capacidade de conceder acesso somente leitura aos esquemas (bancos de dados), tabelas, view e volumes no catálogo criado a partir do compartilhamento segue a hierarquia de privilégios típica Unity Catalog . A capacidade de view Notebook no catálogo criado a partir do compartilhamento requer o privilégio USE CATALOG no catálogo. Consulte gerenciar permissões para esquemas, tabelas e volumes em um catálogo Delta Sharing .
Acessar dados em uma tabela ou volume compartilhado
Para ler dados em uma tabela ou volume compartilhado:
Um usuário privilegiado deve criar um catálogo do compartilhamento que contém a tabela ou volume. Pode ser um administrador do metastore, um usuário que tenha os privilégios
CREATE_CATALOGeUSE PROVIDERpara seu metastore Unity Catalog ou um usuário que tenha o privilégioCREATE_CATALOGe a propriedade do objeto provedor.Esse usuário ou um usuário com os mesmos privilégios deve conceder acesso à tabela ou volume compartilhado.
Você pode acessar a tabela ou o volume da mesma forma que faria com qualquer outro ativo de dados registrado no metastore do Unity Catalog.
Criar um catálogo a partir de um compartilhamento
Para tornar os dados de um compartilhamento acessíveis à sua equipe, você deve criar um catálogo a partir do compartilhamento. Para criar um catálogo a partir de um compartilhamento, você pode usar o Catalog Explorer, a CLI Unity Catalog ou comandos SQL em um Notebook do Databricks ou no editor query Databricks SQL .
Permissões necessárias: um administrador de metastore, um usuário que tenha os privilégios CREATE_CATALOG e USE PROVIDER para seu metastore Unity Catalog ou um usuário que tenha o privilégio CREATE_CATALOG e a propriedade do objeto provedor.
Observação
Se o compartilhamento incluir view, você deverá usar um nome de catálogo diferente do nome do catálogo que contém a view no metastore do provedor.
No seu workspace do Databricks, clique em
Catálogo.No painel esquerdo, expanda o menu Delta compartilhamento e selecione Compartilhado comigo.
Na tab Provedores , selecione o provedor.
Na tab Compartilhamentos , localize o compartilhamento e clique em Criar catálogo na linha de compartilhamento.
Insira um nome para o catálogo e um comentário opcional.
Clique em Criar.
execução do seguinte comando em um Notebook ou no editor query Databricks SQL .
CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
databricks unity-catalog catalogs create --name <catalog-name> /
--provider <provider-name> /
--share <share-name>
O catálogo criado a partir de um compartilhamento possui um tipo de catálogo Delta Sharing. Você pode view o tipo na página de detalhes do catálogo no Catalog Explorer ou executando o comando SQL DESCRIBE CATALOG em uma Notebook consulta ou do Databricks SQL Databricks. Todos os catálogos compartilhados estão listados em Catálogo > Compartilhado no painel esquerdo do Catalog Explorer.
Um catálogo de compartilhamento Delta pode ser gerenciado da mesma forma que os catálogos regulares em um metastore do Catálogo Unity. Você pode view, atualizar e excluir um catálogo de compartilhamento Delta usando o Catalog Explorer, a CLI do Databricks e usando comandos SQL SHOW CATALOGS, DESCRIBE CATALOG, ALTER CATALOG e DROP CATALOG.
A estrutura de namespace de três níveis em um catálogo Delta Sharing criado a partir de um compartilhamento é a mesma de um catálogo normal no Unity Catalog: catalog.schema.table ou catalog.schema.volume.
Os dados de tabelas e volumes em um catálogo compartilhado são somente leitura, o que significa que você pode realizar operações de leitura como:
DESCRIBE,SHOWeSELECTpara tabelas.DESCRIBE VOLUME,LIST <volume-path>,SELECT * FROM <format>.'<volume_path>'eCOPY INTOpara volumes.
Notebook em um catálogo compartilhado pode ser visualizado e clonado por qualquer usuário com USE CATALOG no catálogo.
Gerenciar permissões para esquemas, tabelas e volumes em um catálogo Delta Sharing
Por default, o criador do catálogo é o proprietário de todos os objetos de dados em um catálogo de compartilhamento Delta e pode gerenciar permissões para qualquer um deles.
Os privilégios são herdados descendentemente, embora alguns workspace ainda possam estar no modelo de segurança herdado que não fornecia herança. Consulte Modelo de herança. Qualquer usuário com o privilégio SELECT no catálogo terá o privilégio SELECT em todos os esquemas e tabelas do catálogo, a menos que esse privilégio seja revogado. Da mesma forma, qualquer usuário com o privilégio READ VOLUME no catálogo terá o privilégio READ VOLUME em todos os volumes do catálogo, a menos que esse privilégio seja revogado. Você não pode conceder privilégios que concedam acesso de gravação ou atualização a um catálogo Delta Sharing ou a objetos em um catálogo Delta Sharing .
O proprietário do catálogo pode delegar a propriedade de objetos de dados a outros usuários ou grupos, concedendo a esses usuários a capacidade de gerenciar as permissões e os ciclos de vida do objeto.
Para obter informações detalhadas sobre como gerenciar privilégios em objetos de dados usando Unity Catalog, consulte Gerenciar privilégios no Unity Catalog.
Consultar os dados históricos de uma tabela
Se a história for compartilhada junto com a tabela, o senhor poderá consultar os dados da tabela a partir de uma versão ou carimbo de data/hora. É necessário o site Databricks Runtime 12.2 LTS ou acima.
Por exemplo:
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";
Além disso, se o feed de dados alterados (CDF) estiver ativado com a tabela, você poderá query o CDF. Tanto a versão quanto o timestamp são suportados:
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");
Para obter mais informações sobre o feed de dados de alteração, consulte Usar o feed de dados de alteração do Delta Lake no Databricks.
Consultar uma tabela usando Apache Spark transmitida estruturada
Se uma tabela for compartilhada com o histórico, o senhor poderá usá-la como fonte para Spark transmissão estructurada. É necessário o site Databricks Runtime 12.2 LTS ou acima.
Opções suportadas:
ignoreDeletes: Ignore as transações que excluem dados.ignoreChanges: reprocesse as atualizações se os arquivos foram reescritos na tabela de origem devido a operações de alteração de dados, comoUPDATE,MERGE INTO,DELETE(dentro das partições) ouOVERWRITE. Linhas inalteradas ainda podem ser emitidas. Portanto, seus consumidores downstream devem ser capazes de lidar com duplicatas. As exclusões não são propagadas a jusante.ignoreChangessubsumeignoreDeletes. Portanto, se você usarignoreChanges, sua transmissão não será interrompida por exclusões ou atualizações na tabela de origem.startingVersion: a versão da tabela compartilhada a partir da qual começar. Todas as alterações de tabela a partir desta versão (inclusive) serão lidas pela fonte da transmissão.startingTimestamp: O carimbo de data/hora a partir do qual começar. Todas as alterações de mesa confirmadas no ou após o carimbo de data/hora (inclusive) serão lidas pela fonte de transmissão. Exemplo:"2023-01-01 00:00:00.0"maxFilesPerTrigger: O número de novos arquivos a serem considerados em todos os micro-lotes.maxBytesPerTrigger: A quantidade de dados que é processada em cada micro-lote. Esta opção define um “soft max”, significando que um lote processa aproximadamente esta quantidade de dados e pode processar mais do que o limite para fazer a query transmitida avançar nos casos em que a menor unidade de entrada for maior que este limite.readChangeFeed: transmissão lê o feed de dados alterados da tabela compartilhada.
Opções não suportadas:
Trigger.availableNow
Exemplo queryestruturada transmitida
spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")
spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")
Se o feed de dados alterados (CDF) estiver ativado com a tabela, você poderá ler o CDF por transmissão.
spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")
Ler tabelas com vetores de exclusão ou mapeamento de colunas ativado
Visualização
Este recurso está em visualização pública.
Os vetores de exclusão são um recurso de otimização de armazenamento que seu provedor pode ativar em tabelas Delta compartilhadas. Consulte O que são vetores de exclusão?
O Databricks também oferece suporte ao mapeamento de colunas para tabelas Delta. Consulte Renomear e soltar colunas com o mapeamento de colunas do Delta Lake.
Se o provedor compartilhou uma tabela com vetores de exclusão ou mapeamento de coluna ativado, o senhor pode realizar leituras de lotes na tabela usando um SQL warehouse ou um cluster executando Databricks Runtime 14.1 ou acima. As consultas de CDF e transmissão exigem o site Databricks Runtime 14.2 ou superior.
O senhor pode realizar muitas consultas como estão, porque elas podem resolver automaticamente responseFormat com base no recurso de tabela da tabela compartilhada.
Para ler um feed de dados de alteração (CDF) ou para realizar consultas de transmissão em tabelas compartilhadas com vetores de exclusão ou mapeamento de coluna ativados, o senhor deve definir a opção adicional responseFormat=delta.
Os exemplos a seguir mostram consultas de lotes, CDF e transmissão:
import org.apache.spark.sql.SparkSession
// Batch query
spark.read.format("deltaSharing").table(<tableName>)
// CDF query
spark.read.format("deltaSharing")
.option("readChangeFeed", "true")
.option("responseFormat", "delta")
.option("startingVersion", 1)
.table(<tableName>)
// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)
Ler Notebookcompartilhado
Para visualizar e clonar arquivos compartilhados Notebook , você pode usar o Catalog Explorer.
Permissões necessárias: Proprietário ou usuário do catálogo com o privilégio USE CATALOG no catálogo criado a partir do compartilhamento.
No seu workspace do Databricks, clique em
Catálogo.No painel esquerdo, expanda o menu Catálogo , encontre e selecione o catálogo criado a partir do compartilhamento.
Na tab Outros ativos , você verá todos os arquivos Notebook compartilhados.
Clique no nome de um arquivo Notebook compartilhado para visualizá-lo.
(Opcional) Clique no botão Clonar para importar o arquivo Notebook compartilhado para sua workspace.
Na caixa de diálogo Clonar para , insira opcionalmente um Novo nome e selecione a pasta workspace para a qual deseja clonar o arquivo Notebook .
Clique em Clonar.
Depois que o Notebook for clonado, uma caixa de diálogo será exibida para informar que ele foi clonado com sucesso. Clique em revelar no editor Notebook na caixa de diálogo para view -lo no editor Notebook .
Consulte Introdução ao NotebookDatabricks.
