gerenciar Delta Sharing provedores (para destinatários de dados)

Este artigo descreve como usar Unity Catalog para obter informações sobre os provedores de dados que estão compartilhando dados com o senhor usando Delta Sharing. Ele também descreve o que é um objeto de provedor e quando o senhor pode precisar criar um objeto de provedor no metastore do Unity Catalog, uma tarefa que a maioria dos destinatários nunca precisará fazer.

Importante

Os destinatários dos dados devem ter acesso a um site Databricks workspace que esteja habilitado para Unity Catalog para usar a funcionalidade descrita neste artigo. Este artigo não se aplica a destinatários que não tenham um espaço de trabalho habilitado para o Unity Catalog.

Os destinatários precisam criar objetos de provedor?

Em Delta Sharing em Databricks, o termo "provedor" pode significar tanto a organização que está compartilhando dados com o senhor quanto um objeto seguro no metastore Unity Catalog de um destinatário que representa essa organização. A existência desse objeto seguro no metastore Unity Catalog de um destinatário permite que os destinatários gerenciem o acesso de sua equipe ao uso compartilhado de dados Unity Catalog.

Como destinatário com acesso a um metastore do Unity Catalog, o senhor normalmente não precisa criar objetos de provedor. Isso ocorre porque os dados devem ser compartilhados com o senhor usando o compartilhamento Databricks-to-Databricks, e os objetos do provedor são criados automaticamente no metastore do Unity Catalog.

Observação

Se o senhor for o raro destinatário em Unity Catalog que está recebendo dados de um provedor que não está compartilhando de um Unity Catalog-enabled Databricks workspace, talvez queira criar objetos de provedor em Unity Catalog para poder gerenciar esse uso compartilhado de dados Unity Catalog. Se o senhor estiver nessa categoria, poderá usar o POST /api/2.1/unity-catalog/providers REST API ou na CLI do Databricks para criar o objeto do provedor do Unity Catalog. O senhor deve ser um administrador do metastore ou um usuário com o privilégio CREATE_PROVIDER para o metastore.

Antes de começar

Para gerenciar provedores em seu site Databricks workspace:

Seu site workspace deve estar habilitado para Unity Catalog.
Para view um provedor, o senhor deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o privilégio USE PROVIDER.
Para criar um provedor, o senhor deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o privilégio CREATE PROVIDER.
Para atualizar um provedor, o senhor deve ser o proprietário do objeto do provedor e ter o privilégio CREATE PROVIDER. Para obter detalhes, consulte Atualizar um provedor (renomear, alterar proprietário, comentar).

Por esse motivo, se o seu workspace foi criado sem um administrador de metastore, um administrador do Databricks account deverá conceder a um usuário ou grupo a função de administrador de metastore antes que o senhor possa trabalhar com objetos de provedor no Databricks. Consulte Ativação automática do Unity Catalog e (Opcional) Atribuir a função de administrador do metastore.

Ver fornecedores

Para view uma lista de provedores de dados disponíveis, o senhor pode usar o Catalog Explorer, o Databricks Unity Catalog CLI, ou o comando SHOW PROVIDERS SQL em um Databricks Notebook ou o editor de consultas Databricks SQL.

Permissões necessárias: O senhor deve ser um administrador do metastore ou ter o privilégio USE PROVIDER para view todos os provedores no metastore. Outros usuários têm acesso apenas aos provedores que possuem.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, view todos os provedores disponíveis.

Execute o seguinte comando em um Notebook ou no editor de consultas Databricks SQL. Opcionalmente, substitua <pattern> por um predicado `LIKE`.

SHOW PROVIDERS [LIKE <pattern>];

execute o seguinte comando usando o Databricks CLI.

databricks providers list

Exibir detalhes do provedor

Para view detalhes sobre um provedor, o senhor pode usar o Catalog Explorer, o Databricks Unity Catalog CLI, ou o comando DESCRIBE PROVIDER SQL em um Databricks Notebook ou o editor de consultas Databricks SQL.

Permissões necessárias: Administrador do metastore, usuário com o privilégio USE PROVIDER ou o proprietário do objeto do provedor.

Os detalhes incluem:

Compartilhamentos compartilhados pelo provedor (consulte Exibir compartilhamentos que um provedor compartilhou com o senhor).
O criador do provedor, o registro de data e hora da criação, os comentários e o tipo de autenticação (TOKEN ou DATABRICKS). TOKEN representa os provedores que compartilharam dados com o senhor usando o protocolo de compartilhamento aberto Delta Sharing. DATABRICKS representa provedores que compartilharam dados com o senhor usando o protocolo de compartilhamento Databricks-to-Databricks.
Se o provedor usar o Databricks-to-Databricks compartilhamento: o cloud, a região e a ID do metastore do Unity Catalog metastore do provedor.
Se o provedor usar compartilhamento aberto: seu endpoint de perfil de destinatário, que é o local onde o servidor de compartilhamento Delta Sharing está hospedado.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.

Execute o seguinte comando em um notebook ou no editor de consultas SQL do Databricks.

DESC PROVIDER <provider-name>;

execute o seguinte comando usando o Databricks CLI.

databricks providers get <provider-name>

Ver as ações que um provedor compartilhou com o senhor

Para view os compartilhamentos que um provedor compartilhou com o senhor, é possível usar o Catalog Explorer, o Databricks Unity Catalog CLI, ou o comando SHOW SHARES IN PROVIDER SQL em um Databricks Notebook ou o editor de consultas Databricks SQL.

Permissões necessárias: Administrador do metastore, usuário com o privilégio USE PROVIDER ou o proprietário do objeto do provedor.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.

Execute o seguinte comando em um Notebook ou no editor de consultas Databricks SQL. Opcionalmente, substitua <pattern> por um predicado `LIKE`.

SHOW SHARES IN PROVIDER [LIKE <pattern>];

execute o seguinte comando usando o Databricks CLI.

 databricks providers list-shares <provider-name>

Atualizar um provedor (renomear, alterar o proprietário, comentar)

O senhor pode usar o Catalog Explorer, o Databricks Unity Catalog CLI, ou o comando ALTER PROVIDER SQL em um Databricks Notebook ou o editor de consultas Databricks SQL para modificar o objeto do provedor em seu Unity Catalog metastore:

Renomeie o provedor para modificar a forma como os usuários veem o objeto do provedor em suas interfaces do Databricks.
Alterar o proprietário do objeto do provedor.
Adicionar ou modificar comentários.

Permissões necessárias: O senhor deve ser o proprietário do objeto do provedor para atualizar o proprietário. O senhor deve ser administrador do metastore (ou usuário com o privilégio CREATE_PROVIDER) e proprietário do provedor para atualizar o nome do provedor. O senhor deve ser o proprietário para atualizar o comentário. O proprietário inicial é o administrador do metastore.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.
Na página de detalhes, atualize o proprietário, o comentário ou o nome do provedor.

Para renomear um provedor, clique no menu kebab e selecione Rename (Renomear).

Execute o seguinte comando em um notebook ou no editor de consultas SQL do Databricks.

ALTER PROVIDER <provider-name> RENAME TO <new-provider-name>
OWNER TO <new-owner>
COMMENT "<comment>";

execute o seguinte comando usando o Databricks CLI. Substitua <provider-name> pelo nome do provedor atual e <new-provider-name> pelo novo nome.

databricks providers update <provider-name> /
--new-name <new-provider-name> /
--comment "<new comment>" /
--owner <new-owner-name>

Excluir um provedor

Para excluir um provedor, o senhor pode usar o Catalog Explorer, o Databricks Unity Catalog CLI, ou o comando DROP PROVIDER SQL em um Databricks Notebook ou o editor de consultas Databricks SQL. O senhor deve ser o proprietário do objeto do provedor para excluir o provedor.

Ao excluir um provedor, o senhor e os usuários da sua organização (o destinatário) não poderão mais acessar os dados compartilhados pelo provedor.

Permissões necessárias: Proprietário do objeto do provedor.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.
Clique no menu kebab e selecione Delete (Excluir).
Na caixa de diálogo de confirmação, clique em Excluir.

Execute o seguinte comando em um notebook ou no editor de consultas SQL do Databricks.

DROP PROVIDER [IF EXISTS] <provider-name>;

execute o seguinte comando usando o Databricks CLI.

databricks providers delete <provider-name>

Se a operação for bem-sucedida, nenhum resultado será retornado.