gerenciar Unity Catalog metastores

Este artigo mostra como atualizar, excluir e gerenciar o comportamento dos Unity Catalog metastores em seu Databricks account.

Para saber mais sobre os metastores do Unity Catalog e como criá-los, consulte Criar um metastore do Unity Catalog.

Permitir que um metastore seja atribuído automaticamente a um novo espaço de trabalho

Para atribuir um metastore Unity Catalog existente automaticamente a um novo espaço de trabalho na região desse metastore, um administrador do account pode ativar a atribuição automática do workspace para o metastore. Se essa configuração não for selecionada, o administrador que criar um workspace na mesma região que o metastore deverá habilitar manualmente o workspace para Unity Catalog e selecionar o metastore em um menu suspenso.

Antes de um administrador do account ativar essa opção, ele deve entender os seguintes impactos no novo espaço de trabalho:

• Será criado um catálogoworkspace e todos os usuários do workspace terão os privilégios necessários para criar objetos nele. Consulte Ativação automática do Unity Catalog.

• os administradores do workspace terão as permissões necessárias para criar objetos protegíveis no nível do metastore, como catálogos e locais externos. Veja os privilégios de administrador do espaço de trabalho quando o espaço de trabalho é ativado automaticamente para Unity Catalog .

• Se o armazenamento em nível de metastore já estiver ativado para o metastore, o site workspace poderá usar esse armazenamento. Consulte Especificar um local de armazenamento gerenciar em Unity Catalog.

• Se um administrador de metastore for definido para o metastore, ele poderá gerenciar o acesso a todos os objetos seguros em todos os espaços de trabalho anexados ao metastore. Consulte administradores do Metastore.

• A configuração Delta Sharing (ativada ou desativada) do metastore será aplicada a todos os espaços de trabalho anexados ao metastore. Consulte Configurar Delta Sharing para seu account (para provedores).

Para ativar a atribuição automática:

1. Como administrador do account, acesse o console Databricks account .

2. Clique em Catalog.

3. Selecione sua metastore.

4. Em Configuração tab, em atribuição de espaço de trabalho, selecione Atribuir automaticamente um novo espaço de trabalho em <region> a este metastore.

5. Na caixa de diálogo de confirmação, clique em Ativar atribuição automática.

Adicionar armazenamento gerenciar a um metastore existente

O armazenamento gerenciado no nível do metastore é opcional e não está incluído nos metastores criados automaticamente. Talvez o senhor queira adicionar armazenamento em nível de metastore ao seu metastore se preferir um modelo de isolamento de dados que armazene dados centralmente para vários espaços de trabalho. O senhor precisa de armazenamento em nível de metastore se for um Databricks parceiro que usa locais de preparação pessoais.

Consulte também Especificar um local de armazenamento gerenciar em Unity Catalog.

Requisitos

• O senhor deve ter pelo menos um workspace anexado ao metastore Unity Catalog.

• São necessárias permissões do Databricks:

  • Para criar um local externo, você deve ser administrador ou usuário da metastore com os privilégios CREATE EXTERNAL LOCATION e CREATE STORAGE CREDENTIAL.

  • Para adicionar o local de armazenamento à definição do metastore, o senhor deve ser um administrador do account.

• AWS Permissões necessárias: a capacidade de criar S3 buckets, IAM role, IAM policies eaccount trust relationships.

o passo 1: Criar o local de armazenamento

Siga as instruções do passo 1 (opcional): Crie um bucket S3 para armazenamento gerenciar em nível de metastore em AWS para criar um bucket S3 dedicado em um AWS account na mesma região que seu metastore.

o passo 2: Criar um local externo em Unity Catalog

Neste passo, o senhor cria um local externo em Unity Catalog que representa o bucket que acabou de criar.

1. Abra o site workspace que está anexado ao metastore.

2. Clique em Catálogo para abrir o Catalog Explorer.

3. Clique no botão + Adicionar e selecione Adicionar um local externo.

4. Na caixa de diálogo Criar um novo local externo, clique em AWS Quickstart (Recomendado) e clique em Next.

   O AWS Quickstart configura o local externo e cria uma credencial de armazenamento para o senhor. Se o senhor optar por usar a opção Manual, deverá criar manualmente um IAM role que dê acesso ao bucket S3 e criar a credencial de armazenamento em Databricks.

5. Na caixa de diálogo Create external location with Quickstart (Criar local externo com início rápido ), digite o caminho para o bucket S3 no campo Bucket Name (Nome do bucket ).

6. Clique em Generate new tokens (Gerar novos tokens ) para gerar o access token pessoal que o senhor usará para se autenticar entre Databricks e seu AWS account.

7. Copie os tokens e clique em Launch in Quickstart.

8. No padrão AWS CloudFormation que é iniciado (rótulo Quick create stack) , cole os tokens no campoDatabricks account Credentials (Credenciais da conta ).

9. Aceite os termos na parte inferior da página(reconheço que o AWS CloudFormation pode criar o recurso IAM com nomes personalizados).

10. Clique em Criar pilha.

    Pode levar alguns minutos para que o padrão CloudFormation termine de criar o objeto de localização externa em Databricks.

11. Retorne ao site Databricks workspace e acesse o painel External locations (Locais externos ) no Catalog Explorer.

    No painel esquerdo do Catalog Explorer, role para baixo e clique em Dados externos > Locais externos.

12. Confirme se um novo local externo foi criado.

    Locais externos gerados automaticamente usam a sintaxe de nomenclatura db_s3_external_databricks-S3-ingest-<id>.

13. Conceda a si mesmo o privilégio CREATE MANAGED STORAGE no local externo.

    1. Clique no nome do local externo para abrir o painel de detalhes.

    2. Em Permissions (Permissões ) tab, clique em Grant (Conceder).

    3. Na caixa de diálogo Concessão em <external location>, selecione você mesmo no campo Diretores e selecione CREATE MANAGED STORAGE.

    4. Clique em Conceder.

o passo 3: Adicionar o local de armazenamento ao metastore

Depois de criar um local externo que represente o bucket de armazenamento do metastore, você pode adicioná-lo ao metastore.

1. Como administrador da conta, faça login no console da conta.

2. Clique em Catalog.

3. Clique no nome da metastore.

4. Confirme se você é o administrador do Metastore.

   Se não estiver, clique em Editar e designe-se como administrador da metastore. Você pode cancelar a atribuição ao concluir esse procedimento.

5. Em Configuration tab, ao lado de S3 bucket path, clique em Set.

6. Na caixa de diálogo Set metastore root (Definir raiz do metastore ), digite o caminho do bucket S3 que o senhor usou para criar o local externo e clique em Update (Atualizar).

   Você não pode modificar esse caminho depois de defini-lo, mas pode removê-lo e adicionar um novo caminho, se necessário.

Remova o armazenamento em nível de metástore

Se o senhor tiver armazenamento no nível do metastore para gerenciar tabelas e volumes (também conhecido como raiz de armazenamento do metastore), mas quiser impor o isolamento do armazenamento de dados no nível do catálogo ou do esquema, poderá remover a opção de armazenamento no nível do metastore para o metastore. Quando você faz isso, acontece o seguinte:

• Os catálogos existentes que não têm raiz de armazenamento especificada recebem o local de armazenamento em nuvem da raiz de armazenamento do metastore como local de armazenamento gerenciar em nível de catálogo. Em outras palavras, a raiz de armazenamento do metastore é “empurrada para baixo” para esses catálogos. O acesso aos dados nesses catálogos continua funcionando sem interrupção.

• Dependendo de como o metastore foi criado, pode não haver um local externo seguro definido no Unity Catalog para a raiz de armazenamento do metastore. Nesse caso, um novo local externo e a credencial de armazenamento associada são criados para ele. O novo local externo é denominado prior_metastore_root_location por default.

• Sempre que um usuário cria um catálogo, ele deve fornecer um local de armazenamento dedicado que é registrado no Unity Catalog como um local externo.

Observação

Se o senhor usa o site Delta Sharing para compartilhar o Notebook e usou a raiz do metastore como armazenamento compartilhado do Notebook, deverá fazer o seguinte antes de remover a raiz do metastore:

1. Remova o Notebook do compartilhamento.

2. Adicione novamente o Notebook usando um local de armazenamento dedicado.

Consulte Adicionar arquivos do Notebook a um compartilhamento.

Para remover a raiz de armazenamento do metastore:

1. Como administrador da conta, faça login no console da conta.

2. Clique em Catalog.

3. Clique no nome da metastore.

4. Na página de configuração tab, em S3 bucket path, clique no botão Remove (Remover ).

5. Na caixa de diálogo de confirmação, clique em Remover.

Adicionar um administrador da metastore

Os administradores da Metastore são opcionais, mas há situações em que você pode querer um para sua metastore. Consulte Atribuir um administrador de metastore.

Excluir uma metastore

Se o senhor estiver fechando seu Databricks account ou tiver outro motivo para excluir o acesso aos dados gerenciados pelo seu Unity Catalog metastore, poderá excluir o metastore.

Aviso

Todos os objetos gerenciados pelo metastore ficarão inacessíveis usando o espaço de trabalho Databricks. Essa ação não pode ser desfeita.

Os dados e metadados da tabela gerenciar serão excluídos automaticamente após 30 dias. Os dados da tabela externa em seu armazenamento cloud não são afetados pela exclusão do metastore.

Para excluir uma metastore:

1. Como administrador do metastore, acesse log in no consoleaccount .

2. Clique em Catalog.

3. Clique no nome da metastore.

4. No site Configuration tab, clique no menu de três botões no canto superior direito e selecione Delete (Excluir).

5. Na caixa de diálogo de confirmação, insira o nome da metastore e clique em Excluir.