Pular para o conteúdo principal

gerenciar o acesso ao armazenamento em nuvem usando Unity Catalog

Este artigo apresenta uma visão geral de como usar o site Unity Catalog para gerenciar o acesso ao armazenamento em nuvem a partir do site Databricks. Ele apresenta os conceitos de local externo , credencial de armazenamento e armazenamento gerencial .

nota

Se o senhor quiser usar o site Unity Catalog para controlar o acesso a um serviço externo em vez do armazenamento em nuvem, consulte Gerenciar o acesso ao serviço externo em nuvem usando credenciais de serviço.

Locais externos e credenciais de armazenamento​

Todos os dados regidos por Unity Catalog devem estar armazenados em nuvem em seu provedor de nuvem account. O Unity Catalog controla o acesso ao armazenamento em nuvem usando um objeto seguro chamado de local externo , que define um caminho para um local de armazenamento em nuvem e as credenciais necessárias para acessar esse local. Essas credenciais são, por sua vez, definidas em um objeto seguro do Unity Catalog chamado credencial de armazenamento . Ao conceder e revogar o acesso a locais externos seguros em Unity Catalog, o senhor controla o acesso aos dados no local de armazenamento em nuvem. Ao conceder e revogar o acesso a credenciais de armazenamento seguras no Unity Catalog, o senhor controla a capacidade de criar objetos de localização externa.

Aqui estão mais detalhes sobre esses dois objetos protegíveis:

  • Uma credencial de armazenamento representa um mecanismo de autenticação e autorização para acessar dados armazenados em sua nuvem tenant, usando um IAM role para buckets S3 ou um token R2 API para buckets R2 da Cloudflare. Os privilégios concedidos no Unity Catalog controlam quais usuários e grupos podem usar a credencial para definir locais externos. A permissão para criar e usar credenciais de armazenamento só deve ser concedida aos usuários que precisam criar objetos de localização externos. Consulte Criar uma credencial de armazenamento para se conectar ao AWS S3 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.
  • Um local externo combina um caminho de armazenamento em nuvem com uma credencial de armazenamento que autoriza o acesso ao caminho de armazenamento em nuvem. Os privilégios concedidos no Unity Catalog controlam quais usuários e grupos podem acessar o caminho de armazenamento em nuvem definido pelo local externo. A permissão para criar e usar locais externos só deve ser concedida a usuários que precisem criar tabelas externas, volumes externos ou gerenciar locais de armazenamento. Consulte Criar um local externo para conectar o armazenamento em nuvem à Databricks.

Os locais externos são usados em Unity Catalog tanto para dados externos ativos, como tabelas externas e volumes externos , quanto para dados gerenciais ativos, como tabelas gerenciais e volumes gerenciais . Para obter mais informações sobre a diferença entre dados externos e gerenciar dados ativos em Unity Catalog, consulte O que é uma tabela? e What are Unity Catalog volumes (O que são volumes do Unity Catalog?).

Para saber mais sobre as práticas recomendadas de uso de locais externos, consulte gerenciar locais externos, tabelas externas e volumes externos.

Usando locais externos ao criar tabelas e volumes externos​

Tabelas externas e volumes externos registrados em Unity Catalog são essencialmente ponteiros para dados no armazenamento em nuvem que o senhor gerencia fora de Databricks. Ao criar uma tabela externa ou um volume externo no Unity Catalog, o senhor deve fazer referência a um caminho de armazenamento em nuvem que esteja incluído em um objeto de local externo no qual lhe foram concedidos privilégios adequados. Para obter mais informações sobre a diferença entre dados externos e gerenciar dados ativos em Unity Catalog, consulte O que é uma tabela? e What are Unity Catalog volumes (O que são volumes do Unity Catalog?). Para obter privilégios, consulte Conceder permissões em um local externo.

Uso de locais externos quando o senhor cria armazenamento gerenciado​

gerenciar tabelas e gerenciar volumes são totalmente gerenciados pelo site Unity Catalog. Eles são armazenados pelo site default em um local de armazenamento gerencial , que pode ser definido no nível do metastore, do catálogo ou do esquema. Quando o senhor atribui um local de armazenamento gerenciar a um metastore, catálogo ou esquema, deve fazer referência a um objeto de local externo e deve ter os privilégios adequados para usá-lo. Consulte Especificar um local de armazenamento gerenciar em Unity Catalog e Unity Catalog práticas recomendadas.

fluxo de trabalho para gerenciar o acesso ao armazenamento em nuvem em Unity Catalog​

Para gerenciar o acesso ao armazenamento em nuvem usando o Unity Catalog, faça o seguinte:

  1. Crie um objeto de credencial de armazenamento que encapsule um IAM role que dê acesso ao caminho de armazenamento em nuvem.
  2. Crie um objeto de localização externa que faça referência ao caminho de armazenamento e ao objeto de credencial de armazenamento.
  3. Faça referência a um caminho incluído no local externo quando o senhor criar tabelas externas, volumes externos ou locais de armazenamento gerenciados pelo default. Esse pode ser o caminho exato definido no local externo ou em um subcaminho.

Próximas etapas​

Última atualização em