Conecte-se ao serviço e armazenamento de objetos cloud usando Unity Catalog

Este artigo apresenta uma visão geral das conexões de armazenamento cloud que são necessárias para trabalhar com o uso de dados Unity Catalog, juntamente com informações sobre como o Unity Catalog rege o acesso ao armazenamento cloud e ao serviço externo cloud.

Observação

Se seu workspace foi criado antes de 8 de novembro de 2023, ele pode não estar habilitado para o Unity Catalog. Um administrador de conta deve habilitar o Unity Catalog para seu workspace. Consulte Ativar um workspace para o Unity Catalog.

Como o Unity Catalog usa o armazenamento em nuvem?

Databricks recomenda usar o site Unity Catalog para gerenciar o acesso a todos os dados que o senhor armazenou no armazenamento de objetos cloud. Unity Catalog fornece um conjunto de ferramentas para configurar conexões seguras com o armazenamento de objetos cloud. Essas conexões fornecem acesso para concluir as seguintes ações:

  • Ingerir dados brutos em um lakehouse.

  • Crie e leia tabelas gerenciais e volumes gerenciais de dados não estruturados no armazenamento do Unity Catalog-gerenciar cloud.

  • Registre ou crie tabelas externas contendo dados tabulares e volumes externos contendo dados não estruturados no armazenamento cloud que é gerenciado usando seu provedor cloud.

  • Ler e gravar dados não estruturados (como volumes do Unity Catalog).

Para ser mais específico, o site Unity Catalog usa o armazenamento cloud de duas maneiras principais:

  • locais de armazenamento padrão (ou "gerenciar") para tabelas gerenciar e volumes gerenciar (dados não estruturados e não tabulares) que o senhor cria em Databricks. Esses locais de armazenamento gerencial podem ser definidos no nível do metastore, do catálogo ou do esquema. O senhor cria locais de armazenamento gerenciados em seu provedor cloud, mas o ciclo de vida deles é totalmente gerenciado pelo Unity Catalog.

  • Locais de armazenamento onde tabelas e volumes externos são armazenados. São tabelas e volumes cujo acesso a partir de Databricks é gerenciado por Unity Catalog, mas cujo ciclo de vida de dados e disposição de arquivos são gerenciados usando seu provedor cloud e outras plataformas de dados. Normalmente, o usuário usa tabelas externas para registrar grandes quantidades de dados existentes em Databricks ou se também precisar de acesso de gravação às ferramentas de uso de dados fora de Databricks.

Para obter mais informações sobre gerenciar versus tabelas e volumes externos, consulte O que são tabelas e visualizações? e What are Unity Catalog volumes (O que são volumes do Unity Catalog?).

Aviso

Não dê aos usuários finais acesso em nível de armazenamento às tabelas ou volumes gerenciados pelo Unity Catalog. Isso compromete a segurança e a governança dos dados.

Evite conceder aos usuários acesso direto aos buckets do Amazon S3 ou do Cloudflare R2 que são usados como armazenamento gerenciado do Unity Catalog. A única identidade que deve ter acesso aos dados gerenciados pelo Unity Catalog é a identidade usada pelo Unity Catalog. Ignorar isso cria os seguintes problemas em seu ambiente:

  • Os controles de acesso estabelecidos no Unity Catalog podem ser contornados por usuários que têm acesso direto a buckets S3 ou R2.

  • Auditoria, linhagem e outros recursos de monitoramento do Unity Catalog não capturarão o acesso direto.

  • O ciclo de vida dos dados está quebrado. Ou seja, modificar, excluir ou evoluir tabelas no Databricks interromperá os consumidores que têm acesso direto ao armazenamento, e gravações fora do Databricks podem resultar em corrupção de dados.

Quais provedores de armazenamento em nuvem são compatíveis?

O Databricks na AWS oferece suporte aos buckets AWS S3 e Cloudflare R2 como locais de armazenamento em nuvem para ativos de dados registrados no Unity Catalog. O R2 é destinado principalmente a casos de uso nos quais você deseja evitar taxas de saída de dados, como Delta Sharing entre nuvens e regiões. Para obter mais informações, consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

Como o Unity Catalog controla o acesso ao armazenamento em nuvem?

Para gerenciar o acesso ao armazenamento cloud subjacente que contém tabelas e volumes, o Unity Catalog usa um objeto seguro chamado local externo, que define um caminho para um local de armazenamento cloud e as credenciais necessárias para acessar esse local. Essas credenciais são, por sua vez, definidas em um objeto seguro do Unity Catalog chamado credencial de armazenamento. Ao conceder e revogar o acesso a locais externos seguros em Unity Catalog, o senhor controla o acesso aos dados no local de armazenamento cloud. Ao conceder e revogar o acesso a credenciais de armazenamento seguras no Unity Catalog, o senhor controla a capacidade de criar objetos de localização externa.

Para obter detalhes, consulte gerenciar o acesso ao armazenamento cloud usando Unity Catalog.

Acesso baseado em caminho ao armazenamento em nuvem

Embora o site Unity Catalog ofereça suporte ao acesso baseado em caminho a tabelas externas e volumes externos usando URIs de armazenamento cloud, o site Databricks recomenda que os usuários leiam e gravem todas as tabelas Unity Catalog usando nomes de tabelas e acessem dados em volumes usando caminhos /Volumes. Os volumes são o objeto seguro que a maioria dos usuários do Databricks deve usar para interagir diretamente com dados não tabulares no armazenamento de objetos do cloud. Consulte O que são volumes do Unity Catalog?

Como o site Unity Catalog regula o acesso a outros serviços do cloud?

Unity Catalog controla o acesso ao serviço de não armazenamento usando um objeto seguro chamado credencial de serviço. Uma credencial de serviço encapsula uma credencial de longo prazo cloud que fornece acesso a um serviço externo ao qual os usuários precisam se conectar em Databricks.

As credenciais de serviço não se destinam a controlar o acesso ao armazenamento cloud que é usado como local de armazenamento gerenciar Unity Catalog ou local de armazenamento externo. Para esses casos de uso, use uma credencial de armazenamento, conforme descrito em Como o Unity Catalog controla o acesso ao armazenamento em nuvem?

Observação

As credenciais de serviço são a alternativa Unity Catalog ao perfil de instância, com a vantagem de que o acesso não está vinculado a um recurso compute específico, mas sim a usuários, grupos ou entidades de serviço.

Para obter detalhes, consulte:

Próximos passos

Se o senhor estiver começando a usar o Unity Catalog como administrador, consulte:

Se o senhor for um novo usuário e o seu workspace já estiver habilitado para Unity Catalog, consulte:

Para saber mais sobre como gerenciar o acesso ao armazenamento cloud, consulte:

Para saber mais sobre como gerenciar o acesso ao cloud serviço, consulte: