Criar um local externo para os dados em DBFS root

Este artigo mostra como configurar um local externo em Unity Catalog para controlar o acesso ao seu DBFS root local de armazenamento. Embora o site Databricks recomende que os dados não sejam armazenados no armazenamento DBFS root, é possível que o seu workspace faça isso devido a práticas herdadas.

Os locais externos são objetos protegíveis do Unity Catalog que associam credenciais de armazenamento a contêineres de armazenamento de objetos na nuvem. Os locais externos são usados para definir locais de armazenamento gerenciáveis para tabelas e volumes gerenciáveis e para controlar o acesso aos locais de armazenamento que contêm tabelas externas e volumes externos.

É necessário criar um local externo se o seu workspace-local, legado Databricks Hive metastore armazena dados no DBFS root e o senhor deseja federar seu legado Hive metastore para que sua equipe possa trabalhar com suas tabelas Hive metastore usando o Unity Catalog. Consulte Hive metastore federation: enable Unity Catalog to govern tables registered in a Hive metastore e Enable Hive metastore federation for a legacy workspace Hive metastore .

Antes de começar

Para criar um local externo para o DBFS root, o senhor deve ter uma credencial de armazenamento definida em Unity Catalog que dê acesso ao local de armazenamento em nuvem do DBFS root. Se você ainda não tiver um, o sistema poderá criar um para você durante o processo de criação do local externo.

Requisitos de permissões :

• Você deve ter os privilégios CREATE STORAGE CREDENTIAL e CREATE EXTERNAL LOCATION na metastore. Os administradores de metastore têm esses privilégios em default.

nota

Se já existir uma credencial de armazenamento para o local de armazenamento do DBFS root, o usuário que criar o local externo não precisará de CREATE STORAGE CREDENTIAL, mas precisará de CREATE EXTERNAL LOCATION na credencial de armazenamento e no metastore.

• O senhor deve ser um administrador do workspace para que o sistema crie a credencial de armazenamento para o senhor durante a criação do local externo.

  O senhor não precisa ser um administrador do workspace se já existir uma credencial de armazenamento que dê acesso ao local de armazenamento DBFS root e se o senhor tiver CREATE EXTERNAL LOCATION na credencial de armazenamento e no metastore.

Crie o local externo

O senhor pode usar o Catalog Explorer para criar um local externo para o site DBFS root.

1. Na barra lateral, clique em Catálogo .

2. Clique em Dados externos > e em Criar local externo .

3. Insira um nome de localização externa .

4. Em URL , clique em Copy from DBFS mount e selecione Copy from DBFS root .

   Os campos URL e subcaminho são preenchidos com o caminho de armazenamento em nuvem para o site DBFS root.

important

Ao criar um local externo para o DBFS root, o senhor deve usar o subcaminho para o local DBFS root e não o caminho para o bucket inteiro. O subcaminho é preenchido previamente com user/hive/warehouse, que é um local de armazenamento default para tabelas Hive metastore. Se quiser um controle de acesso mais refinado aos dados em DBFS root, o senhor pode criar locais externos separados para subcaminhos em DBFS root.

5. Selecione uma credencial de armazenamento que conceda acesso ao local de armazenamento em nuvem DBFS root ou, se não houver nenhuma definida, clique em + Criar nova credencial de armazenamento .

   Para criar a credencial de armazenamento, selecione um Credential Type de DBFS root . Uma credencial de armazenamento é criada automaticamente quando você salva o local externo.

6. (Opcional) Adicione um comentário.

7. (Opcional) Clique em Advanced options (Opções avançadas ) e ative o modo fallback .

   O modo fallback destina-se a cenários de migração de cargas de trabalho herdadas. Consulte Ativar o modo de fallback em locais externos.

8. Clique em Criar .

9. Acesse Permissions (Permissões ) tab para conceder permissão para usar o local externo.

   1. Clique em Conceder .
   2. Selecione usuários, grupos ou entidades de serviço no campo Principals (Princípios ) e selecione o privilégio que deseja conceder.
   3. Clique em Conceder .

10. (Opcional) Defina o espaço de trabalho que pode acessar esse local externo.

    Por default, os usuários de qualquer workspace que use esse metastore Unity Catalog podem ter acesso aos dados nesse local. O senhor pode limitar esse acesso a um espaço de trabalho específico. Databricks recomenda limitar o acesso ao site workspace em que o DBFS root está.

    Consulte Vincular um local externo a um ou mais espaços de trabalho.