Faça upgrade de um espaço de trabalho Databricks para Unity Catalog
Esta página apresenta uma visão geral de como fazer upgrade de um site que não sejaUnity Catalog workspace para Unity Catalog. Ele também fornece instruções para migrar do legado workspace-local Hive metastore.
Visão geral das etapas de atualização
Para atualizar para o Unity Catalog, o senhor deve:
- provisionamento de identidades (usuários, grupos e entidades de serviço) diretamente no seu site Databricks account, se o senhor ainda não estiver fazendo isso. Desative qualquer provisionamento de identidade no nível workspace.
- Converta todos os grupos workspace-local em grupos de nível account. Unity Catalog centraliza o gerenciamento de identidade no nível account.
- Anexe o site workspace a um metastore Unity Catalog. Se não houver um metastore para a região workspace, um administrador do account deverá criar um.
- Atualize as tabelas e visualize gerenciar em Hive metastore para Unity Catalog.
- Conceda a usuários, grupos ou entidades de serviço de nível accountacesso às tabelas atualizadas.
- Atualize as consultas e o Job para fazer referência às novas tabelas Unity Catalog em vez das antigas tabelas Hive metastore.
- Desative o site Hive metastore. Consulte Desativar o acesso ao Hive metastore usado pelo seu Databricks workspace .
Antes de começar
Antes de começar, o senhor deve se familiarizar com os conceitos básicos do Unity Catalog, incluindo metastores e armazenamento gerenciado. Consulte O que é o Unity Catalog?
Você também deve confirmar que atende aos seguintes requisitos:
- Para a maioria das etapas de configuração, o senhor deve ser um administrador do Databricks account . Para qualquer tarefa a seguir para a qual existam outros requisitos de permissão, eles estão listados na documentação específica da tarefa.
- Seu Databricks account deve estar no plano Premium.
provisionamento de usuários, grupos e entidades de serviço para o seu account
Unity Catalog faz referência a account-level identities. Antes de anexar um metastore ao seu site workspace, o senhor deve fazer o seguinte:
-
Se estiver usando o site SCIM para provisionar usuários, grupos e entidades de serviço do IdP para o site workspace, desative-o e configure o provisionamento para o site Databricks account . Consulte Atribuir usuários a Databricks e Identidades.
-
Atualize qualquer automação que tenha sido configurada para gerenciar usuários, grupos e entidades de serviço, como os conectores de provisionamento SCIM e a automação Terraform, para que se refiram ao endpoint account em vez do endpoint workspace. Consulte account-level e workspace-level provisionamento.SCIM
Converter workspace-local groups para account-level groups
Consulte Migrar workspacegrupos -local para accountgrupos.
Anexe seu site workspace a um metastore
Se o seu workspace não estiver habilitado para Unity Catalog (anexado a um metastore), a próxima etapa dependerá de o senhor já ter ou não um metastore Unity Catalog definido para a sua região workspace:
- Se o seu account já tiver um metastore Unity Catalog definido para a sua região workspace, o senhor pode simplesmente anexar o seu workspace ao metastore existente. Acesse Enable a workspace for Unity Catalog.
- Se não houver um metastore Unity Catalog definido para a região workspace, o senhor deverá criar um metastore e, em seguida, anexar o workspace. Vá para Criar um metastore do Unity Catalog.
Atualize as tabelas em seu site Hive metastore para tabelas Unity Catalog
Se o seu workspace estava em serviço antes de ser habilitado para Unity Catalog, ele tem um Hive metastore que provavelmente contém dados que o senhor deseja continuar a usar. Databricks recomenda que o senhor atualize as tabelas gerenciadas pelo Hive metastore para o metastore Unity Catalog.
O senhor pode fazer upgrade gradualmente, federando seu Hive metastore. Veja a próxima seção.
O senhor pode atualizar as tabelas diretamente usando as instruções em Upgrade a Databricks workspace to Unity Catalog.
(Opcional) Federar seu site Hive metastore para continuar trabalhando com ele
Se o seu workspace tiver um Hive metastore que contenha dados que o senhor queira continuar a usar e optar por não seguir a recomendação de atualizar todas as tabelas gerenciadas pelo Hive metastore para o Unity Catalog metastore, o senhor poderá continuar a trabalhar com os dados no Hive metastore federando-o como um catálogo externo no Unity Catalog. Consulte Hive metastore federation: habilite Unity Catalog para governar tabelas registradas em um Hive metastore.
Conceder acesso a tabelas atualizadas ou federadas
Conceda aos usuários de nível account, grupos ou entidades de serviço acesso às novas tabelas. Consulte gerenciar privilégios em Unity Catalog.
Atualize as consultas e o Job para trabalhar com suas tabelas atualizadas e caminhos para os dados
Enquanto estiver fazendo a transição do workspace-local Hive metastore para o Unity Catalog, o senhor pode continuar a usar consultas e trabalhos que fazem referência aos dados registrados no Hive metastore, usando a federaçãoHive metastore (recomendado) ou a sintaxe descrita em Trabalhar com o legado Hive metastore juntamente com o Unity Catalog. No entanto, eventualmente, o senhor deve atualizar todas as consultas e trabalhos para usar as tabelas e a sintaxe do site Unity Catalog.
Da mesma forma, atualize as consultas e o trabalho que usam acesso baseado em caminho aos arquivos para usar os Unity Catalog volumes.
Para obter recomendações detalhadas, consulte Atualizar trabalho quando o senhor atualizar o espaço de trabalho legado para Unity Catalog.