gerenciamento versus ativo externo no Unity Catalog
Todos os objetos protegíveis que você registra no Unity Catalog são gerenciados centralmente. Isso significa que o Unity Catalog gerencia os metadados do objeto, permitindo controlar todos os aspectos da governança, incluindo acesso, auditoria e linhagem.
No entanto, para dados ativos como tabelas e volumes, Unity Catalog também pode controlar o local de armazenamento e o ciclo de vida dos arquivos de dados subjacentes em sua account cloud , incluindo como eles são organizados, otimizados e quando são excluídos. Essa distinção é o que separa o gerenciamento dos dados externos ativos.
- Gerenciamento ativo : Unity Catalog controla tanto a governança (controle de acesso, auditoria, linhagem) quanto o ciclo de vida subjacente do armazenamento de arquivos (otimização de arquivos, como eles são organizados e quando são excluídos).
- Ativo externo : Unity Catalog controla apenas a governança. O ciclo de vida do armazenamento de arquivos subjacente é controlado por você ou por um sistema externo.
Ao registrar um gerenciamento ativo no Unity Catalog, você mantém a propriedade total dos seus dados. Os arquivos de dados permanecem sempre na sua account cloud . Unity Catalog determina onde os arquivos são armazenados dentro da sua account , mas não os transfere para Databricks nem os possui.
A distinção entre gerencial e externo aplica-se apenas a tabelas e volumes. Outros objetos protegíveis Unity Catalog , como views, models e functions, não possuem variantes gerenciais e externas.
Resumo das diferenças
A tabela a seguir resume as diferenças entre gerenciar e ativo externo no Unity Catalog:
Unity Catalog tabela ou volume | Tabela externa ou volume | |
|---|---|---|
Localização de armazenamento | Definido pelo Unity Catalog (na sua account cloud ) | Definido por você |
Gerenciamento do ciclo de vida de arquivos | Gerenciado pelo Unity Catalog (otimização, organização, exclusão) | gerenciado por você |
Comportamento de queda | Os arquivos de dados são excluídos permanentemente. | Os arquivos de dados permanecem no mesmo local. |
Propriedade dos dados | Sim | Sim |
Usos da palavra "gerenciar" no Unity Catalog
A palavra "gerenciar" tem múltiplos usos no Unity Catalog. Esta seção resume o significado de "gerenciar" em diferentes contextos.
Quando as pessoas dizem que um objeto é gerenciado pelo Unity Catalog , geralmente querem dizer que Unity Catalog controla o acesso a ele. Isso se aplica a todos os objetos registrados Unity Catalog , incluindo tabelas e volumes externos.
A palavra " gerenciar " em "gerenciar tabela" ou "gerenciar volume" tem um significado mais específico: Unity Catalog determina onde, em sua account cloud , os arquivos de dados subjacentes são armazenados e controla o ciclo de vida dos arquivos (otimização, organização e exclusão). Isso é chamado de gerenciamento de armazenamento . Seus dados permanecem em sua account cloud o tempo todo; Databricks não possui nem armazena seus dados.
A palavra MANAGE também aparece como um privilégio que você pode atribuir a objetos Unity Catalog . Geralmente, MANAGE permite que um usuário atribua ou revogue privilégios, transfira a propriedade e exclua um objeto sem ser o proprietário. See gerenciar.
A tabela a seguir resume esses usos comuns de gerenciar :
Prazo | Significado | Aplica-se a |
|---|---|---|
"gerenciar pelo Unity Catalog" | O Unity Catalog controla o acesso, a auditoria e a linhagem do objeto. | Todos os objetos registrados Unity Catalog , incluindo tabelas externas e volumes. |
gerenciar mesa ou gerenciar volume | Unity Catalog também controla o local de armazenamento subjacente (gerenciar armazenamento) e o ciclo de vida dos dados dentro da sua account cloud . | Somente tabelas e volumes |
Armazenamento gerenciado | Um caminho específico dentro da sua account cloud onde Unity Catalog armazena arquivos de dados para gerenciar tabelas e volumes. O armazenamento gerenciado não é infraestrutura de propriedade Databricks— você configura a localização no nível do metastore, catálogo ou esquema. Consulte Especificar um local de armazenamento gerenciado no Unity Catalog. | Somente tabelas e volumes |
| Um privilégio que permite a um usuário atribuir ou revogar privilégios, transferir a propriedade e excluir um objeto sem ser o proprietário. See gerenciar. | Todos os objetos protegíveis Unity Catalog |
gerenciar e mesas externas
Uma tabela de gerenciamentoUnity Catalog é uma tabela onde Unity Catalog determina o local de armazenamento dos arquivos de dados subjacentes. Unity Catalog armazena tabelas no local de armazenamento definido no esquema, catálogo ou metastore que as contém. Ao excluir uma tabela `ger`, Unity Catalog apaga os arquivos de dados subjacentes. As tabelas usam o formato Delta ou Apache Iceberg .
Uma tabela externa é uma tabela na qual você especifica o local de armazenamento dos arquivos de dados subjacentes. Ao excluir uma tabela externa, o Unity Catalog remove os metadados da tabela do metastore, mas os arquivos de dados subjacentes permanecem no local. As tabelas externas suportam vários formatos, incluindo Delta, CSV, JSON, Avro, Parquet e ORC.
Para obter mais informações sobre tipos de tabela, consulte Tipos de tabela Unity Catalog Databricks.
gerenciar e volumes externos
Um volume gerenciado peloUnity Catalog é um volume onde Unity Catalog determina o local de armazenamento. Unity Catalog armazena automaticamente volumes gerenciais no local de armazenamento gerencial do esquema que os contém, dentro da sua account cloud . Assim como nas tabelas, você mantém a propriedade total dos dados subjacentes. Ao excluir um volume gerenciado, Unity Catalog apaga os arquivos de dados subjacentes.
Um volume externo é um volume no qual você especifica o local de armazenamento. O local deve ser um caminho abrangido por um local externo Unity Catalog . Ao remover um volume externo, o Unity Catalog remove a definição do volume, mas os arquivos de dados subjacentes permanecem no local.
Para obter mais informações sobre volumes, consulte O que são volumes Unity Catalog ?.