O que é Unity Catalog?

Este artigo apresenta o Unity Catalog, uma solução de governança unificada para dados e IA ativa no Databricks lakehouse.

Visão geral do Unity Catalog

O Unity Catalog oferece recursos centralizados de controle de acesso, auditoria, linhagem e descoberta de dados nos workspaces do Databricks.

Os principais recursos do Unity Catalog incluem:

• Defina uma vez, proteja em qualquer lugar: o Unity Catalog oferece um local único para administrar políticas de acesso a dados que se aplicam a todos os workspace.

• Modelo de segurança compatível com os padrões: o modelo de segurança do Unity Catalog é baseado no padrão ANSI SQL e permite que os administradores concedam permissões em seu data lake existente usando sintaxe familiar, no nível de catálogos, bancos de dados (também chamados de esquemas), tabelas e exibições.

• Auditoria e linhagem integradas: o Unity Catalog captura automaticamente logs de auditoria no nível do usuário que registram o acesso aos seus dados. O Unity Catalog também captura dados de linhagem que rastreiam como os ativos de dados são criados e usados em todos os idiomas.

• Descoberta de dados: o Unity Catalog permite marcar e documentar ativos de dados e oferece uma interface de pesquisa para ajudar os consumidores de dados a encontrar dados.

• Tabelas do sistema (visualização pública): o Unity Catalog permite que você acesse e query facilmente os dados operacionais da sua account , incluindo logs de auditoria, uso faturável e linhagem.

Como o Unity Catalog governa o acesso aos dados e à IA ativa no armazenamento de objetos em nuvens?

A Databricks recomenda que você configure todo o acesso ao armazenamento de objetos clouds usando o Unity Catalog. Consulte Conectar-se ao armazenamento de objetos clouds usando o Unity Catalog.

O Catálogo do Unity apresenta os seguintes conceitos para gerenciar relacionamentos entre dados em Databricks e armazenamento de objetos clouds :

• As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que fornece acesso ao armazenamento em nuvem. Por exemplo, um IAM role que pode acessar os buckets do S3 ou os tokens de API do Cloudflare R2. Consulte Criar uma credencial de armazenamento para se conectar ao AWS S3 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

• Os locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento em nuvem. Consulte Criar um local externo para conectar o armazenamento em nuvem ao Databricks.

• gerenciar locais de armazenamento associar um local de armazenamento em um bucket S3 ou bucket Cloudflare R2 em seu próprio armazenamento em nuvem account a um metastore, catálogo ou esquema. Os locais de armazenamento gerenciar são usados como default local de armazenamento para tabelas gerenciar e volumes gerenciar. Consulte Especificar um local de armazenamento gerenciar no Unity Catalog.

• Os volumes fornecem acesso a dados não tabulares armazenados em armazenamento de objetos clouds . Consulte Criar e trabalhar com volumes.

• As tabelas fornecem acesso a dados tabulares armazenados em armazenamento de objetos clouds .

Observação

lakehouse Federation fornece integrações com dados em outros sistemas externos. Esses objetos não são apoiados pelo armazenamento de objetos clouds .

O modelo de objeto Unity Catalog

No Unity Catalog, a hierarquia dos objetos de dados primários flui do metastore para a tabela ou volume:

• Metastore: o contêiner de nível superior para metadados. Cada metastore expõe um namespace de três níveis (catalog.schema.table) que organiza seus dados.

• Catálogo: a primeira camada da hierarquia de objetos, usada para organizar seus ativos de dados.

• Esquema: também conhecidos como bancos de dados, os esquemas são a segunda camada da hierarquia de objetos e contêm tabelas e exibições.

• Tabelas, visualizações e volumes: no nível mais baixo da hierarquia de objetos de dados estão tabelas, visualizações e volumes. Os volumes fornecem governança para dados não tabulares.

• Modelos: Embora não sejam, a rigor, dados ativos, os modelos cadastrados também podem ser gerenciados no Unity Catalog e residir no nível mais baixo da hierarquia de objetos.

Esta é uma visão simplificada de objetos protegíveis Unity Catalog. Para obter mais detalhes, consulte Objetos protegíveis no Unity Catalog.

Você faz referência a todos os dados no Unity Catalog usando um namespace de três níveis: catalog.schema.asset, onde asset pode ser uma tabela, view, volume ou modelo.

Metastores

Um metastore é o contêiner de objetos de nível superior no Unity Catalog. Registra metadados sobre dados e IA ativa e as permissões que regem o acesso a eles. Os administradores account do Databricks devem criar um metastore para cada região em que operam e atribuí-los ao workspace do Databricks na mesma região. Para que um workspace use Unity Catalog, ele deve ter um metastore Unity Catalog anexado.

Um metastore pode, opcionalmente, ser configurado com um local de armazenamento gerenciar em um bucket S3 ou bucket Cloudflare R2 em seu próprio armazenamento em nuvem account. Veja gerenciar o armazenamento.

Observação

Este metastore é diferente do Hive metastore incluído nos workspaces do Databricks que não foram habilitados para o Unity Catalog. Se o seu workspace contiver um Hive metastore herdado, os dados desse metastore ainda estarão disponíveis com os dados definidos no Unity Catalog, em um catálogo chamado hive_metastore. Observe que o catálogo hive_metastore não é gerenciado pelo Unity Catalog e não se beneficia do mesmo conjunto de recursos que os catálogos definidos no Unity Catalog.

Consulte Criar um metastore Unity Catalog .

Catálogos

Um catálogo é a primeira camada do namespace de três níveis do Unity Catalog. É usado para organizar seus ativos de dados. Os usuários podem ver todos os catálogos nos quais receberam a permissão de dados USE CATALOG.

Dependendo de como seu workspace foi criado e ativado para Unity Catalog, seus usuários podem ter permissões default em catálogos de provisionamento automático, incluindo o catálogo main ou o catálogo deworkspace (<workspace-name>). Para mais informações, consulte Privilégios de usuário padrão.

Consulte Criar e gerenciar catálogos.

Esquemas

Um esquema (também chamado de banco de dados) é a segunda camada do namespace de três níveis do Unity Catalog. Um esquema organiza tabelas e views. Os usuários podem ver todos os esquemas nos quais receberam a permissão USE SCHEMA, junto com a permissão USE CATALOG no catálogo pai do esquema. Para acessar ou listar uma tabela ou view em um esquema, os usuários também devem ter permissão SELECT na tabela ou view.

Se o seu workspace tiver sido ativado manualmente para Unity Catalog , ele incluirá um esquema default denominado default no catálogo main que pode ser acessado por todos os usuários no seu workspace. Se o seu workspace foi ativado automaticamente para o Unity Catalog e inclui um catálogo <workspace-name>, esse catálogo contém um esquema chamado default que pode ser acessado por todos os usuários no seu workspace.

Consulte Criar e gerenciar esquemas (bancos de dados).

Tabelas

Uma tabela reside na terceira camada do namespace de três níveis do Unity Catalog. Ele contém linhas de dados. Para criar uma tabela, os usuários devem ter as permissões CREATE e USE SCHEMA no esquema e devem ter a permissão USE CATALOG em seu catálogo pai. Para consultar uma tabela, os usuários devem ter a permissão SELECT na tabela, a permissão USE SCHEMA em seu esquema pai e a permissão USE CATALOG em seu catálogo pai.

Uma tabela pode ser gerenciada ou externa.

Tabelas gerenciadas

As tabelas gerenciadas são a maneira padrão de criar tabelas no Unity Catalog. O Unity Catalog gerencia o ciclo de vida e o layout de arquivo dessas tabelas. Você não deve usar ferramentas fora do Databricks para manipular arquivos nessas tabelas diretamente. As tabelas gerenciadas sempre usam o formato de tabela Delta.

Para o espaço de trabalho que foi ativado manualmente para o Unity Catalog, as tabelas gerenciais são armazenadas no local de armazenamento raiz que o senhor configura ao criar um metastore. Opcionalmente, o senhor pode especificar locais de armazenamento de tabelas gerenciais nos níveis de catálogo ou esquema, substituindo o local de armazenamento raiz.

Para o espaço de trabalho que foi ativado automaticamente para o Unity Catalog, o local de armazenamento da raiz do metastore é opcional e as tabelas gerenciais normalmente são armazenadas nos níveis do catálogo ou do esquema.

Quando uma tabela gerenciada é descartada, seus dados subjacentes são excluídos de seu locatário de nuvem em 30 dias.

Consulte Tabelas gerenciadas.

Tabelas externas

Tabelas externas são tabelas cujo ciclo de vida de dados e layout de arquivo não são gerenciados pelo Unity Catalog. Use tabelas externas para registrar grandes quantidades de dados existentes no Unity Catalog ou se você precisar de acesso direto aos dados utilizando ferramentas fora dos clusters no Databricks ou SQL warehouses do Databricks.

Quando você descarta uma tabela externa, o Unity Catalog não exclui os dados subjacentes. Você pode gerenciar privilégios em tabelas externas e usá-los em consultas da mesma forma que as tabelas gerenciadas.

Tabelas externas podem usar os seguintes formatos de arquivo:

• DELTA

• CSV

• JSON

• AVRO

• PARQUET

• ORC

• TEXT

Consulte Tabelas externas.

Views

Uma view é um objeto somente leitura criado a partir de uma ou mais tabelas e view em um metastore. Ele reside na terceira camada do namespace de três níveis do Unity Catalog. Uma view pode ser criada a partir de tabelas e outras view em vários esquemas e catálogos. Você pode criar viewdinâmica para ativar permissões em nível de linha e coluna.

Consulte Criar uma view dinâmica.

Volumes

Um volume reside na terceira camada do namespace de três níveis do Unity Catalog. Os volumes são irmãos de tabelas, view e outros objetos organizados em um esquema no Unity Catalog.

Os volumes contêm diretórios e arquivos para dados armazenados em qualquer formato. Os volumes fornecem acesso não tabular aos dados, o que significa que os arquivos nos volumes não podem ser registrados como tabelas.

• Para criar um volume, os usuários devem ter as permissões CREATE VOLUME e USE SCHEMA no esquema e devem ter a permissão USE CATALOG em seu catálogo pai.

• Para ler arquivos e diretórios armazenados em um volume, os usuários devem ter a permissão READ VOLUME , a permissão USE SCHEMA em seu esquema pai e a permissão USE CATALOG em seu catálogo pai.

• Para adicionar, remover ou modificar arquivos e diretórios armazenados em um volume, os usuários devem ter a permissão WRITE VOLUME , a permissão USE SCHEMA em seu esquema pai e a permissão USE CATALOG em seu catálogo pai.

Um volume pode ser gerenciado ou externo.

Observação

Quando o senhor define um volume, o acesso do URI de nuvens aos dados no caminho do volume é regido pelas permissões do volume.

gerenciar volumes

Gerenciar volumes é uma solução conveniente quando o senhor deseja provisionar um local controlado para trabalhar com arquivos não tabulares.

Os volumes gerenciados armazenam arquivos no local de armazenamento do Unity Catalog default para o esquema no qual estão contidos. Para o espaço de trabalho que foi ativado manualmente para o Unity Catalog, os volumes gerenciados são armazenados no local de armazenamento raiz que o senhor configura ao criar um metastore. Opcionalmente, o senhor pode especificar locais de armazenamento de volume gerenciado nos níveis de catálogo ou esquema, substituindo o local de armazenamento raiz. Para o espaço de trabalho que foi ativado automaticamente para o Unity Catalog, o local de armazenamento da raiz do metastore é opcional, e os volumes gerenciados normalmente são armazenados nos níveis de catálogo ou esquema.

A seguinte precedência governa qual local é usado para um volume gerenciado:

• Localização do esquema

• Localização do catálogo

• Local de armazenamento da raiz do metastore do Unity Catalog

Quando você exclui um volume gerenciado, os arquivos armazenados nesse volume também são excluídos do seu tenant cloud em até 30 dias.

Consulte O que é um volume de gerenciamento?.

volumes externos

Um volume externo é registrado em um local externo do Unity Catalog e fornece acesso a arquivos existentes no armazenamento em cloud sem exigir migração de dados. Os usuários devem ter a permissão CREATE EXTERNAL VOLUME no local externo para criar um volume externo.

Os volumes externos oferecem suporte a cenários em que os arquivos são produzidos por outros sistemas e preparados para acesso de dentro do Databricks usando armazenamento de objeto ou onde as ferramentas fora do Databricks exigem acesso direto ao arquivo.

O Unity Catalog não gerencia o ciclo de vida e disposição dos arquivos em volumes externos. Quando você descarta um volume externo, o Unity Catalog não exclui os dados subjacentes.

Consulte O que é um volume externo?.

modelos

Um modelo reside na terceira camada do namespace de três níveis do Unity Catalog. Nesse contexto, “modelo” refere-se a uma versão do machine learning que está registrada no MLflow Model Registry. Para criar um modelo no Unity Catalog, os usuários devem ter o privilégio CREATE MODEL para o catálogo ou esquema. O usuário também deve ter o privilégio USE CATALOG no catálogo pai e USE SCHEMA no esquema pai.

gerencia armazenamento

Você pode armazenar tabelas de gerenciamento e volumes de gerenciamento em qualquer um destes níveis na hierarquia de objetos Unity Catalog : metastore, catálogo ou esquema. O armazenamento em níveis inferiores na hierarquia substitui o armazenamento definido em níveis superiores.

Quando um administrador do account cria um metastore manualmente, ele tem a opção de atribuir um local de armazenamento em um bucket do S3 ou do Cloudflare R2 em seu próprio armazenamento em nuvem account para usar como armazenamento em nível de metastore para gerenciar tabelas e volumes. Se um local de armazenamento gerenciar no nível do metastore tiver sido atribuído, os locais de armazenamento gerenciar nos níveis do catálogo e do esquema serão opcionais. Dito isso, o armazenamento em nível de metastore é opcional, e a Databricks recomenda atribuir armazenamento gerenciar no nível do catálogo para isolamento lógico dos dados. Consulte os blocos de construção de governança de dados e isolamento de dados.

Importante

Se o seu workspace foi ativado automaticamente para Unity Catalog , o metastore Unity Catalog foi criado sem gerenciar o armazenamento no nível do metastore. Você pode optar por adicionar armazenamento em nível de metastore, mas a Databricks recomenda atribuir o gerenciamento de armazenamento nos níveis de catálogo e esquema. Para obter ajuda para decidir se você precisa de armazenamento no nível do metastore, consulte (Opcional) Criar armazenamento no nível do metastore e Os dados são separados fisicamente no armazenamento.

o armazenamento gerenciado tem as seguintes propriedades:

• gerenciar tabelas e gerenciar volumes armazenar arquivos de dados e metadados em armazenamento gerenciado.

• O gerenciamento de locais de armazenamento não pode se sobrepor a tabelas ou volumes externos.

A tabela a seguir descreve como o armazenamento gerenciado é declarado e associado aos objetos do Unity Catalog:

Objeto Unity Catalog associado	Como definir	Relação com locais externos
metastore	Configurado pelo administrador account durante a criação do metastore ou adicionado após a criação do metastore se nenhum armazenamento tiver sido especificado na criação.	Não pode sobrepor um local externo.
Catálogo	Especificado durante a criação do catálogo usando a palavra-chave MANAGED LOCATION .	Deve estar contido em um local externo.
Esquema	Especificado durante a criação do esquema usando a palavra-chave MANAGED LOCATION .	Deve estar contido em um local externo.

O local de armazenamento gerenciado usado para armazenar dados e metadados para gerenciar tabelas e gerenciar volumes usa as seguintes regras:

• Se o esquema recipiente tiver um local gerenciado, os dados são armazenados no local gerenciado do esquema.

• Se o esquema recipiente não tem uma localização gerenciada mas o catálogo tem uma localização gerenciada, os dados são armazenados no local gerenciado do catálogo.

• Se nem o esquema recipiente nem o catálogo recipiente tiverem uma localização gerenciada, os dados são armazenados na localização gerenciada metastore.

Credenciais de armazenamento e locais externos

Para gerenciar o acesso ao armazenamento clouds subjacente para tabelas externas, volumes externos e armazenamento gerenciado, o Unity Catalog usa os seguintes tipos de objetos:

• As credenciais de armazenamento encapsulam uma credencial de nuvens de longo prazo que fornece acesso ao armazenamento em nuvens, por exemplo, um IAM role que pode acessar buckets S3 ou tokens de API R2 da Cloudflare. Consulte Criar uma credencial de armazenamento para se conectar ao AWS S3 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

• Locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento em nuvem.

Consulte Conectar-se ao armazenamento de objetos clouds usando o Unity Catalog.

Gerenciamento de identidade para Unity Catalog

O Unity Catalog usa as identidades na conta do Databricks para resolver usuários, entidades de serviço e grupos e para impor permissões.

Para configurar identidades na conta, siga as instruções em Gerenciar usuários, entidades de serviço e grupos. Consulte esses usuários, entidades de serviço e grupos quando criar políticas de controle de acesso no Unity Catalog.

Os utilizadores Unity Catalog , entidade de serviço e grupos também devem ser adicionados ao workspace para aceder aos dados Unity Catalog num Notebook, numa query Databricks SQL, no Catalog Explorer ou num comando REST API. A atribuição de usuários, entidades de serviço e grupos ao workspace é chamada de federação de identidades.

Todos os workspaces que têm um metastore do Unity Catalog anexado a eles são habilitados para federação de identidade.

Considerações especiais para grupos

Quaisquer grupos que já existam no workspace são rotulados como Workspace local no console da conta. Esses grupos locais de workspace não podem ser usados no Unity Catalog para definir políticas de acesso. Você deve usar grupos no nível de conta. Se um grupo local de workspace for referenciado em um comando, esse comando retornará um erro informando que o grupo não foi encontrado. Se você usou grupos locais de workspace anteriormente para gerenciar o acesso a notebooks e outros artefatos, essas permissões permanecem em vigor.

Consulte Gerenciar grupos.

Funções de administrador para Unity Catalog

administradores account , administradores de metastore e administradores de workspace estão envolvidos no gerenciamento do Unity Catalog:

Consulte Privilégios de administrador no Unity Catalog.

Permissões de dados no Unity Catalog

No Unity Catalog, os dados são seguros por padrão. Inicialmente, os usuários não têm acesso aos dados em um metastore. O acesso pode ser concedido por um administrador metastore, o proprietário de um objeto ou o proprietário do catálogo ou esquema que contém o objeto. Os objetos protegíveis no Unity Catalog são hierárquicos e os privilégios são herdados para baixo.

Você pode atribuir e revogar permissões usando o Catalog Explorer, comandos SQL ou APIs REST.

Consulte Gerenciar privilégios no Unity Catalog.

Modos de acesso de computação e clusters compatíveis para o Unity Catalog

O Unity Catalog é compatível com clusters que executam o Databricks Runtime 11.3 LTS ouacima. O Unity Catalog é compatível por padrão com todas as versões de computação do SQL warehouse.

Os clusters executados em versões anteriores do Databricks Runtime não oferecem compatibilidade com todos os recursos e funcionalidades do Unity Catalog GA.

Para acessar dados no Unity Catalog, os clusters devem ser configurados com o modo de acesso correto. O Unity Catalog é seguro por default. Se um clusters não estiver configurado com um dos modos de acesso compatíveis com o Unity-Catalog (ou seja, compartilhado ou atribuído), os clusters não poderão acessar dados no Unity Catalog. Consulte Modos de acesso.

Para obter informações detalhadas sobre as alterações de funcionalidade Unity Catalog em cada versão do Databricks Runtime, consulte as notas sobre a versão.

As limitações do Unity Catalog variam de acordo com o modo de acesso e a versão do Databricks Runtime. Consulte Limitações do modo de acesso de computação para o Unity Catalog.

Linhagem de dados para Unity Catalog

O senhor pode usar o Unity Catalog para capturar a linhagem de dados em tempo de execução em consultas em qualquer idioma executadas em clusters do Databricks ou em SQL warehouse. A linhagem é capturada até o nível da coluna e inclui Notebook, fluxo de trabalho e dashboards relacionados à consulta. Para saber mais, consulte Captura e view linhagem de dados usando o Unity Catalog.

Federação Lakehouse e Unity Catalog

lakehouse Federation é a plataforma de federação query para Databricks. O termo federaçãoquery descreve uma coleção de recursos que permitem que usuários e sistemas executem query em várias fontes de dados isoladas sem a necessidade de migrar todos os dados para um sistema unificado.

O Databricks usa o Unity Catalog para gerenciar a federação query . Você usa o Unity Catalog para configurar conexões somente leitura para sistemas de banco de dados externos populares e criar catálogos estrangeiros que espelham bancos de dados externos. As ferramentas de governança de dados e linhagem de dados do Unity Catalog garantem que o acesso aos dados seja gerenciado e auditado para todas query federadas feitas pelos usuários em seu workspace Databricks.

Veja o que é lakehouse Federation.

Como configuro o Unity Catalog para minha organização?

Para saber como configurar o Unity Catalog, consulte Configurar e gerenciar o Unity Catalog.

Regiões suportadas

Todas as regiões suportam o Unity Catalog. Para obter detalhes, consulte clouds e regiões do Databricks.

Formatos de arquivo de dados compatíveis

O Unity Catalog é compatível com os seguintes formatos de tabela:

• As tabelas gerenciadas devem usar o formato de tabela delta.

• As tabelas externas podem usar delta, CSV, JSON, avro, parquet, ORCou text.

Limitações Unity Catalog

O Unity Catalog tem as seguintes limitações.

Observação

Se o seu cluster estiver em execução em uma versão Databricks Runtime abaixo de 11.3 LTS, pode haver limitações adicionais, não listadas aqui. O Unity Catalog é compatível com o Databricks Runtime 11.3 LTS ouacima.

As limitações Unity Catalog variam de acordo com o Databricks Runtime e o modo de acesso. As cargas de trabalho de transmissão estruturada têm limitações adicionais com base no Databricks Runtime e no modo de acesso. Consulte Limitações do modo de acesso de computação para o Unity Catalog.

• As cargas de trabalho em R não suportam o uso de view dinâmica para segurança em nível de linha ou coluna.

• Em Databricks Runtime 13.3 LTS e acima, há suporte para clones rasos para criar tabelas gerenciar Unity Catalog a partir de tabelas gerenciar Unity Catalog existentes. No Databricks Runtime 12.2 LTS e abaixo, não há suporte para clones rasos no Unity Catalog. Consulte Shallow clone para tabelas do Unity Catalog.

• O agrupamento não é compatível com as tabelas do Unity Catalog. Se você executar comandos que tentarem criar uma tabela agrupada no Unity Catalog, isso vai gerar uma exceção.

• Gravar no mesmo caminho ou tabela Delta Lake de workspaces em várias regiões pode levar a um desempenho não confiável se alguns clusters acessarem o Unity Catalog e outros não.

• Esquemas de partição personalizados criados com comandos como ALTER TABLE ADD PARTITION não são suportados para tabelas no Unity Catalog. O Unity Catalog pode acessar tabelas que usam particionamento no estilo de diretório.

• O modo de substituição para operações de gravação de DataFrame no Unity Catalog é suportado somente para tabelas Delta, não para outros formatos de arquivo. O usuário deve ter o privilégio CREATE no esquema pai e deve ser o proprietário do objeto existente ou ter o privilégio MODIFY no objeto.

• Em Databricks Runtime 13.3 LTS e acima, Python há suporte para UDFs escalares. No Databricks Runtime 12.2 LTS e abaixo, o senhor não pode usar UDFs do Python, incluindo UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas).

• No Databricks Runtime 14.2 e acima, os UDFs escalares Scala têm suporte em clusters compartilhados. No Databricks Runtime 14.1 e abaixo, todos os UDFs Scala não são suportados em clusters partilhados.

• Grupos que foram criados anteriormente em um workspace (ou seja, grupos no nível workspace ) não podem ser usados em instruções GRANT Unity Catalog . Isso é para garantir uma view consistente dos grupos que podem abranger todo o espaço de trabalho. Para usar grupos em instruções GRANT, crie seus grupos no nível account e atualize qualquer automação para gerenciamento principal ou de grupo (como conectores SCIM, Okta e Microsoft Entra ID (anteriormente Azure Active Directory) e Terraform) para fazer referência ao endpoint account em vez de ponto final workspace . Consulte Diferença entre grupos de contas e grupos locais de espaço de trabalho.

• Os pools de thread padrão do Scala não são suportados. Em vez disso, use os conjuntos de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, os seguintes conjuntos de thread em ThreadUtils não são suportados: ThreadUtils.newForkJoinPool e qualquer conjunto de threads ScheduledExecutorService.

As seguintes limitações se aplicam a todos os nomes de objetos no Unity Catalog:

• Os nomes dos objetos não podem exceder 255 caracteres.

• Os seguintes caracteres especiais não são permitidos:

  • Período (.)

  • Espaço ( )

  • Barra (/)

  • Todos os caracteres de controle ASCII (00-1F hex)

  • O caractere DELETE (7F hex)

• O Unity Catalog armazena todos os nomes de objetos em letras minúsculas.

• Ao fazer referência a nomes UC em SQL, você deve usar backticks para nomes de escape que contenham caracteres especiais, como hífens (-).

Observação

Os nomes das colunas podem usar caracteres especiais, mas o nome deve ser escapado com acentos graves em todas as instruções SQL se forem usados caracteres especiais. Unity Catalog preserva a capitalização do nome da coluna, mas query nas tabelas Unity Catalog não diferencia maiúsculas de minúsculas.

A Databricks recomenda que você conceda privilégios de gravação em uma tabela apoiada por um local externo no S3 somente se o local externo estiver definido em um único metastore. Você pode usar vários meta-lojas com segurança para ler dados em um único local externo do S3, mas gravações simultâneas no mesmo local do S3 a partir de vários meta-lojas podem levar a problemas de consistência.

Existem limitações adicionais para modelos no Unity Catalog. Consulte Limitações no suporte do Unity Catalog.

cotas de recursos

O Unity Catalog impõe cotas de recursos em todos os objetos protegíveis. Os limites respeitam a mesma organização hierárquica em todo o Unity Catalog. Se você espera exceder esses limites de recursos, entre em contato com a equipe da sua account do Databricks.

Os valores de cota abaixo são expressos em relação ao objeto pai (ou avô) no Unity Catalog.

Objeto	Pai	Valor
mesa	esquema	10000
mesa	metastore	100.000
volume	esquema	10000
função	esquema	10000
modelo registado	esquema	1000
modelo registado	metastore	5000
versão do modelo	modelo registado	10000
versão do modelo	metastore	100.000
esquema	Catálogo	10000
Catálogo	metastore	1000
conexão	metastore	1000
Credencial de armazenamento	metastore	200
localização externa	metastore	500

Para limites Delta Sharing , consulte Cotas de recursos.