Requisitos e limitaçõesUnity Catalog

Esta página descreve os requisitos compute , os formatos de arquivo suportados, as restrições de nomenclatura e as limitações conhecidas do Unity Catalog.

Apoio regional

Todas as regiões são compatíveis com Unity Catalog. Para mais detalhes, consulte clouds e regiõesDatabricks.

requisitos de computação

Unity Catalog é compatível com clusters que executam Databricks Runtime 11.3 LTS ou superior. Unity Catalog é suportado por default em todas as versões compute SQL warehouse .

Os clusters executados em versões anteriores do Databricks Runtime não oferecem compatibilidade com todos os recursos e funcionalidades do Unity Catalog GA.

Para acessar os dados no Unity Catalog, os clusters devem ser configurados com o modo de acesso correto. Unity Catalog é seguro por default. Se um cluster não estiver configurado com o modo de acesso padrão ou dedicado, cluster não poderá acessar os dados no Unity Catalog. Consulte Modos de acesso.

Para obter informações detalhadas sobre as alterações de funcionalidade Unity Catalog em cada versão Databricks Runtime , consulte as notas sobre a versão.

Limitações

O Unity Catalog possui as seguintes limitações. Algumas dessas funcionalidades são específicas para versões mais antigas Databricks Runtime e modos de acesso compute .

As cargas de trabalho de transmissão estruturada têm limitações adicionais, dependendo do Databricks Runtime e do modo de acesso. Consulte Requisitos e limitações compute padrão e Requisitos e limitações compute dedicada.

A Databricks lança regularmente novas funcionalidades que reduzem essa lista.

• Grupos que foram previamente criados em um workspace (isto é, grupos de nível workspace ) não podem ser usados em declarações Unity Catalog GRANT . Isso visa garantir uma view consistente dos grupos que podem abranger diferentes espaços de trabalho. Para usar grupos em declarações GRANT , crie seus grupos no nível account e atualize qualquer automação para gerenciamento de principal ou grupo (como conectores SCIM, Okta e Microsoft Entra ID e Terraform) para referenciar o endpoint account em vez do endpoint workspace . Ver fontes do grupo.

• As cargas de trabalho em R não suportam o uso de visualização dinâmica para segurança em nível de linha ou coluna compute que executa Databricks Runtime 15.3 e versões anteriores.

  • Utilize um recurso compute dedicado executando Databricks Runtime 15.4 LTS ou superior para cargas de trabalho em R que consultam visualizações dinâmicas. Essas cargas de trabalho também exigem um workspace habilitado para compute serverless . Para obter detalhes, consulte Controle de acesso granular em computededicada.

• Uma tabela pode ser clonada superficialmente para outra tabela no Databricks Runtime 13.3 LTS e versões superiores. Uma tabela externa pode ser clonada superficialmente para outra tabela externa no Databricks Runtime 14.2 e versões superiores. Uma tabela A não pode ser clonada superficialmente para uma tabela externa. Além disso, uma tabela externa não pode ser clonada superficialmente para uma tabela principal. Para obter mais informações, consulte Clone superficial para tabelas Unity Catalog.

• O agrupamento não é compatível com as tabelas do Unity Catalog. Se você executar comandos que tentarem criar uma tabela agrupada no Unity Catalog, isso vai gerar uma exceção.

• Gravar no mesmo caminho ou tabela Delta Lake de workspaces em várias regiões pode levar a um desempenho não confiável se alguns clusters acessarem o Unity Catalog e outros não.

• A manipulação de partições para tabelas externas usando comandos como ALTER TABLE ADD PARTITION requer que o registro de metadados de partição esteja ativado. Consulte Descoberta de partições para tabelas externas.

• Ao usar o modo de sobrescrita para tabelas que não estão no formato Delta, o usuário deve ter o privilégio CREATE TABLE no esquema pai e deve ser o proprietário do objeto existente OU ter o privilégio MODIFY no objeto.

• As UDFs Python não são suportadas no Databricks Runtime 12.2 LTS e versões anteriores. Isso inclui UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas). As UDFs escalares Python são suportadas no Databricks Runtime 13.3 LTS e versões superiores.

• As UDFs Scala não são suportadas no Databricks Runtime 14.1 e versões anteriores no modo de acesso padrão ( compute . As UDFs escalares são suportadas no Databricks Runtime 14.2 e versões superiores em compute com modo de acesso padrão.

• Os pools de thread padrão do Scala não são suportados. Em vez disso, use os conjuntos de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, os seguintes conjuntos de thread em ThreadUtils não são suportados: ThreadUtils.newForkJoinPool e qualquer conjunto de threads ScheduledExecutorService.

Os modelos registrados no Unity Catalog possuem limitações adicionais. Consulte as limitações.

cotas de recursos

Unity Catalog impõe quotas de recursos em todos os objetos protegíveis. Essas quotas estão listadas em limites de recursos. Caso preveja ultrapassar esses limites de recursos, entre em contato com a equipe da sua account Databricks .

Você pode monitorar o uso da sua cota usando as APIs de cotas de recursos Unity Catalog . Consulte Monitore seu uso de cotas de recursos Unity Catalog.