Pular para o conteúdo principal

calcular as limitações do modo de acesso para Unity Catalog

nota

Os modos de acesso foram renomeados. O modo de acesso compartilhado agora é padrão . O modo de acesso de usuário único agora é dedicado e pode ser atribuído a um único usuário ou grupo. O acesso ao grupo está na Pré-visualização pública.

A Databricks recomenda o uso do modo de acesso padrão (antigo modo de acesso compartilhado) para a maioria das cargas de trabalho. Este artigo descreve as limitações e os requisitos de cada modo de acesso com Unity Catalog. Para obter detalhes sobre os modos de acesso, consulte Modos de acesso.

Databricks recomenda o uso de políticas compute para simplificar as opções de configuração para a maioria dos usuários. Consulte Criar e gerenciar políticas em compute.

nota

O compartilhamento sem isolamento e a passagem de credenciais são modos de acesso legados que não são compatíveis com o Unity Catalog.

important

O script de inicialização e a biblioteca têm suporte diferente nos modos de acesso e nas versões do site Databricks Runtime. Consulte Onde o script de inicialização pode ser instalado? e biblioteca com escopo de computação.

Limitações do modo de acesso dedicado no Unity Catalog​

O modo de acesso dedicado no Unity Catalog tem as seguintes limitações. Essas limitações são adicionais às limitações gerais de todos os modos de acesso do Unity Catalog. Consulte Limitações gerais para o Unity Catalog.

Limitações de controle de acesso refinadas para o modo de acesso dedicado do Unity Catalog​

Em Databricks Runtime 15.3 e abaixo, não há suporte para controle de acesso refinado em um único usuário compute. Especificamente:

Para consultar uma exibição dinâmica, uma exibição na qual o senhor não tem SELECT nas tabelas e exibições subjacentes e tabelas com filtros de linha ou máscaras de coluna, use uma das seguintes opções:

  • A SQL warehouse.
  • computar com o modo de acesso padrão.
  • computar com modo de acesso dedicado em Databricks Runtime 15.4 LTS ou acima.

Databricks Runtime 15.4 LTS e acima suportam controle de acesso refinado em um único usuário compute. Para aproveitar a filtragem de dados fornecida em Databricks Runtime 15.4 LTS e acima, verifique se o seu workspace está habilitado para serverless compute .

O compute sem servidor lida com a filtragem de dados, o que permite o acesso a um view sem exigir permissões em suas tabelas e exibições subjacentes. Como o site serverless compute lida com a filtragem de dados, o senhor pode incorrer em encargos serverless compute quando usar um único usuário compute para consultar a visualização. Para obter mais informações, consulte Controle de acesso refinado em compute dedicado (anteriormente, usuário único compute).

tabela de transmissão e materializada view limitações para o modo de acesso dedicado Unity Catalog​

Em Databricks Runtime 15.3 e abaixo, não é possível usar o usuário único compute para consultar tabelas que foram criadas usando um DLT pipeline, incluindo tabelas de transmissão e visualizações materializadas, se essas tabelas forem de propriedade de outros usuários . O usuário que cria uma tabela é o proprietário.

Para consultar tabelas de transmissão e visualizações materializadas criadas pela DLT e de propriedade de outros usuários, use uma das opções a seguir:

  • A SQL warehouse.
  • computar com o modo de acesso padrão em Databricks Runtime 13.3 LTS ou acima.
  • computar com modo de acesso dedicado em Databricks Runtime 15.4 LTS ou acima.

Seu workspace também deve estar habilitado para serverless compute. Para obter mais informações, consulte Controle de acesso refinado em compute dedicado (anteriormente, usuário único compute).

limitações de transmissão para Unity Catalog modo de acesso dedicado​

  • O ponto de verificação assíncrono não tem suporte no Databricks Runtime 11.3 LTS e abaixo.
  • StreamingQueryListener É necessário o Databricks Runtime 15.1 ou o acima para usar credenciais ou interagir com objetos gerenciados pelo Unity Catalog em um único usuário compute.

Limitações do modo de acesso padrão no Unity Catalog​

O modo de acesso padrão no Unity Catalog tem as seguintes limitações. Essas limitações são adicionais às limitações gerais de todos os modos de acesso do Unity Catalog. Consulte Limitações gerais para o Unity Catalog.

  • Databricks Runtime ML e Spark biblioteca do machine learning (MLlib) não são suportados.
  • Spark-submit A tarefa do trabalho não é suportada. Em vez disso, use uma tarefa JAR.
  • O DBUtils e outros clientes que leem diretamente os dados do armazenamento em nuvem só são suportados quando você usa um local externo para acessar o local de armazenamento. Consulte Criar um local externo para conectar o armazenamento em nuvem à Databricks.
  • Em Databricks Runtime 13.3 e acima, as linhas individuais não podem exceder 128 MB.
  • DBFS root e as montagens não são compatíveis com o FUSE.

Suporte a idiomas para o modo de acesso padrão do Unity Catalog​

  • R não é suportado.
  • Scala é suportado em Databricks Runtime 13.3 e acima.
    • Em Databricks Runtime 15.4 LTS e acima, todas as bibliotecas Java ou Scala (arquivosJAR ) incluídas em Databricks Runtime estão disponíveis em compute nos modos de acesso Unity Catalog.
    • Para Databricks Runtime 15.3 ou abaixo em compute que usa o modo de acesso padrão, defina a configuração Spark spark.databricks.scala.kernel.fullClasspath.enabled para true.

Spark API limitações e requisitos para o modo de acesso padrão Unity Catalog​

  • Não há suporte para APIs RDD.

  • Spark Os contextos (sc),spark.sparkContext e sqlContext não são compatíveis com Scala em nenhum site Databricks Runtime e não são compatíveis com Python em Databricks Runtime 14.0 e acima.

    • A Databricks recomenda usar a variável spark para interagir com a instância SparkSession.
    • As seguintes funções sc também não são suportadas: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.

  • O seguinte conjunto de dados Scala API operações requerem Databricks Runtime 15.4 LTS ou acima: map, mapPartitions, foreachPartition, flatMap, reduce e filter.

  • A propriedade de configuração do Spark spark.executor.extraJavaOptions não é suportada.

Limitações e requisitos do UDF para o modo de acesso padrão do Unity Catalog​

As funções definidas pelo usuário (UDFs) têm as seguintes limitações com o modo de acesso padrão:

  • Não há suporte para UDFs do Hive.

  • applyInPandas e mapInPandas requerem Databricks Runtime 14.3 ou acima.

  • PySpark Os UDFs não podem acessar as pastas Git, os arquivos workspace ou os volumes para importar módulos em Databricks Runtime 14.2 e abaixo.

  • Scala Os UDFs escalares exigem o site Databricks Runtime 14.2 ou acima. Não há suporte para outros UDFs e UDAFs do Scala.

  • No Databricks Runtime 14.2 e abaixo, o uso de uma versão personalizada de grpc, pyarrow ou protobuf em um PySpark UDF por meio de uma biblioteca com escopo de Notebook ou de cluster não é suportado porque a versão instalada é sempre a preferida. Para encontrar a versão da biblioteca instalada, consulte a seção System Environment (Ambiente do sistema) da versão específica do site Databricks Runtime notas sobre a versão.

  • Python Os UDFs escalares e Pandas UDFs exigem Databricks Runtime 14.1 ou acima.

  • Os UDFs não escalares Python e Pandas, incluindo UDAFs, UDTFs e Pandas em Spark, exigem Databricks Runtime 14.3 LTS ou acima.

Consulte Funções definidas pelo usuário (UDFs) no Unity Catalog.

limitações e requisitos de transmissão para o modo de acesso padrão Unity Catalog​

nota

Algumas das opções do Kafka listadas têm suporte limitado quando usadas em configurações compatíveis no Databricks. Todas as limitações listadas em Kafka são válidas tanto para o processamento de lotes quanto para o de transmissão. Veja o processamento da transmissão com Apache Kafka e Databricks.

  • O senhor não pode usar os formatos statestore e state-metadata para consultar informações de estado para consultas de transmissão com estado.

  • transformWithState e as APIs associadas não são compatíveis.

  • transformWithStateInPandas requer Databricks Runtime 16.3 e acima.

  • Para Scala, foreach requer Databricks Runtime 16.1 ou acima. foreachBatch e flatMapGroupsWithState requerem Databricks Runtime 16.2 ou acima.

  • Para Python, foreachBatch tem as seguintes alterações de comportamento em Databricks Runtime 14.0 e acima:

    • print() comando write output to the driver logs.
    • Você não pode acessar o submódulo dbutils.widgets dentro da função.
    • Todos os arquivos, módulos ou objetos referenciados na função devem ser serializáveis e estar disponíveis no Spark.

  • Para Scala, from_avro requer Databricks Runtime 14.2 ou acima.

  • applyInPandasWithState requer Databricks Runtime 14.3 LTS ou acima.

  • Não há suporte para trabalhar com fontes de soquete.

  • O sourceArchiveDir deve estar no mesmo local externo que a fonte quando o senhor usa option("cleanSource", "archive") com uma fonte de dados gerenciada por Unity Catalog.

  • Para fontes e sumidouros do Kafka, não há suporte para as seguintes opções:

    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy

  • As seguintes opções do site Kafka são compatíveis com os sites Databricks Runtime 13.3 LTS e acima, mas não são compatíveis com o site Databricks Runtime 12.2 LTS. O senhor só pode especificar locais externos gerenciar por Unity Catalog para essas opções:

    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

  • Para Scala, StreamingQueryListener requer Databricks Runtime 16.1 e acima.

  • Para Python, StreamingQueryListener requer Databricks Runtime 14.3 LTS ou acima para usar credenciais ou interagir com objetos gerenciados por Unity Catalog em compute com modo de acesso padrão.

Limitações do kernel do Scala para o modo de acesso padrão do Unity Catalog​

As seguintes limitações se aplicam ao uso do kernel Scala no modo de acesso padrão compute.

  • Algumas classes não podem ser usadas em seu código se entrarem em conflito com a biblioteca interna do kernel almond, principalmente Input. Para obter uma lista das importações definidas pela amêndoa, consulte as importações de amêndoas.
  • O registro direto no log4j não é suportado.
  • Na interface do usuário, o esquema de dataframe dropdown não é compatível.
  • Se o driver atingir o OOM, o Scala REPL não será encerrado.
  • //connector/sql-aws-connectors:sql-aws-connectors não estiver no alvo bazel do Scala REPL, o uso resultará em ClassNotFoundException.
  • Scala A transmissão não é suportada.
  • O kernel do Scala é incompatível com o SQLImplicits.

Limitações e requisitos de acesso à rede e ao sistema de arquivos para o modo de acesso padrão do Unity Catalog​

  • O senhor deve executar o comando em compute nós como um usuário de baixo privilégio, proibido de acessar partes confidenciais do sistema de arquivos.

  • No Databricks Runtime 11.3 LTS e abaixo, o senhor só pode criar conexões de rede para as portas 80 e 443.

  • O senhor não pode se conectar ao serviço de metadados da instância ou a qualquer serviço em execução no site Databricks VPC.

Limitações gerais do Unity Catalog​

As limitações a seguir se aplicam a todos os modos de acesso habilitados para o Unity Catalog.

limitações de transmissão para Unity Catalog​

  • Não há suporte para o modo de processamento contínuo do Apache Spark. Consulte Processamento contínuo no guia de programação Spark transmissão estructurada.

Consulte também as limitações de transmissão para o modo de acesso dedicado Unity Catalog e as limitações e requisitos de transmissão para o modo de acesso padrão Unity Catalog.

Para obter mais informações sobre transmissão com Unity Catalog, consulte Uso de Unity Catalog com transmissão estruturada.

Última atualização em