Padrão compute requisitos e limitações
Esta página inclui uma lista de requisitos e limitações para o padrão compute. Se o senhor estiver usando o compute clássico, o Databricks recomenda o uso do modo de acesso padrão, a menos que sua carga de trabalho dependa de uma das limitações listadas abaixo.
O script de inicialização e a biblioteca têm suporte diferente nos modos de acesso e nas versões do site Databricks Runtime. Consulte Onde o script de inicialização pode ser instalado? e biblioteca com escopo de computação.
Padrão atual compute limitações
As seções a seguir listam as limitações do compute padrão com base na versão mais recente do Databricks Runtime. Para conhecer as limitações que se aplicam às Databricks Runtime versões anteriores do site, consulte Runtime-dependent limitations.
Se esses recursos forem necessários para sua carga de trabalho, use o site computededicado.
Padrão geral compute limitações
- Não há suporte para o Databricks Runtime for ML. Em vez disso, instale qualquer biblioteca ML que não esteja incluída no pacote Databricks Runtime como uma biblioteca com escopo compute.
- Não há suporte para o site compute habilitado para GPU.
- Spark-submit A tarefa do trabalho não é suportada. Em vez disso, use uma tarefa JAR.
- O DBUtils e outros clientes só podem ler do armazenamento cloud usando um local externo.
- Não há suporte para contêineres personalizados.
- DBFS root e as montagens não são compatíveis com o FUSE.
Limitações de idioma
- R não é suportado.
Spark API limitações
-
Spark Context (
sc
),spark.sparkContext
esqlContext
não são compatíveis com o Scala:- A Databricks recomenda usar a variável
spark
para interagir com a instânciaSparkSession
. - As seguintes funções
sc
também não são suportadas:emptyRDD
,range
,init_batched_serializer
,parallelize
,pickleFile
,textFile
,wholeTextFiles
,binaryFiles
,binaryRecords
,sequenceFile
,newAPIHadoopFile
,newAPIHadoopRDD
,hadoopFile
,hadoopRDD
,union
,runJob
,setSystemProperty
,uiWebUrl
,stop
,setJobGroup
,setLocalProperty
,getConf
.
- A Databricks recomenda usar a variável
-
A propriedade de configuração do Spark
spark.executor.extraJavaOptions
não é compatível. -
Ao criar um DataFrame a partir do uso local de dados
spark.createDataFrame
, o tamanho das linhas não pode exceder 128 MB. -
Não há suporte para APIs RDD.
Limitações do UDF
- Não há suporte para UDFs do Hive. Em vez disso, use UDFs no Unity Catalog.
limitações de transmissão
Algumas das opções do Kafka listadas têm suporte limitado quando usadas em configurações compatíveis no Databricks. Todas as limitações listadas no site Kafka são válidas tanto para o processamento de lotes quanto para o de transmissão. Veja o processamento da transmissão com Apache Kafka e Databricks.
- O senhor não pode usar os formatos
statestore
estate-metadata
para consultar informações de estado para consultas de transmissão stateful. transformWithState
e as APIs associadas não são compatíveis.- Não há suporte para trabalhar com fontes de soquete.
- O
sourceArchiveDir
deve estar no mesmo local externo que a fonte quando o senhor usa ooption("cleanSource", "archive")
com uma fonte de dados gerenciada pelo Unity Catalog. - Para fontes e sumidouros do Kafka, não há suporte para as seguintes opções:
kafka.sasl.client.callback.handler.class
kafka.sasl.login.callback.handler.class
kafka.sasl.login.class
kafka.partition.assignment.strategy
Limitações da rede e do sistema de arquivos
-
Padrão compute execução comando como um usuário de baixo privilégio proibido de acessar partes sensíveis do sistema de arquivos.
-
Não há suporte para caminhos no estilo POSIX (
/
) para DBFS. -
Somente os administradores do workspace e os usuários com permissões ANY FILE podem interagir diretamente com os arquivos usando o DBFS.
-
O senhor não pode se conectar ao serviço de metadados da instância ou a qualquer serviço em execução no site Databricks VPC.
Limitações do kernel do Scala
As seguintes limitações se aplicam ao uso do kernel Scala no padrão compute:
- Certas classes não podem ser usadas em seu código se entrarem em conflito com a biblioteca interna do kernel almond, principalmente
Input
. Para obter uma lista das importações definidas pela amêndoa, consulte as importações de amêndoas. - O registro direto no log4j não é suportado.
- Na interface do usuário, o esquema de dataframe dropdown não é compatível.
- Se o driver atingir o OOM, o Scala REPL não será encerrado.
//connector/sql-aws-connectors:sql-aws-connectors
não está no alvo bazel do Scala REPL, o uso resulta emClassNotFoundException
.- O kernel do Scala é incompatível com o SQLImplicits.
Limitações dependentes do tempo de execução
As limitações a seguir foram resolvidas por meio de atualizações de tempo de execução, mas ainda podem se aplicar à sua carga de trabalho se você usar um tempo de execução mais antigo.
Suporte linguístico
Recurso | Versão necessária do Databricks Runtime |
---|---|
Scala | 13.3 ou acima |
Todos os pacotes de tempo de execução Java e Scala biblioteca disponíveis pelo default | 15.4 LTS ou acima (para 15.3 ou abaixo, defina |
Spark API suporte
Recurso | Versão necessária do Databricks Runtime |
---|---|
Spark ML | 17,0 ou acima |
Python: | 14,0 ou acima |
Scala | 15,4 LTS ou acima |
Suporte a UDF
Recurso | Versão necessária do Databricks Runtime |
---|---|
| 14,3 LTS ou acima |
UDFs escalares de Scala e UDAFs de Scala | 14,3 LTS ou acima |
Importar módulos de pastas Git, arquivos workspace ou volumes em UDFs PySpark | 14,3 LTS ou acima |
Use versões personalizadas de | 14,3 LTS ou acima |
UDFs não escalares de Python e Pandas, incluindo UDAFs, UDTFs e Pandas no Spark | 14,3 LTS ou acima |
UDFs escalares do Python e UDFs do Pandas | 14.1 ou acima |
suporte à transmissão
Recurso | Versão necessária do Databricks Runtime |
---|---|
| 16,3 ou acima |
| 14,3 LTS ou acima |
Scala | 16.1 ou acima |
Scala | 16.2 ou acima |
Scala | 14.2 ou acima |
Kafka opções | 13.3 LTS ou acima |
Scala | 16.1 ou acima |
Python | 14,3 LTS ou acima |
Além disso, para Python, foreachBatch
tem as seguintes alterações de comportamento em Databricks Runtime 14.0 e acima:
print()
comando write output to the driver logs.- Você não pode acessar o submódulo
dbutils.widgets
dentro da função. - Todos os arquivos, módulos ou objetos referenciados na função devem ser serializáveis e estar disponíveis no Spark.
Suporte de rede e sistema de arquivos
Recurso | Versão necessária do Databricks Runtime |
---|---|
Conexões com portas diferentes de 80 e 443 | 12.2 LTS ou acima |