Limitações do Databricks Connect for Scala
nota
Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.
Este artigo lista as limitações do Databricks Connect para Scala. Databricks Connect permite conectar IDEs populares, servidores de notebooks e aplicativos personalizados ao recurso compute Databricks . See Databricks Connect. Para a versão Python deste artigo, consulte Limitações do Databricks Connect para Python.
importante
Dependendo da versão de Scala, Java, Databricks Runtime e Databricks Connect que o senhor estiver usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos.
disponibilidade de recurso
Não disponível no Databricks Connect para o Databricks Runtime 13.3 LTS e abaixo:
- transmissão
foreachBatch - Criação de DataFrames maiores que 128 MB
- Consultas longas de mais de 3600 segundos
- UDFs escalares em compute recurso que usa o modo de acesso dedicado (anteriormente, usuário único)
Não disponível:
- Databricks utilidades:
credentials,library,notebook workflow,widgets - Contexto do Spark
- RDDs
CREATE TABLE <table-name> AS SELECT(em vez disso, usespark.sql("SELECT ...").write.saveAsTable("table"))- Alterar o nível do log4j log por meio do
SparkContext - Distribuído ML treinamento
- Sincronizando o ambiente de desenvolvimento local com o remoto compute recurso