Limitações com Databricks Connect para Scala
Observação
Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.
Este artigo lista as limitações do Databricks Connect para Scala. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Python destes artigos, consulte Limitações do Databricks Connect for Python.
Não disponível no Databricks Connect para Databricks Runtime 13.3 LTS e abaixo:
transmissão
foreachBatch
Criando DataFrames maiores que 128 MB
query longa com mais de 3.600 segundos
UDFs escalares em clusters que usam o modo de acesso de cluster de usuário único
Não disponível:
Databricks russos:
credentials
,library
,notebook workflow
,widgets
SparkContext
RDDs
Inferência de modelo MLflow:
pyfunc.spark_udf()
APIMosaico geoespacial
CREATE TABLE <table-name> AS SELECT
(em vez disso, usespark.sql("SELECT ...").write.saveAsTable("table")
)Alterando o nível logs log4j por meio de
SparkContext
Treinamento de ML Distribuído
Sincronizando o ambiente de desenvolvimento local com os clustersremotos