Limitações com Databricks Connect para Scala

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações do Databricks Connect para Scala. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Python destes artigos, consulte Limitações do Databricks Connect for Python.

Não disponível no Databricks Connect para Databricks Runtime 13.3 LTS e abaixo:

  • transmissão foreachBatch

  • Criando DataFrames maiores que 128 MB

  • query longa com mais de 3.600 segundos

  • UDFs escalares em clusters que usam o modo de acesso de cluster de usuário único

Não disponível:

  • Databricks russos: credentials, library, notebook workflow, widgets

  • SparkContext

  • RDDs

  • Inferência de modelo MLflow: pyfunc.spark_udf() API

  • Mosaico geoespacial

  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))

  • Alterando o nível logs log4j por meio de SparkContext

  • Treinamento de ML Distribuído

  • Sincronizando o ambiente de desenvolvimento local com os clustersremotos