Limitações do Databricks Connect para Python

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.0 e acima.

Este artigo lista as limitações do Databricks Connect para Python. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Scala destes artigos, consulte Limitações do Databricks Connect for Scala.

Não disponível no Databricks Connect para Databricks Runtime 13.3 LTS e abaixo:

  • transmissão foreachBatch

  • Criando DataFrames maiores que 128 MB

  • query longa com mais de 3.600 segundos

Não disponível no Databricks Connect para Databricks Runtime 13.0:

  • UDFs

  • UDFs Pandas

  • Pandas no Spark

  • transmissão (sem foreachBatch)

  • Databricks russos: fs, ls e secrets

  • OAuth

  • ApplyinPandas() e Cogroup() com clusters de usuário único

Não disponível:

  • API dataset

  • APIs digitadas dataset (como reduce() e flatMap())

  • Databricks russos: credentials, library, notebook workflow, widgets

  • SparkContext

  • RDDs

  • Inferência de modelo MLflow: pyfunc.spark_udf() API

  • Mosaico geoespacial

  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))

  • ApplyinPandas() e Cogroup() com clusters compartilhados

  • Alterando o nível logs log4j por meio de SparkContext

  • Treinamento de ML Distribuído

  • Sincronizando o ambiente de desenvolvimento local com os clustersremotos