Limitações do Databricks Connect for Python

nota

Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações com Databricks Connect para Python. Databricks Connect permite que o senhor conecte os populares IDEs, servidores de notebook e aplicativos personalizados ao clustering Databricks. Consulte O que é o Databricks Connect? Para obter a versão Scala deste artigo, consulte Limitações com Databricks Connect para Scala.

important

Dependendo da versão de Python, Databricks Runtime e Databricks Connect que o senhor estiver usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos.

disponibilidade de recurso

Não disponível no Databricks Connect para o Databricks Runtime 13.3 LTS e abaixo:

• transmissão foreachBatch
• Criação de DataFrames maiores que 128 MB
• Consultas longas de mais de 3600 segundos

Não disponível:

• dataframe.display() API
• Databricks utilidades: credentials, library, notebook workflow, widgets
• Contexto do Spark
• RDDs
• biblioteca que usa RDDs, Spark Context, ou que acessa o conteúdo subjacente Spark JVM, como o Mosaic geoespacial, GraphFrames, ou GreatExpectations
• CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
• ApplyinPandas() e Cogroup() com compute com modo de acesso padrão
• Alterar o nível do log4j log por meio do SparkContext
• Distribuído ML treinamento
• Sincronização do ambiente de desenvolvimento local com o clustering remoto
• Em serverless compute, os UDFs não podem incluir biblioteca personalizada.