Aller au contenu principal
Dernière mise à jour le

Limitations de Databricks Connect pour Python

remarque

Cet article couvre Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article liste les limitations de Databricks Connect pour Python. Databricks Connect vous permet de connecter des IDEs, des serveurs Notebook et des applications personnalisées aux clusters Databricks. See Databricks Connect. Pour la version Scala de cet article, consultez Limitations avec Databricks Connect pour Scala.

important

Selon la version de Python, de Databricks Runtime et de Databricks Connect que vous utilisez, il peut y avoir des exigences de version pour certaines fonctionnalités. Consultez les exigences d'utilisation de Databricks Connect.

Disponibilité des fonctionnalités​

Non disponible sur Databricks Connect pour Databricks Runtime 13.3 LTS et versions antérieures :

  • Streaming foreachBatch
  • Création de DataFrames avec un plan logique non résolu supérieur à 128 Mo. Cette limite s'applique à la taille du plan, et non aux données elles-mêmes.
  • Requêtes longues de plus de 3 600 secondes

Non disponible sur Databricks Connect pour Databricks Runtime 15.3 et versions antérieures :

  • ApplyinPandas() et Cogroup() avec un compute en mode d'accès standard

Non disponible sur Databricks Connect pour Databricks Runtime 16.3 et versions antérieures :

  • Sur le compute serverless, les UDF ne peuvent pas inclure de bibliothèques personnalisées.

Non disponible :

  • dataframe.display() API
  • Databricks Infrastructures publiques : credentials, library, notebook workflow, widgets
  • Spark Context
  • RDD
  • Bibliothèques qui utilisent des RDD, Spark Context ou accèdent au JVM Spark sous-jacent, telles que Mosaic Geospatial, GraphFrames ou GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (utilisez spark.sql("SELECT ...").write.saveAsTable("table") à la place)
  • Modification du niveau de Logs log4j via SparkContext
  • La formation ML distribuée n'est pas prise en charge.
  • Synchronisation de l'environnement de développement local avec le cluster distant
Sur cette page