Limitations avec Databricks Connect pour Scala

remarque

Cet article couvre Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article liste les limitations avec Databricks Connect pour Scala. Databricks Connect vous permet de connecter des IDEs populaires, des serveurs Notebook et des applications personnalisées aux Ressources compute Databricks. See Databricks Connect. Pour la version Python de cet article, consultez Limitations avec Databricks Connect pour Python.

important

Selon la version de Scala, Java, Databricks Runtime et Databricks Connect que vous utilisez, il peut y avoir des exigences de version pour certaines fonctionnalités. Consultez la page Conditions requises.

Disponibilité des fonctionnalités

Non disponible sur Databricks Connect pour Databricks Runtime 13.3 LTS et versions antérieures :

• Streaming foreachBatch
• Création de DataFrames avec un plan logique non résolu supérieur à 128 Mo. Cette limite s'applique à la taille du plan, et non aux données elles-mêmes.
• Requêtes longues de plus de 3 600 secondes
• UDF scalaires sur les ressources de compute qui utilisent le mode d'accès dédié (anciennement utilisateur unique)

Non disponible :

• Databricks Infrastructures publiques : credentials, library, notebook workflow, widgets
• Spark Context
• RDD
• CREATE TABLE <table-name> AS SELECT (utilisez spark.sql("SELECT ...").write.saveAsTable("table") à la place)
• Modification du niveau de Logs log4j via SparkContext
• Apprentissage ML distribué
• Synchronisation de l'environnement de développement local avec la ressource de compute distante