Exigences d'utilisation de Databricks Connect
Cet article couvre Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.
Cet article fournit les exigences d'utilisation pour Databricks Connect. Pour en savoir plus sur Databricks Connect, consultez Databricks Connect.
Exigences du Workspace
Pour utiliser Databricks Connect afin de vous connecter à votre Workspace :
-
Votre compte Databricks et votre Workspace doivent avoir Unity Catalog activé. Voir Se familiariser avec Unity Catalog et Activer un Workspace pour Unity Catalog.
-
La version de Databricks Runtime de votre compute doit être supérieure ou égale à la version du package Databricks Connect. Databricks vous recommande d'utiliser le package Databricks Connect le plus récent qui correspond à la version de votre Databricks Runtime.
Pour utiliser les fonctionnalités disponibles dans les versions ultérieures de Databricks Runtime, vous devez mettre à niveau le package Databricks Connect. Consultez les Notes de version de Databricks Connect pour obtenir la liste des versions disponibles de Databricks Connect. Pour les notes de version de Databricks Runtime, consultez Versions et compatibilité des notes de version de Databricks Runtime.
-
Si vous vous connectez à compute serverless, votre workspace doit satisfaire aux exigences en matière de compute serverless.
Le Serverless compute est pris en charge à partir de la version 15.1 de Databricks Connect. Les versions de Databricks Connect inférieures ou égales à la version de Databricks Runtime sur Serverless sont entièrement compatibles. Consultez les Notes de version. Pour vérifier si la version de Databricks Connect est compatible avec le compute serverless, consultez Valider la connexion à Databricks.
- Si vous vous connectez à un cluster, votre cluster cible doit utiliser un mode d'accès de cluster « Assigned » ou « Shared ». Consultez les Modes d'accès.
Databricks Connect ne prend pas en charge la connexion aux serveurs Apache Spark open source. Consultez Erreurs de connexion au serveur Apache Spark.
Exigences de l'environnement local
Pour installer Databricks Connect, votre environnement de développement local doit satisfaire aux exigences suivantes :
- Python
- Scala
-
L'authentification à Databricks est configurée. Selon le type d'authentification Databricks, il peut y avoir des exigences :
-
Pour l'authentification OAuth utilisateur-à-machine (U2M), vous devez utiliser la CLI Databricks pour vous authentifier avant d'exécuter votre code. Pour installer et configurer la CLI Databricks, consultez Installer ou mettre à jour la CLI Databricks. Voir aussi le tutoriel Databricks Connect pour Python.
-
L’authentification OAuth utilisateur-machine (U2M) et l’authentification OAuth machine-machine (M2M) sont prises en charge sur Databricks SDK pour Python 0.19.0 et versions ultérieures. Pour mettre à jour la version installée du Databricks SDK pour Python de votre projet, consultez Prise en main du Databricks SDK pour Python.
-
-
Python 3 est installé, et la version mineure de Python installée répond aux exigences de version dans le tableau de compatibilité des versions ci-dessous.
-
Si vous utilisez des fonctions définies par l'utilisateur (UDF), la version mineure locale de Python correspond à la version mineure de Python de la version Databricks Runtime du cluster ou du compute serverless. Pour trouver la version mineure de Python de la version de Databricks Runtime de votre cluster, reportez-vous à la section Environnement système des notes de publication de Databricks Runtime pour cette version. Consultez les notes de publication de Databricks Runtime : versions et compatibilité et les notes de publication du Serverless compute.
-
L'authentification à Databricks est configurée. Selon le type d'authentification Databricks, il peut y avoir des exigences :
-
Pour l'authentification OAuth utilisateur-à-machine (U2M), vous devez utiliser la CLI Databricks pour vous authentifier avant d'exécuter votre code. Pour installer et configurer la CLI Databricks, consultez Installer ou mettre à jour la CLI Databricks. Voir aussi le tutoriel Databricks Connect pour Scala.
-
L'authentification OAuth utilisateur-machine (U2M) et l'authentification OAuth machine-machine (M2M) sont prises en charge sur Databricks SDK pour Java 0.18.0 et versions ultérieures. Pour mettre à jour la version installée du SDK Databricks pour Java de votre projet, consultez Commencez avec le SDK Databricks pour Java.
-
Pour Databricks Connect pour Databricks Runtime 13.3 LTS et versions ultérieures, pour Scala, Databricks Connect inclut le Databricks SDK pour Java. Ce SDK implémente le standard d'authentification unifiée Databricks.
-
-
Le Kit de développement Java (JDK) est installé. Databricks recommande que la version de votre installation de JDK corresponde à la version de JDK sur votre cluster Databricks. Pour trouver la version de JDK du Databricks Runtime sur votre cluster, consultez la section Environnement système des notes de publication de Databricks Runtime ou le tableau de compatibilité des versions.
L'utilisation d'une version de JDK qui ne correspond pas à la version de JDK de votre cluster peut entraîner un comportement inattendu ou empêcher l'exécution de votre code.
-
Scala est installé. Databricks recommande que la version de votre installation Scala corresponde à la version de Scala sur votre cluster Databricks. Pour trouver la version de Scala de la version de Databricks Runtime de votre cluster, reportez-vous à la section Environnement système des notes de publication de Databricks Runtime ou au tableau de compatibilité des versions.
-
Si vous utilisez des fonctions définies par l’utilisateur (UDF), les versions locales de Scala et Java doivent correspondre aux versions Scala et Java de la version Databricks Runtime du cluster. Pour trouver les versions Scala et Java de la version Databricks Runtime de votre cluster, reportez-vous à la section Environnement système des notes de publication de Databricks Runtime ou au tableau de compatibilité des versions ci-dessous.
-
Un outil de build Scala, tel que sbt, est installé.
Versions de Databricks Connect
Le tableau suivant présente les versions de Databricks Connect prises en charge et les versions de langage compatibles. Les numéros de version de Databricks Connect correspondent aux numéros de version de Databricks Runtime. Consultez les notes de version de Databricks Connect pour obtenir la liste des versions de Databricks Connect disponibles. Pour les notes de version de Databricks Runtime, consultez Versions et compatibilité des notes de version de Databricks Runtime.
- Python
- Scala
Pour la prise en charge des UDF, consultez Environnement de base Python.
Version de Databricks Connect | Type de compute | Version requise de Python |
|---|---|---|
18,0 à 18,3 | Cluster | 3.12 |
18,0 | Serverless, version 5 | 3.12 |
17.2 à 17.3 | Serverless, version 4 | 3.12 |
17.2 à 17.3 | Cluster | 3.12 |
16.4.1 à moins de 17 | Serverless, version 3 | 3.12 |
16,4 | Cluster | 3.12 |
15.4.10 à moins de 16 | Serverless, version 2 | 3.11 |
15,4 | Cluster | 3.11 |
14,3 | Cluster | 3,10 |
13.3 | Cluster | 3,10 |
Version de Databricks Connect | Type de compute | Version JDK | Version requise de Scala |
|---|---|---|---|
18,0 à 18,3 | Cluster | JDK 21 | 2.13.16 |
17.2 à 17.3 | Serverless, version 4 | JDK 17 | 2.13.16 |
17.2 à 17.3 | Cluster | JDK 17 | 2.13.16 |
16,4 | Cluster | JDK 17 | 02.12.18 |
15,4 | Cluster | JDK 8 | 02.12.18 |
14,3 | Cluster | JDK 8 | 2.12.15 |
13.3 | Cluster | JDK 8 | 2.12.15 |
Versions en fin de support
Databricks Connect suit les cycles de vie de support de Databricks Runtime. Les versions suivantes sont arrivées en fin de support. Si vous utilisez une version de Databricks Connect qui a atteint la fin de son support, mettez à niveau vers une version prise en charge.
- Python
- Scala
Version de Databricks Connect | Type de compute | Version Python compatible |
|---|---|---|
de 17.0 à 17.1 | Serverless, version 4 | 3.12 |
De 16.0 à 16.4.0 | Serverless | Aucune version de Python compatible n’est disponible. Mettez à niveau vers Databricks Connect 16.4.1 ou version ultérieure. |
de 16.0 à 16.3 | Cluster | 3.12 |
de 15.1 à 15.4.9 | Serverless | Il n'y a pas de version Python compatible. Passez à Databricks Connect 15.4.10 ou une version ultérieure. |
15,1 à 15,3 | Cluster | 3.11 |
de 14.0 à 14.2 | Cluster | 3,10 |
de 13.0 à 13.2 | Cluster | 3,10 |
Version de Databricks Connect | Type de compute | Version JDK | Version de Scala |
|---|---|---|---|
de 16.0 à 16.3 | Cluster | JDK 17 | 02.12.18 |
15,1 à 15,3 | Cluster | JDK 8 | 02.12.18 |
de 14.0 à 14.2 | Cluster | JDK 8 | 2.12.15 |