Migrer vers Databricks Connect pour Scala

remarque

Databricks Connect pour Databricks Runtime 13.3 LTS et versions supérieures pour Scala est en Aperçu public.

Cet article explique comment migrer de Databricks Connect pour Databricks Runtime 12.2 LTS et versions antérieures vers Databricks Connect pour Databricks Runtime 13.3 LTS et versions ultérieures pour Scala. Databricks Connect vous permet de connecter des IDEs, des serveurs Notebook et des applications personnalisées aux clusters Databricks. See Databricks Connect.

Avant de commencer à utiliser Databricks Connect, vous devez configurer le client Databricks Connect.

Pour la version Python de cet article, consultez Migrer vers Databricks Connect pour Python.

Migrer votre projet Scala

1. Installez la version correcte du Java Development Kit (JDK) et de Scala, telle que listée dans les exigences d'installation, pour correspondre à votre cluster Databricks, s'il n'est pas déjà installé localement.

2. Dans le fichier de build de votre projet Scala, tel que build.sbt pour sbt, pom.xml pour Maven, ou build.gradle pour Gradle, mettez à jour la référence suivante pour le client Databricks Connect :

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

XML

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Remplacez 14.0.0 par la version de la bibliothèque Databricks Connect qui correspond à la version de Databricks Runtime sur votre cluster. Vous pouvez trouver les numéros de version de la bibliothèque Databricks Connect dans le repository Maven Central (pour Databricks Runtime 16.4 LTS et versions antérieures) ou le repository Maven Central (pour Databricks Runtime 17.0 et versions ultérieures).

3. Mettez à jour votre code Scala pour initialiser la variable spark (qui représente une instanciation de la classe DatabricksSession, similaire à SparkSession dans Spark). Pour des exemples de code, consultez les exemples de code pour Databricks Connect pour Scala.