Migrar para o Databricks Connect para Scala

Observação

Databricks Connect para Databricks Runtime 13.3 LTS e acima para Scala está em visualização pública.

Este artigo descreve como migrar do Databricks Connect for Databricks Runtime 12.2 LTS e abaixo para o Databricks Connect for Databricks Runtime 13.3 LTS e acima para Scala. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Python destes artigos, consulte Migrate to Databricks Connect for Python.

Observação

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

  1. Instale a versão correta do Java Development Kit (JDK) e do Scala conforme listado nos requisitos de instalação para corresponder aos clusters do Databricks, se ainda não estiver instalado localmente.

  2. No arquivo de build do projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, atualize a seguinte referência ao cliente Databricks Connect:

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    implementation 'com.databricks.databricks-connect:14.0.0'

    Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão do Databricks Runtime nos seus clusters. Você pode encontrar os números de versão da biblioteca do Databricks Connect no repositório central do Maven.

  3. Atualize seu código Scala para inicializar a variável spark (que representa uma instanciação da classe DatabricksSession , semelhante a SparkSession no Spark). Para obter exemplos de código, consulte Exemplos de código para Databricks Connect for Scala.