Migrar para o Databricks Connect for Scala

nota

Databricks Connect para Databricks Runtime 13.3 LTS e acima para Scala está em Public Preview.

Este artigo descreve como migrar de Databricks Connect para Databricks Runtime 12.2 LTS e abaixo para Databricks Connect para Databricks Runtime 13.3 LTS e acima para Scala. Databricks Connect permite que o senhor conecte os populares IDEs, servidores de notebook e aplicativos personalizados ao clustering Databricks. Consulte O que é o Databricks Connect? Para obter a versão Python deste artigo, consulte Migrate to Databricks Connect for Python.

nota

Antes de começar a usar o Databricks Connect, o senhor deve configurar o cliente Databricks Connect.

1. Instale a versão correta do Java Development Kit (JDK) e do Scala, conforme listado nos requisitos de instalação, para corresponder ao clustering do Databricks, se ainda não estiver instalado localmente.

2. No arquivo de compilação do seu projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, atualize a seguinte referência ao cliente Databricks Connect:

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

XML

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão Databricks Runtime em seu clustering. O senhor pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven. 3. Atualize seu código Scala para inicializar a variável spark (que representa uma instanciação da classe DatabricksSession, semelhante a SparkSession no Spark). Para obter exemplos de código, consulte Exemplos de código do Databricks Connect for Scala.