Instalar o Databricks Connect para Scala
Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.
Este artigo descreve como instalar o Databricks Connect para Scala. Consulte O que é o Databricks Connect? Para obter a versão Python deste artigo, consulte Instalar Databricks Connect para Python.
Requisitos
-
Seu destino Databricks workspace e o clustering devem atender aos requisitos de configuração de computação para Databricks Connect.
-
O senhor tem o Java Development Kit (JDK) instalado em seu computador de desenvolvimento. Databricks recomenda que a versão de sua instalação do JDK corresponda à versão do JDK em seu cluster Databricks. Para encontrar a versão do JDK do Databricks Runtime em seu cluster, consulte a seção Ambiente do sistema do Databricks Runtime notas sobre a versão ou a tabela de compatibilidade de versões.
A escolha de uma instalação do JDK que esteja abaixo ou acima da versão do JDK em seu cluster pode produzir resultados inesperados, ou seu código pode não ser executado.
-
O senhor tem o Scala instalado em sua máquina de desenvolvimento. Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala no clustering do Databricks. Para encontrar a versão Scala da versão Databricks Runtime do seu clustering, consulte a seção Ambiente do sistema das Databricks Runtime notas sobre a versão ou a tabela de compatibilidade de versões.
-
Se estiver usando funções definidas pelo usuário (UDFs), as versões locais Scala e Java devem corresponder às versões Scala e Java da versão Databricks Runtime do clustering. Para encontrar as versões Scala e Java da versão Databricks Runtime do seu clustering, consulte a seção Ambiente do sistema das Databricks Runtime notas sobre a versão ou a tabela de compatibilidade de versões.
-
Uma ferramenta de compilação Scala em sua máquina de desenvolvimento, como
sbt
.
Matriz de suporte de versão
A tabela a seguir mostra as versões compatíveis do Databricks Connect, do JDK e do Scala. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime.
Tipo de Compute | Versão do Databricks Connect | Versão JDK | Versão Scala |
---|---|---|---|
Cluster | 16.0 e acima 1,0 ML e acima | JDK 17 | 2.12.18 |
Cluster | 15.4 LTS 1.4 ML LTS | JDK 8 | 2.12.18 |
Cluster | 13.3 LTS para 14.3 LTS 1,3 ML LTS a 14,3 ML LTS | JDK 8 | 2.12.15 |
Adicionar uma referência ao cliente Databricks Connect
Para configurar o cliente Databricks Connect, primeiro adicione uma referência ao cliente. No arquivo de compilação do seu projeto Scala, como build.sbt
para sbt
, pom.xml
para Maven ou build.gradle
para Gradle, adicione a seguinte referência ao cliente Databricks Connect. Substitua 14.0.0
pela versão da biblioteca Databricks Connect que corresponde à versão Databricks Runtime em seu cluster. O senhor pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven.
- Sbt
- Maven
- Gradle
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>
implementation 'com.databricks.databricks-connect:14.0.0'
Configurar propriedades de conexão
Em seguida, configure as propriedades para estabelecer uma conexão entre Databricks Connect e o clustering Databricks remoto. Essas propriedades incluem configurações para autenticar Databricks Connect com seu clustering. Consulte a configuração de computação para Databricks Connect.
Para Databricks Connect para Databricks Runtime 13.3 LTS e acima, para Scala, Databricks Connect inclui o Databricks SDK para Java. Esse SDK implementa o padrão de autenticação unificada do cliente Databricks, uma abordagem arquitetônica e programática consolidada e consistente para a autenticação. Essa abordagem torna a configuração e a automatização da autenticação com o Databricks mais centralizada e previsível. Ele permite que o senhor configure a autenticação do Databricks uma vez e, em seguida, use essa configuração em várias ferramentas e SDKs do Databricks sem outras alterações na configuração da autenticação.
-
OAuth A autenticação de usuário para máquina (U2M) é suportada em Databricks SDK para Java 0.18.0 e acima. Talvez seja necessário atualizar a versão instalada do seu projeto de código do Databricks SDK para Java para 0.18.0 ou acima para usar a autenticação U2M do OAuth. Veja Get começar com o Databricks SDK para Java.
Para a autenticação OAuth U2M, o senhor deve usar o Databricks CLI para se autenticar antes de executar o código Scala. Veja o tutorial.
-
OAuth A autenticação máquina a máquina (M2M) é compatível com o site Databricks SDK para Java 0.17.0 e acima. Talvez seja necessário atualizar a versão instalada do projeto de código do Databricks SDK para Java para 0.17.0 ou acima para usar a autenticação U2M do OAuth. Veja Get começar com o Databricks SDK para Java.
-
A autenticação de credenciais do Google Cloud e a autenticação do Google Cloud ID são compatíveis com o site Databricks SDK para Java 0.14.0 e acima. Talvez seja necessário atualizar a versão instalada do seu projeto de código do Databricks SDK para Java para 0.14.0 ou acima para usar a autenticação de credenciais do Google Cloud ou a autenticação de ID. Veja Get começar com o Databricks SDK para Java.