Pular para o conteúdo principal

Instalar o Databricks Connect para Scala

nota

Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo descreve como instalar o Databricks Connect para Scala. Consulte O que é o Databricks Connect? Para obter a versão Python deste artigo, consulte Instalar Databricks Connect para Python.

Requisitos​

nota

A escolha de uma instalação do JDK que esteja abaixo ou acima da versão do JDK em seu cluster pode produzir resultados inesperados, ou seu código pode não ser executado.

  • O senhor tem o Scala instalado em sua máquina de desenvolvimento. Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala no clustering do Databricks. Para encontrar a versão Scala da versão Databricks Runtime do seu clustering, consulte a seção Ambiente do sistema das Databricks Runtime notas sobre a versão ou a tabela de compatibilidade de versões.

  • Se estiver usando funções definidas pelo usuário (UDFs), as versões locais Scala e Java devem corresponder às versões Scala e Java da versão Databricks Runtime do clustering. Para encontrar as versões Scala e Java da versão Databricks Runtime do seu clustering, consulte a seção Ambiente do sistema das Databricks Runtime notas sobre a versão ou a tabela de compatibilidade de versões.

  • Uma ferramenta de compilação Scala em sua máquina de desenvolvimento, como sbt.

Matriz de suporte de versão​

A tabela a seguir mostra as versões compatíveis do Databricks Connect, do JDK e do Scala. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime.

Tipo de Compute

Versão do Databricks Connect

Versão JDK

Versão Scala

Cluster

16.0 e acima

1,0 ML e acima

JDK 17

2.12.18

Cluster

15.4 LTS

1.4 ML LTS

JDK 8

2.12.18

Cluster

13.3 LTS para 14.3 LTS

1,3 ML LTS a 14,3 ML LTS

JDK 8

2.12.15

Adicionar uma referência ao cliente Databricks Connect​

Para configurar o cliente Databricks Connect, primeiro adicione uma referência ao cliente. No arquivo de compilação do seu projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, adicione a seguinte referência ao cliente Databricks Connect. Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão Databricks Runtime em seu cluster. O senhor pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven.

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Configurar propriedades de conexão​

Em seguida, configure as propriedades para estabelecer uma conexão entre Databricks Connect e o clustering Databricks remoto. Essas propriedades incluem configurações para autenticar Databricks Connect com seu clustering. Consulte a configuração de computação para Databricks Connect.

Para Databricks Connect para Databricks Runtime 13.3 LTS e acima, para Scala, Databricks Connect inclui o Databricks SDK para Java. Esse SDK implementa o padrão de autenticação unificada do cliente Databricks, uma abordagem arquitetônica e programática consolidada e consistente para a autenticação. Essa abordagem torna a configuração e a automatização da autenticação com o Databricks mais centralizada e previsível. Ele permite que o senhor configure a autenticação do Databricks uma vez e, em seguida, use essa configuração em várias ferramentas e SDKs do Databricks sem outras alterações na configuração da autenticação.

nota
Última atualização em