Databricks utilidades com para Databricks Connect Scala
Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.
Este artigo descreve como usar Databricks utilidades com Databricks Connect para Scala. Databricks Connect permite que o senhor conecte os populares IDEs, servidores de notebook e aplicativos personalizados ao clustering Databricks. Consulte O que é o Databricks Connect? Para obter a versão Python deste artigo, consulte Databricks utilidades com Databricks Connect para Python.
Antes de começar a usar o Databricks Connect, o senhor deve configurar o cliente Databricks Connect.
O senhor usa Databricks Connect para acessar Databricks utilidades da seguinte forma:
- Use
DBUtils.getDBUtils
para acessar o sistema de arquivosDatabricks (DBFS ) e segredos por meio de Databricks utilidades.DBUtils.getDBUtils
pertence à seção Databricks utilidades para Scala biblioteca. - Nenhuma funcionalidade de utilidades do Databricks, além das utilidades anteriores, está disponível para os projetos do Scala.
- Databricks Connect para Scala já declara uma dependência em Databricks utilidades para Scala biblioteca, portanto, não é necessário declarar explicitamente essa dependência no arquivo de compilação do projeto Scala, como
build.sbt
parasbt
,pom.xml
para Maven oubuild.gradle
para Gradle. - A autenticação para o Databricks utilidades para Scala biblioteca é determinada por meio da inicialização da classe
DatabricksSession
em seu projeto Databricks Connect para Scala.
O senhor também pode usar o Databricks SDK para Java de Scala para acessar qualquer Databricks REST API disponível, não apenas as Databricks utilidades APIs anteriores. Consulte o repositório databricks/databricks-sdk-java no GitHub e também Use Scala with the Databricks SDK for Java.
O exemplo a seguir mostra como usar o Databricks utilidades para Scala biblioteca para automatizar um volume Unity Catalog. Este exemplo cria um arquivo chamado zzz_hello.txt
no caminho do volume dentro do site workspace, lê os dados do arquivo e, em seguida, exclui o arquivo.
import com.databricks.sdk.scala.dbutils.DBUtils
object Main {
def main(args: Array[String]): Unit = {
val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
val fileData = "Hello, Databricks!"
val dbutils = DBUtils.getDBUtils()
dbutils.fs.put(
file = filePath,
contents = fileData,
overwrite = true
)
println(dbutils.fs.head(filePath))
dbutils.fs.rm(filePath)
}
}