Utilitaires Databricks avec Databricks Connect pour Scala

remarque

Cet article couvre Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article décrit comment utiliser les utilitaires Databricks avec Databricks Connect pour Scala. Databricks Connect vous permet de connecter les IDEs populaires, les serveurs de Notebook et les applications personnalisées aux clusters Databricks. See Databricks Connect.

Avant de commencer à utiliser Databricks Connect, vous devez configurer le client Databricks Connect.

Pour la version Python de cet article, consultez Infrastructures publiques Databricks avec Databricks Connect pour Python.

Utilitaires Databricks disponibles

Vous utilisez Databricks Connect pour accéder aux utilitaires Databricks comme suit :

• Utilisez DBUtils.getDBUtils pour accéder au Système de fichiers Databricks (DBFS) et aux secrets via les utilitaires Databricks. DBUtils.getDBUtils fait partie de la bibliothèque Utilitaires Databricks pour Scala.
• Aucune fonctionnalité des infrastructures publiques Databricks autre que les infrastructures publiques précédentes n'est disponible pour les projets Scala.
• Databricks Connect pour Scala déclare déjà une dépendance envers la bibliothèque d'infrastructures publiques Databricks pour Scala, vous n'avez donc pas besoin de déclarer explicitement cette dépendance dans le fichier de build de votre projet Scala tel que build.sbt pour sbt, pom.xml pour Maven, ou build.gradle pour Gradle.
• L'authentification pour la bibliothèque Databricks infrastructures publiques pour Scala est déterminée par l'initialisation de la classe DatabricksSession dans votre projet Databricks Connect pour Scala.

astuce

Vous pouvez également utiliser le SDK Databricks pour Java à partir de Scala pour accéder à toute API REST Databricks disponible, pas seulement les API des infrastructures publiques Databricks précédents. Consultez le repository databricks/databricks-sdk-java sur GitHub ainsi que Utiliser Scala avec le SDK Databricks pour Java.

Exemple : Créez un fichier dans un volume

L'exemple suivant montre comment utiliser la bibliothèque Databricks Utilities pour Scala afin d'automatiser un volume Unity Catalog. Cet exemple crée un fichier nommé zzz_hello.txt dans le chemin du volume au sein du Workspace, lit les données du fichier, puis supprime le fichier.

Scala

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}