Utilitaires Databricks avec Databricks Connect pour Scala

Cet article explique comment utiliser Databricks Utilities avec Databricks Connect pour Scala. Databricks Connect vous permet de connecter des IDE, des serveurs de notebooks et des applications personnalisées populaires aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?.

Avant de commencer à utiliser Databricks Connect, vous devez configurer le client Databricks Connect.

Pour obtenir la version Python de cet article, consultez Les utilitaires Databricks avec Databricks Connect pour Python.

Utilitaires Databricks disponibles

Vous utilisez Databricks Connect pour accéder aux utilitaires Databricks comme suit :

• Permet DBUtils.getDBUtils d’accéder au système de fichiers Databricks (DBFS) et aux secrets via Databricks Utilities. DBUtils.getDBUtils appartient à la bibliothèque Databricks Utilities pour Scala.
• Aucune fonctionnalité Databricks Utilities autre que les utilitaires précédents n’est disponible pour les projets Scala.
• Databricks Connect pour Scala déclare déjà une dépendance sur la bibliothèque Databricks Utilities for Scala. Vous n’avez donc pas besoin de déclarer explicitement cette dépendance dans le fichier de build de votre projet Scala, comme build.sbt pour , sbt pour pom.xmlMaven ou build.gradle pour Gradle.
• L’authentification pour la bibliothèque Databricks Utilities for Scala est déterminée par l’initialisation de la DatabricksSession classe dans votre projet Databricks Connect pour Scala.

Exemple : Créer un fichier dans un volume

L’exemple suivant montre comment utiliser les utilitaires Databricks pour la bibliothèque Scala afin d’automatiser un volume de catalogue Unity. Cet exemple crée un fichier nommé zzz_hello.txt dans le chemin d’accès du volume dans l’espace de travail, lit les données du fichier, puis supprime le fichier.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}