Narzędzia usługi Databricks z usługą Databricks Connect dla języka Scala

W tym artykule opisano sposób używania programu Databricks Utilities z usługą Databricks Connect dla języka Scala. Usługa Databricks Connect umożliwia podłączanie popularnych zintegrowanych środowisk programistycznych (IDE), serwerów notesów i aplikacji niestandardowych do klastrów Azure Databricks. Zobacz Co to jest usługa Databricks Connect?.

Przed rozpoczęciem korzystania z usługi Databricks Connect należy skonfigurować klienta usługi Databricks Connect.

Dla wersji artykułu w Pythonie, zobacz Databricks Utilities with Databricks Connect for Python.

Dostępne opcje narzędzi Databricks

Użyjesz usługi Databricks Connect, aby uzyskać dostęp do narzędzi usługi Databricks w następujący sposób:

• Użyj DBUtils.getDBUtils aby uzyskać dostęp do systemu plików Databricks (DBFS) i tajemnic za pośrednictwem narzędzi Databricks. DBUtils.getDBUtils należy do biblioteki Databricks Utilities for Scala.
• Dla projektów Scala nie są dostępne żadne funkcje narzędzi usługi Databricks inne niż poprzednie narzędzia.
• Program Databricks Connect dla języka Scala deklaruje już zależność od biblioteki Databricks Utilities for Scala, więc nie trzeba jawnie zadeklarować tej zależności w pliku kompilacji projektu Scala, takim jak build.sbt dla programu sbt Scala, pom.xml dla systemu Maven lub build.gradle dla systemu Gradle.
• Uwierzytelnianie dla biblioteki Databricks Utilities dla Scala jest ustalane poprzez inicjalizację klasy DatabricksSession w projekcie Databricks Connect dla Scala.

Przykład: tworzenie pliku w woluminie

W poniższym przykładzie pokazano, jak używać biblioteki Databricks Utilities for Scala do automatyzacji woluminu w Unity Catalog. W tym przykładzie tworzony jest plik o nazwie zzz_hello.txt w ścieżce woluminu w obszarze roboczym, odczytuje dane z pliku, a następnie usuwa plik.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}