Utilitários Databricks com Databricks Connect para Scala

Este artigo descreve como usar de utilitários Databricks com o Databricks Connect for Scala. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?.

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

Para obter a versão Python deste artigo, consulte Databricks Utilities with Databricks Connect for Python.

Utilidades Databricks Disponíveis

Você usa o Databricks Connect para acessar os utilitários Databricks da seguinte maneira:

• Use o/a DBUtils.getDBUtils para aceder o Sistema de Ficheiros do Databricks (DBFS) e os segredos através do Databricks Utilities. DBUtils.getDBUtils pertence à biblioteca Databricks Utilities for Scala.
• Nenhuma funcionalidade de utilitários Databricks além dos utilitários anteriores está disponível para projetos Scala.
• O Databricks Connect for Scala já declara uma dependência na biblioteca Databricks Utilities for Scala, portanto, você não precisa declarar explicitamente essa dependência no arquivo de compilação do seu projeto Scala, como build.sbt for sbt, para Maven pom.xml ou build.gradle para Gradle.
• A autenticação para a biblioteca Databricks Utilities for Scala é determinada através da inicialização da classe DatabricksSession em seu projeto Databricks Connect para Scala.

Exemplo: Criar um ficheiro num volume

O exemplo a seguir mostra como usar a biblioteca Databricks Utilities for Scala para automatizar um volume do Catálogo Unity. Este exemplo cria um arquivo nomeado zzz_hello.txt no caminho do volume dentro do espaço de trabalho, lê os dados do arquivo e exclui o arquivo.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}