Databricks Connect for Scala와 함께 사용하는 Databricks 유틸리티

이 문서에서는 Databricks Connect for Scala에서 Databricks 유틸리티 사용하는 방법을 설명합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란 무엇인가를 참조하십시오..

Databricks Connect 사용을 시작하기 전에 Databricks Connect 클라이언트설정해야 합니다.

이 문서의 Python 버전을 보려면 Python용 Databricks Connect에서 Databricks 유틸리티를 참조하세요.

사용 가능한 Databricks 유틸리티

Databricks Connect를 사용하여 다음과 같이 Databricks 유틸리티에 액세스합니다.

• DBUtils.getDBUtils 사용하여 Databricks 유틸리티를 통해 DBFS(Databricks 파일 시스템)과 비밀에 액세스합니다. DBUtils.getDBUtils Databricks Utilities for Scala 라이브러리에 속합니다.
• 이전 유틸리티 이외의 Databricks 유틸리티 기능은 Scala 프로젝트에 사용할 수 없습니다.
• Scala용 Databricks Connect는 이미 Scala용 Databricks 유틸리티 라이브러리에 대한 종속성을 선언하므로 Scala 프로젝트의 빌드 파일(예: build.sbtsbtpom.xml Maven용 또는 build.gradle Gradle)에서 이 종속성을 명시적으로 선언할 필요가 없습니다.
• Scala용 Databricks 유틸리티 라이브러리에 대한 인증은 Scala용 Databricks Connect 프로젝트에서 DatabricksSession 클래스를 초기화하여 결정됩니다.

예: 볼륨에 파일 만들기

다음 예제에서는 Databricks Utilities for Scala 라이브러리를 사용하여 Unity 카탈로그 볼륨을 자동화하는 방법을 보여 줍니다. 이 예제에서는 작업 영역 내의 볼륨 경로에 이름이 지정된 zzz_hello.txt 파일을 만들고 파일에서 데이터를 읽은 다음 파일을 삭제합니다.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}