다음을 통해 공유

Scala용 Databricks Connect로 마이그레이션

메모

Scala용 Databricks Runtime 13.3 LTS 이상 버전에서 사용할 수 있는 Databricks Connect가 공개 프리뷰중입니다.

이 문서에서는 Scala에 대해 Databricks Runtime 12.2 LTS 이하 버전의 Databricks Connect에서 Databricks Runtime 13.3 LTS 이상 버전의 Databricks Connect로 마이그레이션하는 방법을 설명합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란?.

Databricks Connect 사용을 시작하기 전에 Databricks Connect 클라이언트설정해야 합니다.

이 문서의 Python 관련 내용을 보시려면 Python용 Databricks Connect로 마이그레이션를 참조하세요.

Scala 프로젝트 마이그레이션

  1. Azure Databricks 클러스터와 일치하도록 설치 요구 사항에 나열된 대로 올바른 버전의 JDK(Java Development Kit) 및 Scala를 설치합니다(아직 로컬로 설치되지 않은 경우).

  2. Scala 프로젝트의 빌드 파일(예: build.sbt에서 sbt, pom.xml에서는 Maven, 또는 build.gradle에서는 Gradle)에서 Databricks Connect 클라이언트에 대한 다음 참조를 업데이트합니다.

    Sbt

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    메이븐

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    Gradle

    implementation 'com.databricks.databricks-connect:14.0.0'

    14.0.0 클러스터의 Databricks 런타임 버전과 일치하는 Databricks Connect 라이브러리 버전으로 바꿉니다. Maven 중앙 리포지토리에서 Databricks Connect 라이브러리의 버전 번호를 찾을 수 있습니다.

  3. spark 변수를 초기화하도록 Scala 코드를 업데이트합니다(Spark의 DatabricksSession 유사하게 SparkSession 클래스의 인스턴스화를 나타낸다). 코드 예제는 ScalaDatabricks Connect에 대한 코드 예제를 참조하세요.

  • Last updated on