Migrar para o Databricks Connect para Scala

Esse artigo descreve como migrar do Databricks Connect para o Databricks Runtime 12.2 LTS e versões anteriores para Databricks Connect para Databricks Runtime 13.3 LTS e versões posteriores para Scala. O Databricks Connect permite que você conecte IDEs populares, servidores de notebook e aplicativos personalizados aos clusters do Azure Databricks. Consulte O que é o Databricks Connect?.

Antes de começar a usar o Databricks Connect, você deve configurar o cliente do Databricks Connect.

Para a versão em Python deste artigo, consulte Migrar para o Databricks Connect em Python.

Migrar seu projeto Scala

1. Instale a versão correta do Java Development Kit (JDK) e do Scala listada nos requisitos de instalação para corresponder ao cluster do Azure Databricks, caso ainda não esteja instalada localmente.

2. No arquivo de build do projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, atualize a seguinte referência para o cliente do Databricks Connect:

   Sbt

   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   Especialista

   <dependency>
     <groupId>com.databricks</groupId>
     <artifactId>databricks-connect</artifactId>
     <version>14.0.0</version>
   </dependency>
   

   Gradle

   implementation 'com.databricks.databricks-connect:14.0.0'
   

   Substitua 14.0.0 pela versão da biblioteca do Databricks Connect que corresponde à versão do Databricks Runtime no cluster. Você pode encontrar as versões da biblioteca Databricks Connect no repositório central do Maven .

3. Atualize o código Scala para inicializar a variável spark (que representa uma instanciação da classe DatabricksSession, semelhante a SparkSession no Spark). Para obter exemplos de código, consulte Exemplos de código para Databricks Connect para Scala.