Compartilhar via

Limitações com o Databricks Connect para Scala

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Este artigo lista as limitações com o Databricks Connect para Scala. O Databricks Connect permite que você conecte IDEs populares, servidores de notebook e aplicativos personalizados aos recursos de computação do Azure Databricks. Confira O que é o Databricks Connect?. Para obter a versão do Python deste artigo, consulte Limitações com o Databricks Connect para Python.

Importante

Dependendo da versão do Scala, Java, Databricks Runtime e Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Confira os Requisitos

Disponibilidade de funcionalidades

Databricks Connect para Databricks Runtime 13.3 LTS e inferior:

  • Streaming foreachBatch
  • Como criar DataFrames maiores que 128 MB
  • Consultas longas ao longo de 3,600 segundos
  • UDFs escalares em recursos de computação que utilizam o modo de acesso dedicado (anteriormente chamado de modo usuário único)

Não disponível:

  • Utilitários do Databricks: credentials, library, notebook workflow e widgets
  • Contexto do Spark
  • RDDs
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterar o nível de log log4j através de SparkContext
  • Treinamento de ML (aprendizado de máquina) distribuído
  • Sincronizando o ambiente de desenvolvimento local com o recurso de computação remota
  • Last updated on