Partilhar via

Limitações do Databricks Connect for Scala

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações do Databricks Connect for Scala. O Databricks Connect permite-lhe ligar IDEs populares, servidores de cadernos e aplicações personalizadas aos recursos de computação do Azure Databricks. Consulte O que é Databricks Connect?. Para obter a versão Python deste artigo, consulte Limitações com o Databricks Connect for Python.

Importante

Dependendo da versão do Scala, Java, Databricks Runtime e Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte Requisitos.

Disponibilidade de funcionalidades

Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:

  • Transmissão foreachBatch
  • Criação de DataFrames maiores que 128 MB
  • Consultas longas superiores a 3600 segundos
  • UDFs escalares em recursos de computação que utilizam modo de acesso dedicado (anteriormente utilizador único)

Não disponível:

  • Utilitários Databricks: credentials, library, notebook workflow, widgets
  • Contexto Spark
  • RDDs (Conjuntos de Dados Distribuídos Resilientes)
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterando o nível de log do log4j através do SparkContext
  • Treinamento distribuído de ML
  • Sincronização do ambiente de desenvolvimento local com o recurso de computação remota
  • Last updated on