Ambiente sem servidor versão 4

Este artigo descreve as informações do ambiente do sistema para o ambiente sem servidor versão 4.

Para garantir a compatibilidade do aplicativo, as cargas de trabalho sem servidor usam uma API versionada, conhecida como versão do ambiente, que permanece compatível com as versões mais recentes do servidor.

Você pode selecionar a versão do ambiente usando o painel lateral Ambiente em seus blocos de anotações sem servidor. Consulte Selecionar uma versão do ambiente.

Novos recursos e melhorias

Os novos recursos e melhorias a seguir estão disponíveis no ambiente sem servidor 4.

Suporte ao Spark ML em computação sem servidor

A computação sem servidor agora suporta Spark ML no PySpark (pyspark.ml) e MLflow para Spark (mlflow.spark) na versão 4 do ambiente. Para ajuste de hiperparâmetros na computação sem servidor, o Databricks recomenda o uso do Optuna e do Joblib Spark.

As seguintes limitações se aplicam ao executar o SparkML em computação sem servidor:

• O tamanho máximo do modelo é de 100MB.
• O tamanho total máximo dos modelos na memória por sessão é de 1 GB.
• O treinamento do modelo de árvore é interrompido antecipadamente se o tamanho do modelo estiver prestes a exceder 100 MB.
• Os seguintes modelos SparkML não são suportados:
  • Modelo LDA Distribuído
  • FPGrowthModel

UDFs Python escalares agora suportam credenciais de serviço

UDFs Python escalares podem usar credenciais de serviço Unity Catalog para acessar com segurança serviços de nuvem externos. Para obter mais informações, consulte Credenciais de serviço em UDFs Python escalares.

O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto

O PySpark e o Spark Connect agora suportam a API, que antes só estava disponível para o df.mergeInto Scala.

Atualizações da API

O ambiente sem servidor 4 inclui as seguintes atualizações de API:

• Faísca-50915 Adicionar getCondition e depreciar getErrorClassPySparkException
• FAÍSCA-50719 Suporte interruptOperation para PySpark
• FAÍSCA-50718 Suporte addArtifact(s) para PySpark
• Faísca-49530 Suporte a subparcelas de pizza na plotagem do PySpark
• Faísca-50357 APIs de suporte Interrupt(Tag|All) para PySpark
• Faísca-51178 Gerar erro PySpark adequado em vez de SparkConnectGrpcException
• Faísca-51227 Corrigir PySpark Connect _minimum_grpc_version para 1.67.0
• FAÍSCA-50778 Adicionar metadataColumn ao PySpark DataFrame
• Faísca-50311 APIs de suporte (add|remove|get|clear)Tag(s) para PySpark
• Faísca-50310 Adicionar um sinalizador para desativar DataFrameQueryContext o PySpark
• Faísca-50238 Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs de UC Python
• Faísca-50183 Unifique as funções internas para Pandas API e PySpark Plotting
• Faísca-50170 Mover _invoke_internal_function_over_columns para pyspark.sql.utils
• Faísca-50167 Melhore as mensagens de erro e importações de plotagem do PySpark
• FAÍSCA-48961 Tornar a nomenclatura de PySparkException parâmetros consistente com a JVM
• FAÍSCA-49567 Use clássico em vez de baunilha da base de código PySpark
• Faísca-48755transformWithState Implementação e ValueState suporte da base PySpark
• FAÍSCA-48714 Implementar DataFrame.mergeInto no PySpark
• Faísca-47365 Adicionar toArrow() método DataFrame ao PySpark
• Faísca-48075 Verificação de tipo para funções avro PySpark
• FAÍSCA-46984 Remover pyspark.copy_func
• Faísca-46213 Introduzir PySparkImportError para o quadro de erros
• Faísca-46226 Migrar todo o restante RuntimeError para a estrutura de erro do PySpark
• Faísca-45450 Fixar as importações de acordo com o PEP8: pyspark.pandas e pyspark (core)

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.2 LTS
• Píton: 3.12.3
• Databricks Connect: 17 (O Databricks Connect é continuamente atualizado na versão mais recente do ambiente serverless. Corre pip list para confirmar a versão exata no teu ambiente atual.)
• Escala: 2.13.16
• JDK: 17

Bibliotecas Python instaladas

Para reproduzir o ambiente sem servidor 4 em seu ambiente virtual Python local, baixe o arquivo requirements-env-4.txt e execute pip install -r requirements-env-4.txt. Este comando instala todas as bibliotecas de código aberto do ambiente sem servidor 4.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)