Databricks Runtime 13.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.0, da plataforma Apache Spark 3.4.0.

O Databricks lançou essa versão em abril de 2023.

Novos recursos e aprimoramentos

• As expressões H3 agora dão suporte a geografias lineares
• Ganglia substituído por métricas de cluster
• Spark 3.4.0 lançado
• O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução
• Novos recursos para E/S preditiva
• Suporte estendido para recursos de E/S Preditiva
• Use o conector do Databricks para se conectar a outro workspace do Databricks
• Opções adicionais do Kafka para Streaming Estruturado com cluster compartilhado no Unity Catalog
• Ignorar modificações na tabela Delta com Streaming Estruturado
• CREATE TABLE LIKE recurso para tabelas Delta
• Novos campos de coluna de metadados indicando o início e comprimento do bloco de arquivos
• Novas funções geoespaciais H3
• Novas funções internas do SQL
• %sql em notebooks Python
• %pip não reinicia o Python automaticamente
• As bibliotecas Python no escopo do cluster são instaladas por um usuário sem privilégios de root

As expressões H3 agora dão suporte a geografias lineares

As funções h3_coverash3 e h3_coverash3string agora dão suporte a geografias lineares (linestring e multilinestring). As funções produzem um conjunto de cobertura mínima de células H3 na resolução especificada. Confira h3_coverash3 e h3_coverash3string.

Ganglia substituído por métricas de cluster

Para versões 13 e superiores do Databricks Runtime, as métricas do Ganglia são substituídas por métricas de cluster do Azure Databricks. Para versões 12 e inferiores do Databricks Runtime, você pode continuar a usar as métricas do Ganglia. Se você tiver um fluxo de trabalho que dependa das métricas do Ganglia e que não possa ser satisfeito com as métricas do cluster, entre em contato com a equipe da sua conta do Azure Databricks. Confira Exibir métricas de computação.

Spark 3.4.0 lançado

O Apache Spark 3.4.0 agora está em disponibilidade geral. Consulte a versão 3.4.0 do Spark.

O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução

As consultas do Photon agora retornam um erro se um arquivo for modificado entre o planejamento da consulta e a execução. Antes dessa alteração, o Photon leria um arquivo mesmo que o tempo de modificação seja alterado entre o planejamento e a execução da consulta, o que poderia levar a resultados imprevisíveis.

Novos recursos para E/S preditiva

O Photon agora dá suporte a quadros deslizantes, para os modos ROWS e RANGE, usando {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Suporte estendido para recursos de E/S preditiva

Suporte estendido do Photon para fontes de dados CSV, AVRO e cache de DataFrame quando seu esquema contiver exclusivamente colunas escalares. O suporte também foi estendido para tipos aninhados, como mapas, structs e matrizes.

Use o conector do Databricks para se conectar a outro workspace do Databricks

O conector do Azure Databricks permite que você se conecte aos recursos de computação configurados em outro workspace e retorne resultados ao workspace atual do Azure Databricks. O driver JDBC do Azure Databricks agora está incluído no Databricks Runtime. Confira Usar o conector do Databricks para se conectar a outro workspace do Databricks.

Opções adicionais do Kafka para Streaming Estruturado com cluster compartilhado no Unity Catalog

Agora você pode usar as configurações kakfa.ssl.truststore.location e kafak.ssl.keystore.location armazenar certificados Kafka em locais externos gerenciados pelo Catálogo do Unity ao usar o Streaming Estruturado em clusters de acesso compartilhado. Não é possível utilizar diretórios na raiz do DBFS.

Ignorar as modificações da tabela Delta com Streaming Estruturado

Agora você pode usar skipChangeCommits para ignorar confirmações de alteração de dados na tabela Delta durante as operações UPDATE, MERGE e DELETE. Isso substitui ignoreChanges, que agora está preterido. Consulte Ignorar atualizações e exclusões.

Recurso CREATE TABLE LIKE para tabelas Delta

Agora, CREATE TABLE LIKE é compatível ao usar tabelas Delta.

Novos campos de coluna de metadados indicando o início e comprimento do bloco de arquivos

Agora você pode obter as seguintes informações de metadados para arquivos de entrada com a coluna _metadata: file_block_start e file_block_length. Para obter mais informações, consulte Coluna de metadados de arquivo.

Novas funções geoespaciais H3

As novas expressões h3_coverash3 e h3_coverash3string estão disponíveis para processamento geoespacial quando o Photon está habilitado. Confira Funções geoespaciais H3

Novas funções internas do SQL

As seguintes funções foram adicionadas:

• array_insert(array, index, elem)Retorna um array expandido em que elem é inserido na posição index.
• luhn_check(numStr) Retorna true se numStr passar na verificação do algoritmo Luhn.

%sql em notebooks Python

Todos os resultados não vazios %sql em notebooks Python agora estão acessíveis usando _sqldf ou o sistema de cache de saída do IPython. Isso simplifica o uso do resultado do DataFrame no Python. Essa é uma mudança de comportamento em relação às versões anteriores do DBR, pois anteriormente, _sqldf nem sempre era reatribuído.

_sqldf não será reatribuído em um resultado de célula %sql se a célula tiver sido executada usando a execução paralela da célula SQL.

%pip não reinicia o Python automaticamente

Depois de executar os comandos %pip dentro de notebooks Python que modificam o virtualEnv, o Databricks não reinicia automaticamente o processo do Python. Para reiniciar o processo do Python, chame dbutils.library.restartPython(). Com essa alteração, os comandos %pip no Databricks se comportam de forma semelhante aos Jupyter Notebooks e são consistentes com os comandos !pip e %sh pip. O Databricks recomenda %pip em vez de !pip ou %sh pip.

Bibliotecas Python com escopo de cluster são instaladas usando um usuário não raiz

As bibliotecas agora são instaladas usando um usuário não raiz responsável pelas instalações da biblioteca. Se você quiser configurar o comportamento de instalação do pip em scripts de inicialização, use o [arquivo https://pip.pypa.io/en/stable/topics/configuration/#configuration-files de nível global).

Correções de bug

• Nos comandos %sh foram feitas as seguintes correções:
  • Agora há suporte para a saída que não contém caracteres UTF-8.
  • Os subprocessos agora são interrompidos quando o comando é cancelado.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • asttokens da 2.0.5 para 2.2.1
  • black da 22.3.0 para 22.6.0
  • boto3 de 1.21.32 para 1.24.28
  • botocore da 1.24.32 para 1.27.28
  • certifi de 08/10/2021 até 14/09/2022
  • cffi de 1.15.0 para 1.15.1
  • cryptografia de 3.4.8 para 37.0.1
  • Cython de 0.29.28 para 0.29.32
  • dbus-python de 1.2.16 para 1.2.18
  • docstring-to-markdown da 0.11 para 0.12
  • executing de 0.8.3 para 1.2.0
  • facets-overview de 1.0.0 para 1.0.2
  • fastjsonschema de 2.16.2 para 2.16.3
  • filelock de 3.9.0 para 3.10.7
  • ipykernel da 6.15.3 para 6.17.1
  • ipython de 8.5.0 para 8.10.0
  • joblib de 1.1.1 para 1.2.0
  • jsonschema da 4.4.0 para 4.16.0
  • jupyter-client de 6.1.12 para 7.3.4
  • kiwisolver da 1.3.2 para 1.4.2
  • matplotlib de 3.5.1 para 3.5.2
  • matplotlib-inline de 0.1.2 para 0.1.6
  • nbformat da 5.3.0 para 5.5.0
  • notebook de 6.4.8 para 6.4.12
  • pandas de 1.4.2 para 1.4.4
  • Pillow de 9.0.1 para 9.2.0
  • pip de 21.2.4 para 22.2.2
  • platformdirs de 2.6.2 para 2.5.2
  • plotly da 5.6.0 para 5.9.0
  • prometheus-client de 0.13.1 para 0.14.1
  • prompt-toolkit da 3.0.20 para 3.0.36
  • psutil de 5.8.0 para 5.9.0
  • pyflakes da 2.5.0 para 3.0.1
  • PyGObject de 3.36.0 para 3.42.1
  • pyparsing da 3.0.4 para 3.0.9
  • pyright da 1.1.283 para 1.1.294
  • python-lsp-server de 1.6.0 para 1.7.1
  • pytz da 2021.3 para 2022.1
  • pyzmq de 22.3.0 para 23.2.0
  • requests da 2.27.1 para 2.28.1
  • rope da 0.22.0 para 1.7.0
  • s3transfer de 0.5.0 para 0.6.0
  • scikit-learn de 1.0.2 para 1.1.1
  • scipy da 1.7.3 para 1.9.1
  • setuptools de 61.2.0 para 63.4.1
  • ssh-import-id da 5.10 para 5.11
  • stack-data da 0.2.0 para 0.6.2
  • testpath de 0.5.0 para 0.6.0
  • tomli de 1.2.2 para 2.0.1
  • ujson da 5.1.0 para 5.4.0
  • urllib3 de 1.26.9 para 1.26.11
  • virtualenv de 20.8.0 para 20.16.3
  • whatthepatch da 1.0.4 para 1.0.2
  • wheel de 0.37.0 para 0.37.1
• Bibliotecas do R atualizadas:
  • arrow de 10.0.0 para 10.0.1
  • bit de 4.0.4 para 4.0.5
  • broom da 1.0.1 para 1.0.3
  • bslib de 0.4.1 para 0.4.2
  • chron da 2.3-58 para 2.3-59
  • cli de 3.4.1 para 3.6.0
  • colorspace da 2.0-3 para 2.1-0
  • curl de 4.3.3 para 5.0.0
  • data.table da 1.14.4 para 1.14.6
  • dbplyr de 2.2.1 para 2.3.0
  • digest da 0.6.30 para 0.6.31
  • dplyr de 1.0.10 para 1.1.0
  • e1071 de 1.7-12 para 1.7-13
  • evaluate da 0.18 para 0.20
  • fansi de 1.0.3 para 1.0.4
  • fontawesome de 0.4.0 para 0.5.0
  • forcats da 0.5.2 para 1.0.0
  • fs de 1.5.2 para 1.6.1
  • future de 1.29.0 para 1.31.0
  • gargle de 1.2.1 para 1.3.0
  • gert de 1.9.1 para 1.9.2
  • glmnet de 4.1-4 para 4.1-6
  • globals de 0.16.1 para 0.16.2
  • gower de 1.0.0 para 1.0.1
  • mais alto de 0,9 para 0,10
  • htmltools de 0.5.3 para 0.5.4
  • htmlwidgets da 1.5.4 para 1.6.1
  • httpuv de 1.6.6 para 1.6.8
  • isoband da 0.2.6 para 0.2.7
  • jsonlite de 1.8.3 para 1.8.4
  • knitr da 1.40 para 1.42
  • lava de 1.7.0 para 1.7.1
  • listenv de 0.8.0 para 0.9.0
  • lubridate de 1.9.0 para 1.9.1
  • markdown de 1.3 para 1.5
  • modelr da 0.1.9 para 0.1.10
  • openssl de 2.0.4 para 2.0.5
  • parallelly da 1.32.1 para 1.34.0
  • pkgbuild de 1.3.1 para 1.4.0
  • pkgdown de 2.0.6 para 2.0.7
  • pkgload de 1.3.1 para 1.3.2
  • plyr de 1.8.7 para 1.8.8
  • progressr de 0.11.0 para 0.13.0
  • purrr de 0.3.5 para 1.0.1
  • ragg da 1.2.4 para 1.2.5
  • Rcpp de 1.0.9 para 1.0.10
  • readxl da 1.4.1 para 1.4.2
  • recipes de 1.0.3 para 1.0.4
  • rmarkdown de 2.18 para 2.20
  • RODBC da 1.3-19 para 1.3-20
  • roxygen2 de 7.2.1 para 7.2.3
  • RSQLite de 2.2.18 para 2.2.20
  • sass da 0.4.2 para 0.4.5
  • shiny de 1.7.3 para 1.7.4
  • sourcetools de 0.1.7 para 0.1.7-1
  • sparklyr da 1.7.8 para 1.7.9
  • SparkR de 3.3.2 para 3.4.0
  • spatial da 7.3-11 para 7.3-15
  • cadeia de caracteres de 1.7.8 para 1.7.12
  • stringr de 1.4.1 para 1.5.0
  • survival de 3.4-0 para 3.5-3
  • testthat da 3.1.5 para 3.1.6
  • tidyr de 1.2.1 para 1.3.0
  • timechange da 0.1.1 para 0.2.0
  • timeDate da 4021.106 para 4022.108
  • tinytex de 0.42 para 0.44
  • utf8 de 1.2.2 para 1.2.3
  • vctrs da 0.5.0 para 0.5.2
  • vroom de 1.6.0 para 1.6.1
  • whisker da 0.4 para 0.4.1
  • xfun de 0.34 para 0.37
  • yaml da 2.3.6 para 2.3.7
• Bibliotecas do Java atualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-config de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-core da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-directory da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-ecs de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-efs de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-emr de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-glacier da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-glue da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-iam de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-importexport de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-kms da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-lambda de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-logs de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-rds de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-redshift de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-route53 de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-s3 de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-ses da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-sns de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-sqs de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-ssm de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-sts de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-support da 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces da 1.12.189 para 1.12.390
  • com.amazonaws.jmespath-java de 1.12.189 para 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations da 2.13.4 para 2.14.2
  • com.fasterxml.jackson.core.jackson-core de 2.13.4 para 2.14.2
  • com.fasterxml.jackson.core.jackson-databind de 2.13.4.2 para 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.4 para 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.4 para 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.4 para 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 para 2.14.2
  • com.github.luben.zstd-jni de 1.5.2-1 para 1.5.2-5
  • com.google.code.gson.gson de 2.8.6 para 2.8.9
  • com.google.crypto.tink.tink da 1.6.1 para 1.7.0
  • com.h2database.h2 de 2.0.204 para 2.1.214
  • com.jcraft.jsch de 0.1.50 para 0.1.55
  • com.ning.compress-lzf de 1.1 para 1.1.2
  • commons-fileupload.commons-fileupload de 1.3.3 para 1.5
  • dev.ludovic.netlib.arpack de 2.2.1 para 3.0.3
  • dev.ludovic.netlib.blas de 2.2.1 para 3.0.3
  • dev.ludovic.netlib.lapack de 2.2.1 para 3.0.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.9 para 0.6.3
  • io.dropwizard.metrics.metrics-core de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-graphite de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-jmx de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-json de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-jvm de 4.1.1 para 4.2.10
  • io.dropwizard.metrics.metrics-servlets de 4.1.1 para 4.2.10
  • io.netty.netty-all de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-buffer de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-codec de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-common de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-handler de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-resolver de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-transport de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-transport-classes-epoll de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-transport-native-unix-common de 4.1.74.Final para 4.1.87.Final
  • joda-time.joda-time de 2.10.13 para 2.12.1
  • net.razorvine.pickle de 1.2 para 1.3
  • net.snowflake.snowflake-jdbc de 3.13.29 para 3.13.22
  • org.antlr.antlr4-runtime da 4.8 para 4.9.3
  • org.apache.ant.ant da 1.9.2 para 1.9.16
  • org.apache.ant.ant-jsch de 1.9.2 para 1.9.16
  • org.apache.ant.ant-launcher da 1.9.2 para 1.9.16
  • org.apache.arrow.arrow-format de 7.0.0 para 11.0.0
  • org.apache.arrow.arrow-memory-core de 7.0.0 para 11.0.0
  • org.apache.arrow.arrow-memory-netty de 7.0.0 para 11.0.0
  • org.apache.arrow.arrow-vector da 7.0.0 para 11.0.0
  • org.apache.avro.avro de 1.11.0 para 1.11.1
  • org.apache.avro.avro-ipc de 1.11.0 para 1.11.1
  • org.apache.avro.avro-mapred de 1.11.0 para 1.11.1
  • org.apache.httpcomponents.httpclient da 4.5.13 para 4.5.14
  • org.apache.httpcomponents.httpcore da 4.4.14 para 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api da 2.18.0 para 2.19.0
  • org.apache.logging.log4j.log4j-api de 2.18.0 para 2.19.0
  • org.apache.logging.log4j.log4j-core da 2.18.0 para 2.19.0
  • org.apache.orc.orc-core da 1.7.8 para 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 1.7.8 para 1.8.2-shaded-protobuf
  • org.apache.orc.orc-shims da 1.7.8 para 1.8.2
  • org.apache.xbean.xbean-asm9-shaded da 4.20 para 4.22
  • org.apache.zookeeper.zookeeper de 3.6.2 para 3.6.3
  • org.apache.zookeeper.zookeeper-jute de 3.6.2 a 3.6.3
  • org.eclipse.jetty.jetty-client de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-continuation de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-http de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-security de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-server de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-api de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 para 9.4.50.v20221201
  • org.hibernate.validator.hibernate-validator de 6.1.0.Final para 6.1.7.Final
  • org.mlflow.mlflow-spark da 2.1.1 para 2.2.0
  • org.postgresql.postgresql de 42.3.3 para 42.3.8
  • org.roaringbitmap.RoaringBitmap da 0.9.25 para 0.9.39
  • org.roaringbitmap.shims de 0.9.25 para 0.9.39
  • org.rocksdb.rocksdbjni de 6.28.2 para 7.8.3
  • org.scala-lang.scala-compiler_2.12 de 2.12.14 para 2.12.15
  • org.scala-lang.scala-library_2.12 de 2.12.14 para 2.12.15
  • org.scala-lang.scala-reflect_2.12 de 2.12.14 para 2.12.15
  • org.scalanlp.breeze-macros_2.12 de 1.2 para 2.1.0
  • org.scalanlp.breeze_2.12 de 1.2 para 2.1.0
  • org.slf4j.jcl-over-slf4j de 1.7.36 para 2.0.6
  • org.slf4j.jul-to-slf4j de 1.7.36 para 2.0.6
  • org.slf4j.slf4j-api de 1.7.36 para 2.0.6
  • org.threeten.threeten-extra de 1.5.0 para 1.7.1
  • org.wildfly.openssl.wildfly-openssl de 1.0.7.Final para 1.1.3.Final
  • org.yaml.snakeyaml da 1.24 para 1.33

Apache Spark

O Databricks Runtime 13.0 inclui o Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• Streaming estruturado
• Spark Connect
• PySpark
• MLLIB
• SparkR
• Serviço de Interface do Usuário ao Vivo e Servidor de Históricos
• Compilar

Spark SQL

Recursos

• Implementação de suporte para valores DEFAULT para colunas em tabelas (SPARK-38334)
• Adicionar Dataset.as(StructType) (SPARK-39625)
• Compatível com SQL parametrizado (SPARK-41271, SPARK-42702)
• Adicionar transformar colunas em linhas / melt (SPARK-38864, SPARK-39876)
• Compatível com "referências de alias de coluna lateral" (SPARK-27561)
• Compatível com cláusula de deslocamento de resultado (SPARK-28330, SPARK-39159)
• Compatível com carimbo de data/hora sem tipo de dados de fuso horário (SPARK-35662)
• Suporte a subconsulta escalar em viagem no tempo (SPARK-39306)
• Torne a API do Catálogo compatível com o namespace de 3 camadas (SPARK-39235)
• Suporte ao carimbo de data/hora em segundos para TimeTravel usando opções de DataFrame (SPARK-39633)
• Adicionar SparkSession.config(Map) (SPARK-40163)
• Suporte para a alteração do banco de dados padrão do catálogo de sessão (SPARK-35242)
• Suporte ao Protobuf para Spark - from_protobuf E to_protobuf (SPARK-40654)
• Adicionar a cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO (SPARK-40921)
• Flexibilizar a restrição de ordenação para as opções da coluna CREATE TABLE (SPARK-40944)
• Equivalente do SQL para o comando de substituição de Dataframe (SPARK-40956)
• Suporte a Generate sem saída obrigatória do filho para hospedar referências externas (SPARK-41441)
• ORDER BY ALL (SPARK-41637)
• GROUP BY ALL (SPARK-41635)
• Adicionar flatMapSortedGroups e cogroupSorted (SPARK-38591)
• Compatível com subconsultas com predicados de não igualdade correlacionados (SPARK-36114)
• Suporte a subconsultas com correlação por meio de UNION/INTERSECT/EXCEPT (SPARK-36124)

Conformidade com ANSI

• Modo ANSI do SQL: sempre retornar nulo no acesso inválido à coluna do mapa (SPARK-40066)
• Suporte a identificadores entre aspas duplas (SPARK-40585)
• Modo ANSI do SQL Round/Bround deve retornar um erro em caso de estouro de inteiro (SPARK-42045)
• Suporte a conversão de integrais em intervalos ANSI (SPARK-40008)
• Suporte para conversão de decimais para intervalos ANSI (SPARK-40014)
• Devolver tipos de intervalo ANSI mais amplos das funções percentil (SPARK-40151)
• Suporte à conversão de intervalos ANSI para decimais (SPARK-39470)
• Suporte à conversão de intervalos em integrais no modo ANSI (SPARK-39451)
• Proteger o uso do SQLSTATE para classes de erro (SPARK-41994)

Functions

• Suporte para funções geradoras de valor de tabela na cláusula FROM (SPARK-41594)
• Compatível com a função de agregação ANSI: REGR_SXY (SPARK-37681)
• Compatível com a função de agregação ANSI: REGR_R2 (SPARK-37641)
• Compatível com a função de agregação ANSI: REGR_SXX (SPARK-37672)
• Compatível com a função de agregação ANSI: REGR_SYY (SPARK-37702)
• Compatível com a função de agregação ANSI: REGR_SLOPE (SPARK-39230)
• Compatível com a função de agregação ANSI: REGR_INTERCEPT (SPARK-37623)
• Suporte à função de agregação ANSI PERCENTILE_CONT como função de janela (SPARK-38219)
• Suporte à função de agregação ANSI: PERCENTILE_DISC (SPARK-37691)
• Compatível com a função SPLIT_PART (SPARK-38063)
• Dá suporte à função TRY_AVG (SPARK-38589)
• Suporte à função TRY_TO_BINARY (SPARK-38590)
• Suporte às funções SQL TO_NUMBER e TRY_TO_NUMBER de acordo com uma nova especificação (SPARK-38796)
• Suporte à especificação geral de valor ANSI e função - USER (SPARK-39138)
• Compatível com as funções TO_CHAR e TRY_TO_CHAR para formatar valores decimais como cadeias de caracteres (SPARK-28516)
• Suporte para a função de agregação ANY_VALUE (SPARK-39213)
• Suporte à função EQUAL_NUL (SPARK-39305)
• Suporte à função de agregação MEDIAN (SPARK-39320)
• Suporte à função REGEXP_COUNT (SPARK-39618)
• Compatível com a função REGEXP_INSTR (SPARK-39744)
• Compatível com a função REGEXP_SUBSTR (SPARK-39695)
• Suporte à função UNPIVOT (SPARK-39876)
• Suporte à função TRY_TO_TIMESTAMP (SPARK-39795)
• Suporte para codificar/decodificar URLs como função interna e organizar funções relacionadas a URLs (SPARK-39741)
• Suporte à função de agregação MODE (SPARK-39808)
• Suporte à função GET (SPARK-40109)
• Adicionar aliases de função: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Melhorar a função TO_BINARY (SPARK-40112)
• Compatível com CURRENT_SCHEMA (SPARK-41323)
• Suporte à função interna de mascaramento de dados MASK (SPARK-40687)
• Suporte a função de ordem superior: ARRAY_COMPACT (SPARK-41235)
• Suporte para a função ARRAY_APPEND (SPARK-41232)
• Suporte para a função ARRAY_INSERT (SPARK-41234)
• Compatível com a função LUHN_CHECK (SPARK-42191)
• Compatível com ARRAY_SORT(column, comparator) (SPARK-39925)

Fontes de dados

• Suporte a Estatísticas de Coluna na DS v2 (SPARK-41378)
• Junção Particionada por Armazenamento (SPJ) no DS v2 (SPARK-37375)
• Operações de nível de linha no DS v2 (SPARK-35801)
• Adicionar a combinação SupportsReportOrdering na interface para Digitalização DS v2 (SPARK-38647)
• Inferir o tipo de DATE para inferência de esquema (SPARK-39469)
• Compatível com métricas de driver na API de métrica personalizada DS v2 (SPARK-39635)
• A distribuição e ordenação são compatível com a função DS v2 por escrito (SPARK-39607)
• Suporte ao push down de StringEndsWith/Contains para Parquet, permitindo o uso de filtro por dicionário (SPARK-39002)
• Suporte a UDT no leitor vetorizado do Spark Parquet (SPARK-39086)
• Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet (SPARK-37980)
• Suporte à leitura do tipo parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
• Otimizar a ordem dos predicados de filtragem (SPARK-40045)
• Suporte a consultas de CTE e tabela temporária com JDBC MSSQL (SPARK-37259)
• Suporte para ignoreCorruptFiles e ignoreMissingFiles nas opções de fonte de dados (SPARK-38767)
• Extrair a gravação v1 para WriteFiles (SPARK-41407)
• Adicionar preenchimento de caractere do lado da leitura para cobrir arquivos de dados externos (SPARK-40697)

Otimização de consultas

• Mesclagem de subconsultas escalares não correlacionadas (SPARK-34079)
• Habilitar junções de filtro Bloom por padrão (SPARK-38841)
• Remover duplicatas desnecessárias na expressão de agregação por distinctKeys (SPARK-38832)
• Suporte a pushdown de predicado e eliminação de colunas para CTEs sem duplicação (SPARK-37670)
• Remover a junção externa se as funções de agregação forem agnósticas a duplicatas no lado transmitido (SPARK-38886)
• Remover a junção externa esquerda/direita se apenas as colunas do lado esquerdo/direito forem selecionadas e as chaves de junção do outro lado forem exclusivas (SPARK-39172)
• Otimizar a ordenação global para RepartiçãoPorExpressão (SPARK-39911)
• Otimizar a regra TransposeWindow (SPARK-38034)
• Aprimorar EliminateSorts para dar suporte à remoção de ordenações por meio de LocalLimit (SPARK-40050)
• Enviar limite local para ambos os lados se a condição de junção estiver vazia (SPARK-40040)
• Adicionar PushProjectionThroughLimit ao otimizador (SPARK-40501)
• Suporte a PIVOT/UNPIVOT com filhos da junção (SPARK-41195)
• Suporte à eliminação de colunas com vários Filtros não determinísticos (SPARK-41017)
• Aprimorar o particionamento e a ordenação da saída com o cache do AQE (SPARK-41048)
• Melhorar o desempenho de várias curtidas criando um predicado de árvore de expressão balanceada (SPARK-41167)
• Remover a Classificação se for filho de RepartitionByExpression (SPARK-36703)
• Usar estatísticas de colunas disponíveis de estágios de consulta concluídos (SPARK-39991)
• Reutilizar expressões em WindowSpecDefinition (SPARK-41805)
• Melhorar AliasAwareOutputPartitioning e AliasAwareQueryOutputOrdering para levar todos os aliases em conta (SPARK-40086, SPARK-42049)
• Enviar limite por UDFs Python (SPARK-42115)

Geração de Código e Execução de Consulta

• Fazer defaultJoin em BroadcastNestedLoopJoinExec em execução em paralelo (SPARK-40487)
• Suporte de Codegen para HiveGenericUDF (SPARK-42051)
• Introduzir a ordem aleatória em SinglePartition (SPARK-41986)
• Fazer com que o DPP dê suporte à eliminação de lado tenha Union (SPARK-39217)

Outras alterações importantes

• Suporte à Coleta Automática de Estatísticas de Partição (SPARK-38573)
• Formatar mensagens de erro no Thrift Server (SPARK-40098)
• Adicionar uma API de extensão para normalização do plano para cache (SPARK-41183)
• Refatorar tipos do Spark introduzindo tipos físicos (SPARK-41226)
• Suporte ao campo OneOf e verificações de recursão (SPARK-41396)
• Centralizar a lógica de resolução de coluna (SPARK-41405)
• Melhorar a validação de alteração do plano (SPARK-42081)
• Introduzir o SparkPath para segurança de tipo (SPARK-41970)
• Gerar exceção para db_name.view_name ao criar visão temporária pela API Dataset (SPARK-41090)
• Alterar o valor padrão da função de Máscara de -1 para NULL (SPARK-42070)

Spark Core

Desativação

• Evite executar novamente tarefas desnecessárias no executor desativado perdido se os dados em ordem aleatória forem migrados (SPARK-41469)
• Ignorar falha de busca de estágio causada pelo executor desativado (SPARK-40481)
• Habilitar spark.storage.decommission.(rdd|shuffle)Blocks.enabled por padrão (SPARK-40198)
• Adicionar suporte para descomissionamento do YARN quando o ESS estiver desabilitado (SPARK-30835)

Agendador

• Tornar o agendamento de etapas compatível com o modo de cluster local (SPARK-41949)
• Suporte ao perfil de recurso de tarefa de nível de estágio para cluster independente quando a alocação dinâmica está desabilitada (SPARK-39853)
• Atraso onDisconnected para habilitação O driver recebe ExecutorExitCode (SPARK-39957)
• Melhorar a especulação por meio das métricas de tarefa de estágio (SPARK-32170)
• Adicionar compatibilidade com o agendamento de recursos em nível de fase para cluster autônomo (SPARK-39062)
• Aprimorar o processo LaunchTask para evitar falhas na etapa causadas por mensagens LaunchTask que não forem enviadas (SPARK-39955)

Ordem aleatória

• Adicionar métricas de leitura no lado cliente para Push-Based Shuffle (SPARK-36620)
• Métricas do lado do servidor para Push-Based ShuffleSPARK-33573)
• Verifique se mergedShuffleCleaner foi desligado antes do fechamento do banco de dados (SPARK-40186)
• Adicionar suporte ao RocksDB para o repositório de estado do serviço de ordem aleatória (SPARK-38888)
• Encapsular LevelDB usado para armazenar o estado de embaralhamento remoto/externo como BD (SPARK-38909)
• Habilitar spark.dynamicAllocation.shuffleTracking.enabled por padrão (SPARK-3984)
• Habilitar o serviço de ordem aleatória baseado em push para armazenar o estado em DB nível NM para reinicialização de preservação do trabalho (SPARK-33236)
• Remover blocos de ordem aleatória usando o serviço de ordem aleatória para executores liberados (SPARK-37618)

Outras alterações importantes

• Compatibilidade com ambiente somente IPv6 (SPARK-39457)
• Habilitar spark.kryo.unsafe por padrão (SPARK-42137)
• Proibir o classpath personalizado arbitrário com usuário proxy no modo cluster (SPARK-41958)
• Evitar o novo registro do BlockManager se o executor tiver sido perdido (SPARK-41360)
• Remover a limitação de que o resultado de uma única tarefa deve caber em 2 GB (SPARK-40622)
• Remover o suporte de configurações de spark.akka.* preteridas (SPARK-40401)
• Alterar o registro padrão para stderr para ser consistente com o comportamento de log4j (SPARK-40406)
• Excluir metadados directTaskResult ao calcular o tamanho do resultado (SPARK-40261)
• Permitir a personalização do número de partições iniciais no comportamento take() (SPARK-40211)
• Use o bloqueio interruptível em vez do bloqueio sincronizado em Executor.updateDependencies() (SPARK-40235)
• A falha da tarefa deve sempre disparar os ouvintes de falha da tarefa (SPARK-40106)
• Adicionar a capacidade de desabilitar seletivamente a observação ou sondagem (SPARK-36462)
• Não armazenar as relações de transmissão não serializadas em cache no driver (SPARK-39983)
• Consertar o deadlock entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Expor o número de partições em um estágio para TaskContext (SPARK-38679)
• Tornar o fator de sobrecarga de memória configurável (SPARK-38194)
• Evitar usar bash -c em ShellBasedGroupsMappingProvider (SPARK-38992)

Streaming estruturado

Principais Recursos

• Rastreamento Assíncrono de Progresso (SPARK-39591)
• Processamento de Estado Arbitrário com Python no Streaming Estruturado (SPARK-40434)
• Suporte ao Protobuf no Streaming Estruturado (SPARK-40653)
• Corrigir a filtragem de registro tardia para dar suporte ao encadeamento de operadores com estado (SPARK-40925)

Outras alterações importantes

• Introdução a um gerenciador de arquivos para pontos de verificação em streaming baseado na interface Abortável do Hadoop (SPARK-40039)
• Descontinuar Trigger.Once e introduzir Trigger.AvailableNow (SPARK-39805)
• Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming (SPARK-39564)
• Compatível com a coleta de métricas de coletores de streaming (SPARK-38564)
• Preterir a API DStream (SPARK-42075)
• Inverter o valor padrão da configuração de busca de deslocamento do Kafka (SPARK-40844)
• Fornecer a sessão do Spark clonada no DataFrame na função do usuário para coletor foreachBatch no PySpark (SPARK-41379)

Spark Connect

Cliente do Python

• Implementar a API do DataFrame (SPARK-41279)
• Implementar a API de Coluna (SPARK-41282)
• Implementar a API de Funções (SPARK-41283)
• Implementar a API SparkSession (SPARK-41281)
• Implementar a API de E/S (SPARK-41284)
• Implementar a API de Catálogo (SPARK-41289)
• Compatível com funções definidas pelo usuário no Python (SPARK-41661)
• Suporte para a API de Função Pandas/Arrow (SPARK-42393)
• Suporte para configuração de SQL em tempo de execução (SPARK-42499)
• Construção, pacote e infraestrutura para Spark Connect (SPARK-41286)
• Anotações de tipo para o cliente Python do Spark Connect (SPARK-40451)

Cliente do Scala

• Implementar o cliente Scala básico (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Implementar a API SparkSession (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Implementar a API de Dataframe (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Implementar a API de Coluna (SPARK-42441, SPARK-42560)
• Implementar a API de Funções (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Implementar a API E/S (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Implementar a configuração de SQL de runtime (SPARK-42586)
• Suporte básico a funções definidas pelo usuário (SPARK-42283, SPARK-42653, SPARK-42543)
• Suporte básico à API tipada (SPARK-42580, SPARK-42605)
• Infraestrutura de teste para Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Implementar o suporte a REPL (SPARK-42656, SPARK-42884)

PySpark

API do Pandas no Spark

• Melhoria importante
  • Processamento de Estado Arbitrário com Python no Streaming Estruturado (SPARK-40434)
  • Implementar parâmetros ausentes da API do Pandas (SPARK-42883)
  • Compatível com o Pandas 1.5 (SPARK-40576)
• Recurso principal
  • Implementar Series.searchsorted (SPARK-40330)
  • Implementar Series.autocorr (SPARK-38774)
  • Implementar DataFrame.mode (SPARK-40138)
  • Implementar DataFrame.boxplot e DataFrame.plot.box (SPARK-38993)
  • Implementar DataFrame.corrwith (SPARK-38907)
  • Implementar DataFrame.resample e Series.resample (SPARK-39081)
  • Implementar DataFrame.interpolate e Series.interpolate (SPARK-38844)
  • Implementar DataFrame.ewm e Series.ewm (SPARK-38785)
  • Implementar GroupBy.prod (SPARK-40334)
  • Implementar GroupBy.nth (SPARK-40333)
  • Implementar GroupBy.quantile (SPARK-40332)
  • Implementar GroupBy.sem (SPARK-40305)
  • Implementar GroupBy.mad (SPARK-39284)
  • Implementar GroupBy.skew (SPARK-39246)
  • Implementar GroupBy.sem (SPARK-39129)
  • Suporte à indexação posicional do GroupBy (SPARK-38947)

Outras alterações importantes

• Aprimoramentos principais
  • Fornecer uma ferramenta de análise de memória para funções definidas pelo usuário do PySpark (SPARK-40281)
  • Torne a API do Catálogo compatível com o namespace de 3 camadas (SPARK-39235)
  • Suporte a entrada NumPy no PySpark (SPARK-39405)
  • Melhorias de erro do PySpark (SPARK-41597)
• Principais recursos
  • Compatível com SQL parametrizado no PySpark (SPARK-41666)
  • Implementar a função 'median' (SPARK-40003)
  • Implementar a função 'mode' (SPARK-40007)
  • Implementar a função 'unpivot/melt' (SPARK-39877)
  • Compatibilidade com Varchar no PySpark (SPARK-39760)
  • Compatibilidade com CharType no PySpark (SPARK-39809)

MLLIB

• Implementar o Distribuidor PyTorch (SPARK-41589)
• Unificar a validação de dados (SPARK-38584)
• Reduzir o tamanho da ordem aleatória do ALS (SPARK-40476, SPARK-40745)
• Recursos duplicados de regressão isotônica de eliminação de duplicação (SPARK-41008)
• Bloquear a entrada de vetores do KMeans (SPARK-30661)
• Adicionar pontuação de relevância para avaliação do nDCG (SPARK-39446)

SparkR

• Adicionar transformar colunas em linhas/melt (SPARK-41267)
• Adicionar array_sort(column, comparator) (SPARK-40167)
• Suporte à remoção de várias 'Colunas' no R (SPARK-40087)
• Compatibilidade do Arrow 9.0.0 com o SparkR (SPARK-40114)
• Tornar a API de Catálogo compatível com namespace de três camadas (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Compatível com R 4.2.0 (SPARK-39372)

Serviço do Servidor de Histórico e Interface do Usuário ao Vivo

• Melhor escalabilidade da interface do usuário do Spark e estabilidade do driver para aplicativos grandes (SPARK-41053)
• Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão (SPARK-42277)
• Agrupar execuções aninhadas na execução raiz (SPARK-41752)
• Mostrar propriedades de métricas na guia ambiente (SPARK-39110)
• Corrigir o tamanho de entrada da StagePage; os registros não são mostrados quando são maiores que zero (SPARK-34777)
• Aprimorar o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s (SPARK-39489)
• Suporte a spark.history.fs.update.batchSize (SPARK-39225)

Construir

• Atualizar cloudpickle para v2.2.0 (SPARK-40991)
• Deprecar o suporte ao Python 3.7 (SPARK-39861)
• Compatível com Python 3.11 (SPARK-41454)
• Atualizar dev.ludovic.netlib para 3.0.2 (SPARK-40251)
• Atualizar o breeze para 2.0 (SPARK-39616)
• Atualize a versão slf4j para 2.0.6 (SPARK-41561)
• Atualizar a versão do kubernetes-client para 6.4.1 (SPARK-42362)
• Atualizar rocksdbjni para 7.9.2 ( SPARK-42129)
• Atualizar o Apache Arrow para 11.0.0 ( SPARK-42161 )
• Atualizar o Apache Kafka para 3.3.2 (SPARK-42109)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.0.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)