Tempo de execução do Databricks 13.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.0, alimentado pelo Apache Spark 3.4.0.

A Databricks lançou esta versão em abril de 2023.

Novos recursos e melhorias

• As expressões H3 agora suportam geografias lineares
• Ganglia substituídos por métricas do grupo
• Spark 3.4.0 lançado
• O Photon retorna um erro se um arquivo for modificado entre o planejamento e a execução da consulta
• Novos recursos para E/S preditiva
• Suporte estendido para recursos de E/S preditiva
• Use o conector Databricks para se conectar a outro espaço de trabalho Databricks
• Opções adicionais do Kafka para Streaming estruturado com cluster compartilhado no Unity Catalog
• Ignorar modificações de tabela Delta com Structured Streaming
• CREATE TABLE LIKE recurso para tabelas Delta
• Novos campos de coluna de metadados indicando o início e o comprimento do bloco de arquivos
• Novas funções geoespaciais H3
• Novas funções internas do SQL
• %sql em blocos de anotações Python
• %pip não reinicia automaticamente o Python
• As bibliotecas Python com escopo de cluster são instaladas usando um usuário não-root

As expressões H3 agora suportam geografias lineares

As h3_coverash3 funções e h3_coverash3string agora suportam geografias lineares (linestring e multilinestring). As funções produzem um conjunto de cobertura mínimo de células H3 na resolução especificada. Veja h3_coverash3 e h3_coverash3string.

Métricas do cluster substituíram o Ganglia

Para as versões 13 e superiores do Databricks Runtime, as métricas do Ganglia são substituídas pelas métricas de cluster do Azure Databricks. Para as versões 12 e anteriores do Databricks Runtime, podes continuar a utilizar as métricas do Ganglia. Se tiver um fluxo de trabalho que dependa das métricas do Ganglia que não possam ser satisfeitas com as métricas de cluster, contacte a equipa da sua conta Azure Databricks. Consulte Exibir métricas de computação.

Spark 3.4.0 lançado

O Apache Spark 3.4.0 já está disponível para o público em geral. Consulte Spark Release 3.4.0.

O Photon retorna um erro se um arquivo for modificado entre o planejamento e a execução da consulta

As consultas de fóton agora retornam um erro se um arquivo for atualizado entre o planejamento e a execução da consulta. Antes dessa alteração, o Photon lia um arquivo mesmo que seu tempo de modificação mudasse entre o planejamento e a execução da consulta, o que poderia levar a resultados imprevisíveis.

Novos recursos para E/S preditiva

Photon agora suporta quadros deslizantes, para os modos ROWS e RANGE, usando {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Suporte estendido para recursos de E/S preditiva

Suporte estendido do Photon para fontes de dados CSV, AVRO e armazenamento em cache do DataFrame quando o seu esquema contém exclusivamente colunas escalares. O suporte também é estendido para tipos aninhados, como mapas, estruturas e matrizes.

Utilize o conector Databricks para se conectar a outro espaço de trabalho Databricks

O conector do Azure Databricks permite que você se conecte a recursos de computação configurados em outro espaço de trabalho e retorne resultados ao seu espaço de trabalho atual do Azure Databricks. O driver JDBC do Azure Databricks agora está incluído no Databricks Runtime. Consulte Usar o conector Databricks para se conectar a outro espaço de trabalho Databricks.

Opções adicionais do Kafka para Streaming estruturado com cluster compartilhado no Unity Catalog

Agora você pode usar as configurações kakfa.ssl.truststore.location e kafak.ssl.keystore.location armazenar certificados Kafka em locais externos gerenciados pelo Unity Catalog ao usar o Streaming estruturado em clusters de acesso compartilhado. Não é possível usar locais na raiz do DBFS.

Ignorar modificações de tabela Delta com Streaming Estruturado

Agora você pode usar skipChangeCommits para ignorar confirmações de alteração de dados na tabela Delta para UPDATE, MERGEe DELETE operações. Isso substitui ignoreChangeso , que agora está obsoleto. Consulte Ignorar atualizações e exclusões.

CREATE TABLE LIKE recurso para tabelas Delta

O suporte para CREATE TABLE LIKE já está disponível ao utilizar tabelas Delta.

Novos campos de coluna de metadados indicando o início e o comprimento do bloco de arquivos

Agora você pode obter as seguintes informações de metadados para arquivos de entrada com a _metadata coluna: file_block_start e file_block_length. Para obter mais informações, consulte Coluna de metadados de arquivo.

Novas funções geoespaciais H3

As novas expressões h3_coverash3 e h3_coverash3string estão disponíveis para processamento geoespacial quando o Photon está ativado. Ver funções geoespaciais H3.

Novas funções internas do SQL

Foram adicionadas as seguintes funções:

• array_insert(matriz, índice, elem) Devolve uma matriz expandida array onde elem é inserido na posição index.
• luhn_check(numStr) Retorna true se numStr passar na verificação do algoritmo de Luhn.

%sql em blocos de anotações Python

Todos os resultados não vazios %sql em notebooks Python agora estão acessíveis usando _sqldf o sistema de cache de saída do IPython. Isso simplifica o uso do resultado do DataFrame em Python. Esta é uma mudança de comportamento em relação a versões anteriores do DBR, já que anteriormente, _sqldf nem sempre era reatribuído.

_sqldf não é reatribuído em um resultado de %sql célula se a célula foi executada usando a execução de célula SQL paralela.

%pip não reinicia automaticamente o Python

Depois de executar %pip comandos dentro de blocos de anotações Python que modificam o virtualEnv, o Databricks não reinicia mais automaticamente o processo do Python. Para reiniciar o processo Python, chame dbutils.library.restartPython(). Com essa alteração, %pip os comandos no Databricks se comportam de forma semelhante ao Jupyter Notebooks e são consistentes com !pip os %sh pip comandos. Databricks recomenda %pip em vez de !pip ou %sh pip.

As bibliotecas Python com escopo de cluster são instaladas usando um usuário não-root

As bibliotecas agora são instaladas usando um usuário não-root que é responsável pelas instalações da biblioteca. Se quiser configurar o comportamento de instalação do pip em scripts de inicialização, use o ficheiro de nível global [https://pip.pypa.io/en/stable/topics/configuration/#configuration-files].

Correções de erros

• Nos %sh comandos, foram feitas as seguintes correções:
  • A saída contendo caracteres não UTF-8 agora é suportada.
  • Os subprocessos são agora interrompidos quando o comando é cancelado.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • asttokens de 2.0.5 a 2.2.1
  • black de 22.3.0 a 22.6.0
  • boto3 de 1.21.32 a 1.24.28
  • botocore de 1.24.32 a 1.27.28
  • certifi de 2021.10.8 a 2022.9.14
  • cffi de 1.15.0 a 1.15.1
  • Criptografia de 3.4.8 a 37.0.1
  • Cython de 0.29.28 a 0.29.32
  • dbus-python de 1.2.16 a 1.2.18
  • docstring-to-markdown de 0,11 a 0,12
  • Atualização de 0.8.3 para 1.2.0
  • visão geral de facetas de 1.0.0 a 1.0.2
  • fastjsonschema de 2.16.2 a 2.16.3
  • filelock de 3.9.0 para 3.10.7
  • ipykernel de 6.15.3 a 6.17.1
  • ipython de 8.5.0 a 8.10.0
  • joblib de 1.1.1 a 1.2.0
  • jsonschema de 4.4.0 a 4.16.0
  • jupyter-client de 6.1.12 a 7.3.4
  • kiwisolver de 1.3.2 a 1.4.2
  • matplotlib de 3.5.1 a 3.5.2
  • matplotlib-inline de 0.1.2 a 0.1.6
  • nbformat de 5.3.0 a 5.5.0
  • caderno de 6.4.8 a 6.4.12
  • pandas de 1.4.2 a 1.4.4
  • Almofada de 9.0.1 a 9.2.0
  • pip de 21.2.4 a 22.2.2
  • platformdirs de 2.6.2 a 2.5.2
  • plotly de 5.6.0 a 5.9.0
  • Prometheus-cliente de 0.13.1 a 0.14.1
  • prompt-toolkit de 3.0.20 a 3.0.36
  • psutil de 5.8.0 para 5.9.0
  • Pyflakes da versão 2.5.0 para a 3.0.1
  • PyGObject de 3.36.0 a 3.42.1
  • pyparsing de 3.0.4 a 3.0.9
  • pyright de 1.1.283 a 1.1.294
  • python-lsp-server de 1.6.0 a 1.7.1
  • pytz de 2021.3 a 2022.1
  • pyzmq de 22.3.0 a 23.2.0
  • Pedidos de 2.27.1 a 2.28.1
  • corda de 0.22.0 a 1.7.0
  • s3transfer de 0.5.0 para 0.6.0
  • scikit-learn de 1.0.2 a 1.1.1
  • Scipy de 1.7.3 a 1.9.1
  • setuptools da versão 61.2.0 à versão 63.4.1
  • ssh-import-id de 5.10 a 5.11
  • dados em pilha de 0.2.0 a 0.6.2
  • TestPath de 0.5.0 a 0.6.0
  • tomli de 1.2.2 a 2.0.1
  • ujson de 5.1.0 a 5.4.0
  • urllib3 de 1.26.9 a 1.26.11
  • virtualenv de 20.8.0 a 20.16.3
  • whatthepatch de 1.0.4 para 1.0.2
  • atualização da versão do wheel de 0.37.0 para 0.37.1
• Bibliotecas R atualizadas:
  • seta de 10.0.0 para 10.0.1
  • bit de 4.0.4 a 4.0.5
  • broom da versão 1.0.1 para a 1.0.3
  • bslib de 0.4.1 a 0.4.2
  • Chron de 2.3-58 a 2.3-59
  • CLI de 3.4.1 a 3.6.0
  • espaço de cores de 2.0-3 a 2.1-0
  • curvatura de 4.3.3 a 5.0.0
  • data.table de 1.14.4 a 1.14.6
  • dbplyr de 2.2.1 a 2.3.0
  • resumo de 0.6.30 a 0.6.31
  • dplyr de 1.0.10 a 1.1.0
  • e1071 de 1.7-12 a 1.7-13
  • avaliar de 0,18 a 0,20
  • fansi de 1.0.3 a 1.0.4
  • fontawesome de 0.4.0 para 0.5.0
  • forcats de 0.5.2 a 1.0.0
  • fs da versão 1.5.2 à versão 1.6.1
  • futuro de 1.29.0 a 1.31.0
  • gargle de 1.2.1 a 1.3.0
  • Gert de 1.9.1 a 1.9.2
  • glmnet de 4.1-4 a 4.1-6
  • globais de 0.16.1 a 0.16.2
  • Gower de 1.0.0 para 1.0.1
  • maior de 0,9 a 0,10
  • htmltools de 0.5.3 a 0.5.4
  • htmlwidgets de 1.5.4 a 1.6.1
  • httpuv de 1.6.6 a 1.6.8
  • isoband de 0.2.6 a 0.2.7
  • jsonlite de 1.8.3 a 1.8.4
  • knitr de 1,40 a 1,42
  • lava de 1.7.0 a 1.7.1
  • listenv da versão 0.8.0 para 0.9.0
  • lubridato de 1.9.0 a 1.9.1
  • diminuição de 1,3 para 1,5
  • Modelador de 0.1.9 a 0.1.10
  • openssl de 2.0.4 a 2.0.5
  • paralelamente de 1.32.1 a 1.34.0
  • pkgbuild de 1.3.1 até 1.4.0
  • pkgdown de 2.0.6 para 2.0.7
  • pkgload de 1.3.1 a 1.3.2
  • plyr de 1.8.7 a 1.8.8
  • progredir de 0.11.0 a 0.13.0
  • purrr de 0.3.5 a 1.0.1
  • ragg de 1.2.4 a 1.2.5
  • Rcpp de 1.0.9 a 1.0.10
  • readxl de 1.4.1 a 1.4.2
  • receitas de 1.0.3 a 1.0.4
  • rmarkdown de 2,18 para 2,20
  • RODBC de 1.3-19 a 1.3-20
  • roxigen2 de 7.2.1 a 7.2.3
  • RSQLite de 2.2.18 a 2.2.20
  • sass da versão 0.4.2 para a versão 0.4.5
  • brilhante de 1.7.3 a 1.7.4
  • sourcetools de 0.1.7 a 0.1.7-1
  • Sparklyr de 1.7.8 a 1.7.9
  • SparkR de 3.3.2 a 3.4.0
  • espacial de 7,3-11 a 7,3-15
  • stringi de 1.7.8 a 1.7.12
  • stringr de 1.4.1 a 1.5.0
  • sobrevivência de 3,4-0 a 3,5-3
  • ensaio de 3.1.5 a 3.1.6
  • tidyr de 1.2.1 para 1.3.0
  • mudança de hora de 0.1.1 para 0.2.0
  • dataHora de 4021.106 a 4022.108
  • tinytex de 0.42 a 0.44
  • utf8 de 1.2.2 a 1.2.3
  • vctrs de 0.5.0 a 0.5.2
  • vroom de 1.6.0 para 1.6.1
  • whisker de 0,4 a 0,4.1
  • xfun de 0,34 a 0,37
  • yaml de 2.3.6 a 2.3.7
• Bibliotecas Java atualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-config de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-core de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-directory de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-dynamoDB de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ecs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-efs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-emr de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-glacier de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-glue de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-iam de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-importexport de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-kms de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-lambda de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-logs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-rds de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-redshift de 1.12.189 para 1.12.390
  • com.amazonaws.aws-java-sdk-route53 de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-s3 de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ses de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sns de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sqs de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ssm de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sts de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-support de 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces desde 1.12.189 até 1.12.390
  • com.amazonaws.jmespath-java de 1.12.189 a 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.core.jackson-core de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.core.jackson-databind de 2.13.4.2 a 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.4 a 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 a 2.14.2
  • com.github.luben.zstd-jni de 1.5.2-1 a 1.5.2-5
  • com.google.code.gson.gson de 2.8.6 a 2.8.9
  • com.google.crypto.tink.tink de 1.6.1 a 1.7.0
  • com.h2database.h2 de 2.0.204 a 2.1.214
  • com.jcraft.jsch de 0.1.50 a 0.1.55
  • com.ning.compress-lzf de 1.1 a 1.1.2
  • commons-fileupload.commons-fileupload da versão 1.3.3 para a 1.5
  • dev.ludovic.netlib.arpack de 2.2.1 a 3.0.3
  • dev.ludovic.netlib.blas de 2.2.1 a 3.0.3
  • dev.ludovic.netlib.lapack de 2.2.1 a 3.0.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.9 a 0.6.3
  • io.dropwizard.metrics.metrics-core de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-grafite de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jmx de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-json de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jvm de 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-servlets de 4.1.1 a 4.2.10
  • io.netty.netty-all de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-buffer de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-codec de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-common de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-handler de 4.1.74.Final a 4.1.87.Final
  • Atualizar io.netty.netty-resolver de 4.1.74.Final para 4.1.87.Final
  • io.netty.netty-transporte de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-classes-epoll de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-native-unix-common de 4.1.74.Final a 4.1.87.Final
  • joda-time.joda-time de 2.10.13 a 2.12.1
  • net.razorvine.pickle de 1.2 a 1.3
  • net.snowflake.snowflake-jdbc de 3.13.29 para 3.13.22
  • org.antlr.antlr4-runtime de 4.8 a 4.9.3
  • org.apache.ant.ant de 1.9.2 a 1.9.16
  • org.apache.ant.ant-jsch de 1.9.2 a 1.9.16
  • org.apache.ant.ant-launcher de 1.9.2 a 1.9.16
  • org.apache.arrow.arrow-format de 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-memory-core de 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-memory-netty de 7.0.0 para 11.0.0
  • org.apache.arrow.arrow-vector de 7.0.0 a 11.0.0
  • org.apache.avro.avro de 1.11.0 a 1.11.1
  • org.apache.avro.avro-ipc de 1.11.0 a 1.11.1
  • org.apache.avro.avro-mapred de 1.11.0 a 1.11.1
  • org.apache.httpcomponents.httpclient de 4.5.13 a 4.5.14
  • org.apache.httpcomponents.httpcore de 4.4.14 a 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api de 2.18.0 a 2.19.0
  • org.apache.logging.log4j.log4j-api de 2.18.0 a 2.19.0
  • org.apache.logging.log4j.log4j-core de 2.18.0 a 2.19.0
  • org.apache.orc.orc-core de 1.7.8 a 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.7.8 para 1.8.2-shaded-protobuf
  • org.apache.orc.orc-shims de 1.7.8 a 1.8.2
  • org.apache.xbean.xbean-asm9-shaded de 4.20 a 4.22
  • org.apache.zookeeper.zookeeper de 3.6.2 a 3.6.3
  • org.apache.zookeeper.zookeeper-jute de 3.6.2 a 3.6.3
  • org.eclipse.jetty.jetty-client de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-continuation de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-http de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-security de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-server de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-api de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
  • org.hibernate.validator.hibernate-validator de 6.1.0.Final a 6.1.7.Final
  • org.mlflow.mlflow-spark de 2.1.1 a 2.2.0
  • org.postgresql.postgresql de 42.3.3 a 42.3.8
  • org.roaringbitmap.RoaringBitmap de 0.9.25 a 0.9.39
  • org.roaringbitmap.shims de 0.9.25 a 0.9.39
  • org.rocksdb.rocksdbjni de 6.28.2 a 7.8.3
  • org.scala-lang.scala-compiler_2.12 de 2.12.14 a 2.12.15
  • org.scala-lang.scala-library_2.12 de 2.12.14 a 2.12.15
  • org.scala-lang.scala-reflect_2.12 de 2.12.14 a 2.12.15
  • org.scalanlp.breeze-macros_2.12 de 1.2 a 2.1.0
  • org.scalanlp.breeze_2.12 de 1.2 a 2.1.0
  • org.slf4j.jcl-over-slf4j de 1.7.36 a 2.0.6
  • org.slf4j.jul-to-slf4j de 1.7.36 a 2.0.6
  • org.slf4j.slf4j-api de 1.7.36 a 2.0.6
  • org.threeten.threeten-extra de 1.5.0 a 1.7.1
  • org.wildfly.openssl.wildfly-openssl de 1.0.7.Final a 1.1.3.Final
  • org.yaml.snakeyaml de 1.24 a 1.33

Faísca Apache

O Databricks Runtime 13.0 inclui o Apache Spark 3.4.0.

• Spark SQL
• Núcleo de faísca
• Transmissão em Fluxo Estruturada
• Conexão de faísca
• PySpark
• MLLIB
• Faísca
• Serviço UI Ao Vivo e Servidor de Histórico
• Construção

Spark SQL

Funcionalidades

• Implementar suporte para valores DEFAULT para colunas em tabelas (SPARK-38334)
• Adicionar Dataset.as(StructType) (SPARK-39625)
• Suporte SQL parametrizado (SPARK-41271, SPARK-42702)
• Adicionar unpivot / melt (SPARK-38864, SPARK-39876)
• Suporte a "referências de alias de coluna lateral" (SPARK-27561)
• Cláusula de compensação de resultados de suporte (SPARK-28330, SPARK-39159)
• Suporte a carimbo de data/hora sem tipo de dados de fuso horário (SPARK-35662)
• Suporte para subconsulta escalar em viagens no tempo (SPARK-39306)
• Tornar a API de catálogo compatível com namespace de 3 camadas (SPARK-39235)
• Adicionar suporte para carimbo de data/hora em segundos no TimeTravel usando opções de Dataframe (SPARK-39633)
• Adicionar SparkSession.config(Mapa) (SPARK-40163)
• Suporte à alteração do banco de dados padrão do catálogo de sessões (SPARK-35242)
• Suporte Protobuf para Spark - from_protobuf E to_protobuf (SPARK-40654)
• Adicionar a cláusula QUANDO NÃO CORRESPONDER À FONTE em MERGE INTO (SPARK-40921)
• Atenuar a restrição de ordenação para as opções de coluna CREATE TABLE (SPARK-40944)
• Equivalente SQL do comando de sobrescrição de Dataframe (SPARK-40956)
• Suporte a geração sem necessidade de entregar saída interna para hospedar referências externas (SPARK-41441)
• ORDER BY TUDO (SPARK-41637)
• GROUP BY TUDO (SPARK-41635)
• Adicionar flatMapSortedGroups e cogroupSorted (SPARK-38591)
• Suporte a subconsultas com predicados de não igualdade correlacionados (SPARK-36114)
• Suporte a subconsultas com correlação através de UNION/INTERSECT/EXCEPT (SPARK-36124)

Conformidade com ANSI

• Modo ANSI SQL: sempre retorna null no acesso inválido à coluna do mapa (SPARK-40066)
• Suporte a identificadores de aspas duplas (SPARK-40585)
• Modo ANSI SQL: Round/Bround deve retornar um erro em caso de overflow de inteiro (SPARK-42045)
• Suporte de fundição de integrais para intervalos ANSI (SPARK-40008)
• Suporte para conversão de decimais para intervalos ANSI (SPARK-40014)
• Retornar tipos de intervalo ANSI mais amplos das funções de percentil (SPARK-40151)
• Suporte a conversão de intervalos ANSI para decimais (SPARK-39470)
• Suporte à conversão de intervalos para inteiros no modo ANSI (SPARK-39451)
• Endurecer o uso de SQLSTATE para classes de erro (SPARK-41994)

Funções

• Suporte para funções geradoras de valor tabelar na cláusula FROM (SPARK-41594)
• Função de Agregação ANSI: REGR_SXY (SPARK-37681)
• Suporte ANSI Função de Agregação: REGR_R2 (SPARK-37641)
• suporte da função de agregado ANSI: REGR_SXX (SPARK-37672)
• Suporte à Função de Agregação ANSI: REGR_SYY (SPARK-37702)
• Suporte da Função de Agregação ANSI: REGR_SLOPE (SPARK-39230)
• Suporte para a Função Agregada ANSI: REGR_INTERCEPT (SPARK-37623)
• Suporte a função de agregação ANSI PERCENTILE_CONT como função de janela (SPARK-38219)
• Suporte à função de agregação ANSI: PERCENTILE_DISC (SPARK-37691)
• Proposta de suporte para a função SPLIT_PART (SPARK-38063)
• Suporte a função TRY_AVG (SPARK-38589)
• Suporte à função TRY_TO_BINARY (SPARK-38590)
• Suporte às funções TO_NUMBER e TRY_TO_NUMBER SQL de acordo com uma nova especificação (SPARK-38796)
• Suporte para a especificação de valores gerais e funções ANSI - USER (SPARK-39138)
• Suporte TO_CHAR e TRY_TO_CHAR funções para formatar valores decimais como cadeias de caracteres (SPARK-28516)
• Suporte para a função agregada ANY_VALUE (SPARK-39213)
• Suporte a função EQUAL_NUL (SPARK-39305)
• Função agregada de suporte MEDIANA (SPARK-39320)
• Suporte à função REGEXP_COUNT (SPARK-39618)
• Suporte à função REGEXP_INSTR (SPARK-39744)
• Suporte à função REGEXP_SUBSTR (SPARK-39695)
• Função de suporte UNPIVOT (SPARK-39876)
• Suporte da função TRY_TO_TIMESTAMP (SPARK-39795)
• Suporte URL encode/decode como função integrada e organizar funções relacionadas com URL (SPARK-39741)
• Suporta o modo de função agregada (SPARK-39808)
• Suporte da função GET (SPARK-40109)
• Adicionar aliases de função: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Melhorar a função TO_BINARY (SPARK-40112)
• Apoio a CURRENT_SCHEMA (SPARK-41323)
• Suporte integrado de mascaramento de dados para a função MASK (SPARK-40687)
• Suporte a função de alta ordem: ARRAY_COMPACT (SPARK-41235)
• Suporte à função ARRAY_APPEND (SPARK-41232)
• Suporte à função ARRAY_INSERT (SPARK-41234)
• suporte à função LUHN_CHECK (SPARK-42191)
• Suporte ARRAY_SORT(coluna, comparador) (SPARK-39925)

Data Sources (Origens de Dados)

• Suporte para Estatísticas de Coluna no DS v2 (SPARK-41378)
• Junção particionada de armazenamento (SPJ) no DS v2 (SPARK-37375)
• Operações em nível de linha no DS v2 (SPARK-35801)
• Adicionar o mix-in SupportsReportOrdering na interface para a varredura DS v2 (SPARK-38647)
• Inferir tipo DATA para a inferência de esquema de CSV (SPARK-39469)
• Suportar métricas do driver na API de métricas personalizadas do DS v2 (SPARK-39635)
• Suporte para distribuição e ordenação da função DS v2 na escrita (SPARK-39607)
• Suporte para StringEndsWith/Contains integrado ao Parquet para que possamos aproveitar o filtro de dicionário (SPARK-39002)
• Suporte UDT em leitor vetorizado Spark Parquet (SPARK-39086)
• Estender a coluna de METADADOS para suportar índices de linhas em ficheiros Parquet (SPARK-37980)
• Suporte de leitura de parquet tipo FIXED_LEN_BYTE_ARRAY (SPARK-41096)
• Otimizar a ordem dos predicados de filtragem (SPARK-40045)
• Suporte a consultas de tabelas temporárias e CTE com MSSQL JDBC (SPARK-37259)
• Suporte ignoreCorruptFiles e ignoreMissingFiles nas opções de fonte de dados (SPARK-38767)
• Extrair gravação v1 para WriteFiles (SPARK-41407)
• Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos (SPARK-40697)

Otimização de Consultas

• Mesclar subconsultas escalares não correlacionadas (SPARK-34079)
• Ativar Associações de filtro Bloom por padrão (SPARK-38841)
• Remover distinção desnecessária na expressão agregada por distinctKeys (SPARK-38832)
• Suporte a pushdown de predicados e poda de coluna para CTEs desenganados (SPARK-37670)
• Remova a junção externa se as funções de agregação forem insensíveis a duplicados no lado de streaming (SPARK-38886)
• Remova a junção externa esquerda/direita se apenas as colunas do lado esquerdo/direito estiverem selecionadas e as chaves de junção do outro lado forem únicas (SPARK-39172)
• Otimizar a ordenação global para RepartitionByExpression (SPARK-39911)
• Otimizar a regra TransposeWindow (SPARK-38034)
• Melhore EliminateSorts para dar suporte à remoção de ordenações via LocalLimit (SPARK-40050)
• Puxe o limite local para ambos os lados se a condição de ligação estiver vazia (SPARK-40040)
• Adicionar o PushProjectionThroughLimit ao Optimizer (SPARK-40501)
• Apoio PIVOT/UNPIVOT com elementos de junção (SPARK-41195)
• Suporte para poda de colunas com vários filtros não determinísticos (SPARK-41017)
• Melhore o particionamento e a ordenação de saída com cache AQE (SPARK-41048)
• Melhore o desempenho multi-like criando um predicado de árvore de expressão equilibrado (SPARK-41167)
• Remova o Sort se for filho de RepartitionByExpression (SPARK-36703)
• Utilize as estatísticas de coluna disponíveis das etapas concluídas da consulta (SPARK-39991)
• Reutilizar expressões em WindowSpecDefinition (SPARK-41805)
• Melhorar AliasAwareOutputPartitioning e AliasAwareQueryOutputOrdering para levar todos os aliases em conta (SPARK-40086, SPARK-42049)
• Empurre o limite para baixo através de UDFs Python (SPARK-42115)

Geração de código e execução de consultas

• Fazer com que defaultJoin em BroadcastNestedLoopJoinExec seja executado em paralelo (SPARK-40487)
• Suporte Codegen para HiveGenericUDF (SPARK-42051)
• Introduzir o shuffle no SinglePartition (SPARK-41986)
• Permite que o DPP suporte o lado de poda com União (SPARK-39217)

Outras mudanças notáveis

• Suporte Auto Partition Statistics Collection (SPARK-38573)
• Formatar mensagens de erro no Thrift Server (SPARK-40098)
• Adicionar uma API de extensão para planejar a normalização do cache (SPARK-41183)
• Refatore tipos de faísca introduzindo tipos físicos (SPARK-41226)
• Suporte de campo OneOf e verificações de recursão (SPARK-41396)
• Centralizar a lógica de resolução da coluna (SPARK-41405)
• Melhorar a validação da alteração do plano (SPARK-42081)
• Introduza o SparkPath para typesafety (SPARK-41970)
• Exceção de lançamento para db_name.view_name ao criar a exibição temporária pela API do conjunto de dados (SPARK-41090)
• Altere o valor padrão do argumento da função Mask de -1 para NULL (SPARK-42070)

Núcleo de faísca

Desmantelamento

• Evite a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios forem migrados (SPARK-41469)
• Ignorar falha de busca de estágio causada pelo executor desativado (SPARK-40481)
• Habilite spark.storage.decommission.(rdd|shuffle)Blocks.enabled por padrão (SPARK-40198)
• Adicione suporte para descomissionamento do YARN quando o ESS estiver desativado (SPARK-30835)

Agendador

• Fazer com que o agendamento de etapas suporte o modo de cluster local (SPARK-41949)
• Suporte ao perfil de recurso de tarefa de nível de estágio para cluster autônomo quando a alocação dinâmica estiver desabilitada (SPARK-39853)
• Atrasar onDisconnected para que o Driver receba o ExecutorExitCode (SPARK-39957)
• Melhorar a especulação através das métricas de tarefas de estágio (SPARK-32170)
• Adicionar suporte ao agendamento de recursos no nível do estágio para cluster autônomo (SPARK-39062)
• Melhorar o processo LaunchTask para evitar falhas no Stage causadas por mensagens LaunchTask com falha no envio (SPARK-39955)

Embaralhar

• Adicionar métricas de leitura do lado do cliente do Push Based Shuffle (SPARK-36620)
• Métricas do lado do servidor para shuffle baseado em push (SPARK-33573)
• Verifique se o mergedShuffleCleaner foi desligado antes do fechamento do db (SPARK-40186)
• Adicionar suporte RocksDB para armazenamento de estado do serviço de shuffle (SPARK-38888)
• Encapsular o LevelDB utilizado para armazenar o estado de shuffle remoto/externo como DB (SPARK-38909)
• Habilite spark.dynamicAllocation.shuffleTracking.enabled por padrão (SPARK-3984)
• Habilitar o serviço de shuffle baseado em push para armazenar o estado no banco de dados ao nível do NM, garantindo a preservação do trabalho durante a reinicialização (SPARK-33236).
• Remover blocos de shuffle usando o serviço de shuffle para executores libertados (SPARK-37618)

Outras mudanças notáveis

• Suporte somente ambiente IPv6 (SPARK-39457)
• Ativar spark.kryo.unsafe por padrão (SPARK-42137)
• Proibir o classpath personalizado arbitrário com utilizador proxy no modo de cluster (SPARK-41958)
• Evite o novo registro do BlockManager se o executor tiver sido perdido (SPARK-41360)
• Remova a limitação de que o resultado de uma única tarefa deve caber em 2GB (SPARK-40622)
• Remova o suporte de configurações spark.akka.* preteridas (SPARK-40401)
• Altere o log padrão para stderr para consistente com o comportamento do log4j (SPARK-40406)
• Excluir metadados DirectTaskResult ao calcular o tamanho do resultado (SPARK-40261)
• Permitir personalizar o número inicial de partições no comportamento take() (SPARK-40211)
• Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies() (SPARK-40235)
• As falhas de tarefas devem sempre acionar ouvintes de falhas de tarefas (SPARK-40106)
• Adicione a capacidade de desativar seletivamente a observação ou sondagem (SPARK-36462)
• Não armazenar em cache relações de transmissão não serializadas no driver (SPARK-39983)
• Corrigir impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Exponha as partições numéricas em um estágio para TaskContext (SPARK-38679)
• Torne o fator de sobrecarga de memória configurável (SPARK-38194)
• Evite usar bash -c em ShellBasedGroupsMappingProvider (SPARK-38992)

Transmissão em Fluxo Estruturada

Principais características

• Acompanhamento de progresso assíncrono (SPARK-39591)
• Processamento arbitrário com estado Python em streaming estruturado (SPARK-40434)
• Suporte Protobuf em Streaming Estruturado (SPARK-40653)
• Corrigir a filtragem de registos tardios para suportar o encadeamento de operadores com estado (SPARK-40925)

Outras mudanças notáveis

• Apresentando um gerenciador de arquivos de ponto de verificação de streaming baseado na interface Abortable do Hadoop (SPARK-40039)
• Deprecar Trigger.Once e Promover Trigger.AvailableNow (SPARK-39805)
• Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming (SPARK-39564)
• Apoiar a recolha de métricas de destinos de streaming (SPARK-38564)
• Descontinuar a API do DStream (SPARK-42075)
• Inverter o valor padrão de Kafka offset fetching config (SPARK-40844)
• Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark (SPARK-41379)

Ligação Spark

Cliente Python

• Implementar API DataFrame (SPARK-41279)
• Implementar API de coluna (SPARK-41282)
• Implementar API de funções (SPARK-41283)
• Implementar a API SparkSession (SPARK-41281)
• Implementar API I/O (SPARK-41284)
• Implementar API de catálogo (SPARK-41289)
• Suporte para funções definidas pelo usuário em Python (SPARK-41661)
• Suporte para Pandas/Arrow Function API (SPARK-42393)
• Suporte para configuração SQL de tempo de execução (SPARK-42499)
• Construção, pacote e infraestrutura para o Spark Connect (SPARK-41286)
• Anotações de tipo para o cliente Python do Spark Connect (SPARK-40451)

Cliente Scala

• Implementar cliente Scala básico (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Implementar a API SparkSession (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Implementar API de Dataframe (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Implementar API de coluna (SPARK-42441, SPARK-42560)
• Implementar API de funções (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Implementar API de E/S (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Implementar configuração SQL de tempo de execução (SPARK-42586)
• Suporte básico de função definida pelo usuário (SPARK-42283, SPARK-42653, SPARK-42543)
• Suporte básico a API tipada (SPARK-42580, SPARK-42605)
• Infraestrutura de teste para o Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Implementar suporte REPL (SPARK-42656, SPARK-42884)

PySpark

API do Pandas no Spark

• Melhoria importante
  • Processamento arbitrário com estado Python em streaming estruturado (SPARK-40434)
  • Implementar parâmetros ausentes da API pandas (SPARK-42883)
  • Suporte para Pandas 1.5 (SPARK-40576)
• Característica principal
  • Implementar Series.searchsorted (SPARK-40330)
  • Implementar Series.autocorr (SPARK-38774)
  • Implementar DataFrame.mode (SPARK-40138)
  • Implementar DataFrame.boxplot e DataFrame.plot.box (SPARK-38993)
  • Implementar DataFrame.corrwith (SPARK-38907)
  • Implementar DataFrame.resample e Series.resample (SPARK-39081)
  • Implementar DataFrame.interpolate e Series.interpolate (SPARK-38844)
  • Implementar DataFrame.ewm e Series.ewm (SPARK-38785)
  • Implementar GroupBy.prod (SPARK-40334)
  • Implementar GroupBy.nth (SPARK-40333)
  • Implementar GroupBy.quantile (SPARK-40332)
  • Implementar GroupBy.sem (SPARK-40305)
  • Implementar GroupBy.mad (SPARK-39284)
  • Implementar GroupBy.skew (SPARK-39246)
  • Implementar GroupBy.ewm (SPARK-39129)
  • Grupo de suportePor indexação posicional (SPARK-38947)

Outras mudanças notáveis

• Principais melhorias
  • Fornecer uma ferramenta de perfil de memória para funções definidas pelo utilizador do PySpark (SPARK-40281)
  • Tornar a API de catálogo compatível com namespace de 3 camadas (SPARK-39235)
  • Suporte de entrada NumPy no PySpark (SPARK-39405)
  • Melhorias de erro do PySpark (SPARK-41597)
• Principais características
  • Suporte parametrizado SQL no PySpark (SPARK-41666)
  • Implementar a função 'mediana' (SPARK-40003)
  • Implementar a função 'modo' (SPARK-40007)
  • Implementar a função 'unpivot/melt' (SPARK-39877)
  • Suporte Varchar em PySpark (SPARK-39760)
  • Suporte para CharType no PySpark (SPARK-39809)

MLLIB

• Implementar PyTorch Distribuidor (SPARK-41589)
• Unificar a validação de dados (SPARK-38584)
• Reduza o tamanho do shuffle do ALS (SPARK-40476, SPARK-40745)
• Recursos duplicados de regressão isotônica Dedup (SPARK-41008)
• KMeans bloqueiam vetores de entrada (SPARK-30661)
• Adicionar pontuação de relevância para avaliação nDCG (SPARK-39446)

Faísca

• Adicionar unpivot / melt (SPARK-41267)
• Adicionar array_sort(coluna, comparador) (SPARK-40167)
• Suporte a queda múltipla de "Coluna" em R (SPARK-40087)
• Suporte para Arrow 9.0.0 com SparkR (SPARK-40114)
• Faça com que a API do catálogo seja compatível com o namespace de 3 camadas (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Suporte R 4.2.0 (SPARK-39372)

Serviço de Live UI e History Server

• Melhor escalabilidade da interface do usuário do Spark e estabilidade do driver para aplicativos grandes (SPARK-41053)
• Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão (SPARK-42277)
• Agrupar execuções aninhadas debaixo da execução principal (SPARK-41752)
• Mostrar propriedades de métricas na guia ambiente (SPARK-39110)
• Corrigir o tamanho da entrada do StagePage e os registos não são mostrados quando os registos são superiores a zero (SPARK-34777)
• Melhorar o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s (SPARK-39489)
• Suporte spark.history.fs.update.batchSize (SPARK-39225)

Construir

• Atualizar cloudpickle para v2.2.0 (SPARK-40991)
• Descontinuar o suporte ao Python 3.7 (SPARK-39861)
• Suporte Python 3.11 (SPARK-41454)
• Atualizar dev.ludovic.netlib para 3.0.2 (SPARK-40251)
• Atualize o breeze para 2.0 (SPARK-39616)
• Atualizar a versão slf4j para 2.0.6 (SPARK-41561)
• Atualize a versão do cliente kubernetes para 6.4.1 (SPARK-42362)
• Atualize rocksdbjni para 7.9.2 ( SPARK-42129)
• Atualize a seta Apache para 11.0.0 (SPARK-42161)
• Atualize o Apache Kafka para 3.3.2 (SPARK-42109)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.6
• R: 4.2.2
• Lago Delta: 2.3.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot do CRAN fornecido pela Microsoft em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)