Tempo de execução do Databricks 6.0 (EoS)

A Databricks lançou esta versão em outubro de 2019.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.0, desenvolvido pelo Apache Spark.

Novos recursos

Ambiente Python

O Databricks Runtime 6.0 inclui grandes mudanças no Python e na forma como os ambientes Python são configurados, incluindo a atualização do Python para 3.7.3, o refinamento da lista de pacotes Python instalados e a atualização desses pacotes instalados para versões mais recentes. Para obter detalhes, consulte Bibliotecas Python instaladas.

Além disso, como foi anunciado anteriormente, o Databricks Runtime 6.0 não suporta Python 2.

As principais alterações incluem:

• Python atualizado de 3.5.2 para 3.7.3. Algumas versões antigas de pacotes Python podem não ser compatíveis com o Python 3.7 porque dependem de versões antigas do Cython que não são compatíveis com o Python 3.7. A instalação de tal pacote pode desencadear erros semelhantes a 'PyThreadState' {'struct _ts'} has no member named 'exc_type' (veja a edição do GitHub de 1978 para obter detalhes). Instale, em vez disso, versões de pacotes Python compatíveis com Python 3.7.
• Principais atualizações de pacotes:
  • boto3 a 1.9.162
  • Atualizar ipython para 7.4.0
  • matplotlib para 3.0.3
  • numpy para a versão 1.16.2
  • pandas versão 0.24.2
  • Pyarrow para 0.13.0
• Em comparação com o Databricks Runtime 5.5 LTS (EoS), os seguintes pacotes Python foram recentemente incluídos: asn1crypto, backcall, jedi, kiwisolver, parso e PySocks.
• Em comparação com Databricks Runtime 5.5 LTS (EoS), os seguintes pacotes Python não estão instalados: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson e singledispatch.
• A função display em objetos ggplot do Python deixou de ser suportada porque o pacote ggplot não é compatível com as versões mais recentes da Panda.
• A configuração PYSPARK_PYTHON como /databricks/python2/bin/python não é suportada porque o Databricks Runtime 6.0 não suporta Python 2. Um cluster com essa configuração ainda pode ser iniciado. No entanto, os cadernos Python e os comandos Python não funcionarão, ou seja, as células de comando Python falharão com um erro "Cancelado" e um erro Python shell failed to start aparecerá nos logs do driver.
• Se PYSPARK_PYTHON apontar para um executável Python que se encontra num ambiente gerido pelo Virtualenv, esse ambiente será ativado para scripts de inicialização e notebooks. Você pode usar python e pip comandos que são definidos no ambiente ativado diretamente sem ter que especificar os locais absolutos desses comandos. Por padrão, PYSPARK_PYTHON é definido como /databricks/python3/bin/python. Assim, por padrão, python aponta para /databricks/python3/bin/python e pip aponta para /databricks/python3/bin/pip para scripts de init e blocos de notas. Se o seu PYSPARK_PYTHON apontar para um executável Python que não está em um ambiente gerido pelo Virtualenv ou se estiver a escrever um script de inicialização para criar o Python especificado pelo PYSPARK_PYTHON, será necessário usar caminhos absolutos para aceder ao python e pip corretos. Quando o isolamento da biblioteca Python está ativado (é ativado por padrão), o ambiente ativado ainda é o ambiente ao qual PYSPARK_PYTHON está associado. Recomendamos que você use o utilitário Biblioteca (dbutils.library) (legado) para modificar o ambiente isolado associado a um bloco de anotações Python.

APIs Scala e Java para comandos Delta Lake DML

Agora você pode modificar dados em tabelas Delta usando APIs programáticas para excluir, atualizar e mesclar. Essas APIs espelham a sintaxe e a semântica de seus comandos SQL correspondentes e são ótimas para muitas cargas de trabalho, por exemplo, operações de dimensão de mudança lenta (SCD), mesclagem de dados de alteração para replicação e atualizações de consultas de streaming.

Para obter detalhes, consulte O que é Delta Lake no Azure Databricks?.

APIs Scala e Java para comandos do utilitário Delta Lake

O Databricks Runtime agora tem APIs programáticas para os comandos de utilitários vacuum e history. Essas APIs espelham a sintaxe e a semântica de seus comandos SQL correspondentes disponíveis em versões anteriores do Databricks Runtime.

Você pode limpar arquivos que não são mais referenciados por uma tabela Delta e são mais antigos do que o limite de retenção executando vacuum na tabela. A execução do vacuum comando na tabela aspira recursivamente os diretórios associados à tabela Delta. O limiar de retenção predefinido para os ficheiros é de 7 dias. A capacidade de regressar a uma versão mais antiga do que o período de retenção perde-se após a execução de vacuum. vacuum não é acionado automaticamente.

Você pode recuperar informações sobre as operações, o usuário, a data e hora, e assim por diante, para cada gravação numa tabela Delta ao executar o comando history. As operações são retornadas em ordem cronológica inversa. Por padrão, o histórico da tabela é mantido por 30 dias.

Para obter detalhes, consulte O que é Delta Lake no Azure Databricks?.

Cache de disco disponível para instâncias do Azure Lsv2

Caching de disco agora está ativado por padrão para todas as instâncias Lsv2.

Armazenamento otimizado usando APIs de arquivos locais

As APIs de arquivo local são úteis, pois permitem que você acesse arquivos do armazenamento de objetos distribuídos subjacente como arquivos locais. No Databricks Runtime 6.0, aprimorámos o sistema de montagem FUSE que possibilita que as APIs de ficheiros locais resolvam as principais limitações. O Databricks Runtime 6.0 melhora significativamente a velocidade de leitura e gravação e suporta arquivos maiores que 2 GB. Se você precisar de leituras e gravações mais rápidas e confiáveis, como para treinamento de modelo distribuído, você achará esse aprimoramento particularmente útil. Além disso, você não precisaria carregar dados em um armazenamento local para suas cargas de trabalho, economizando custos e melhorando a produtividade.

Para obter detalhes, consulte O que é DBFS?.

Vários gráficos matplotlib por célula do bloco de anotações

Agora você pode exibir vários gráficos matplotlib por célula do bloco de anotações:

Credenciais de serviço para várias contas do Azure Data Lake Storage Gen1

Agora você pode configurar credenciais de serviço para várias contas de armazenamento do Azure para uso em uma única sessão do Apache Spark. Para fazer isso, adicione account.<account-name> às chaves de configuração. Por exemplo, se pretender configurar credenciais para as contas acederem a ambas as adl://example1.azuredatalakestore.net e adl://example2.azuredatalakestore.net, pode fazê-lo da seguinte forma:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Melhorias

• AWS SDK atualizado para 1.11.596.
• SDK de armazenamento do Azure atualizado no driver WASB para a versão 7.0.
• OPTIMIZE Agora fornece um resumo de métricas como número de arquivos adicionados, número de arquivos removidos e tamanho máximo e mínimo do arquivo. Consulte Otimizar o formato do arquivo de dados.

Remoção

O Databricks ML Model Export foi removido. Em vez disso, use MLeap para importar e exportar modelos.

Apache Spark

O Databricks Runtime 6.0 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.5 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-27992][SPARK-28881][PYTHON] Permitir que o Python se conecte ao thread de conexão para propagar erros
• [SPARK-27330][SS]suporte a abortar a tarefa no writer foreach (6.0, 5.x)
• [SPARK-28642][SQL] Ocultar credenciais no SHOW CREATE TABLE
• [SPARK-28699][CORE] Corrigir um caso extremo para abortar estágio indeterminado
• [SPARK-28647][WEBUI] Recuperar funcionalidade de métrica adicional
• [SPARK-28766][R][DOC] Corrigir aviso de viabilidade de entrada do CRAN em URL inválido
• [SPARK-28486][CORE][PYTHON] Mapeie o arquivo de dados do PythonBroadcast para um BroadcastBlock para evitar a exclusão por GC
• [SPARK-25035][CORE] Evitando o mapeamento de memória na replicação de blocos armazenados no disco
• [SPARK-27234][SS][PYTHON] Use InheritableThreadLocal para o período atual no EpochTracker (para suportar UDFs Python)
• [SPARK-28638][WEBUI] O resumo da tarefa deve conter apenas as métricas das tarefas bem-sucedidas
• [FAÍSCA-28153][PYTHON] Use AtomicReference em InputFileBlockHolder (para suportar o input_file_name com Python UDF)
• [FAÍSCA-28564][CORE] A aplicação de histórico de acessos usa como padrão o identificador da última tentativa
• [SPARK-28260] O cluster pode ser encerrado automaticamente enquanto a consulta thriftserver ainda está a obter resultados
• [SPARK-26152][CORE] Sincronizar a limpeza do Worker com o encerramento do Worker
• [SPARK-28545][SQL] Adicionar o tamanho do mapa de hash ao registo direcional de ObjectAggregationIterator
• [FAÍSCA-28489][SS] Corrigir um erro em que o KafkaOffsetRangeCalculator.getRanges pode omitir offsets
• [SPARK-28421][ML] Otimização do desempenho de SparseVector.apply
• [FAÍSCA-28156][SQL] A auto-junção não deve perder a vista em cache
• [SPARK-28152][SQL] Mapeado ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
• [SPARK-28054][SQL] Corrigir erro ao inserir tabela particionada do Hive dinamicamente onde o nome da partição é maiúsculo
• [SPARK-27159][SQL] atualizar o dialeto do servidor MSSQL para suportar o tipo binário
• [SPARK-28355][CORE][PYTHON] Use a configuração do Spark para o limite em que com...
• [FAÍSCA-27989][CORE] Adicionadas novas tentativas na conexão com o driver para k8s
• [SPARK-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo serialização ...
• [SPARK-28430][UI] Corrigir a renderização da tabela de estágio quando algumas métricas de tarefas estão ausentes
• [SPARK-27485] EnsureRequirements.reorder deve lidar com expressões duplicadas adequadamente
• [SPARK-28404][SS] Corrigir valor de tempo limite negativo em RateStreamContinuousPartitionReader
• [SPARK-28378][PYTHON] Remover o uso de cgi.escape
• [SPARK-28371][SQL] Tornar o filtro Parquet "StartsWith" null-safe
• [SPARK-28015][SQL] Verificar se stringToDate() consome toda a entrada para os formatos aaaa e aaaa-[m]m
• [SPARK-28302][CORE] Assegure-se de gerar um ficheiro de saída exclusivo para o SparkLauncher no Windows
• [SPARK-28308][CORE] A parte subsegundo de CalendarInterval deve ser preenchida antes da análise
• [SPARK-28170][ML][PYTHON] Vetores uniformes e documentação de matrizes
• [SPARK-28160][CORE] Corrigir um bug em que a função de retorno de chamada pode travar quando uma exceção não verificada é ignorada.
• [SPARK-27839][SQL] Altere UTF8String.replace() para operar em bytes UTF8
• [FAÍSCA-28157][CORE] Tornar SHS limpo KVStore LogInfo para as entradas na lista de exclusão
• [SPARK-28128][PYTHON][SQL] pandas UDFs agrupados ignoram partições vazias
• [SPARK-28012][SQL] O Hive UDF suporta expressão do tipo struct avaliável
• [SPARK-28164] Corrigir descrição de uso do start-slave.sh
• [FAÍSCA-27100][SQL] Use Array em vez de Seq em FilePartition para evitar StackOverflowError
• [SPARK-28154][ML] GMM corrigir a duplicação de cache

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Escala: 2.11.12
• Píton: 3.7.3
• R: R versão 3.6.1 (2019-07-05)
• Lago Delta: 0.3.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)