Databricks Runtime 6.0 (EoS)

O Databricks lançou essa versão em outubro de 2019.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 6.0, da plataforma do Apache Spark.

Novos recursos

Ambiente do Python

O Databricks Runtime 6.0 inclui alterações importantes no Python e a maneira como os ambientes do Python são configurados, incluindo a atualização do Python para o 3.7.3, o refinamento da lista de pacotes do Python instalados e a atualização desses pacotes instalados para versões mais recentes. Para obter detalhes, consulte Bibliotecas do Python instaladas.

Além disso, como foi anunciado anteriormente, o Databricks Runtime 6.0 não dá suporte ao Python 2.

As principais alterações incluem:

• Atualização do Python de 3.5.2 para 3.7.3. Algumas versões antigas de pacotes do Python podem não ser compatíveis com o Python 3.7 porque dependem de versões antigas do Cython que não são compatíveis com o Python 3.7. Instalar um pacote desse tipo pode disparar erros semelhantes 'PyThreadState' {'struct _ts'} has no member named 'exc_type' a (consulte a edição 1978 do GitHub para obter detalhes). Em vez disso, instale versões compatíveis com Python 3.7 de pacotes do Python.
• Atualizações de pacote principais:
  • boto3 para 1.9.162
  • ipython para 7.4.0
  • matplotlib para 3.0.3
  • numpy para 1.16.2
  • pandas para 0.24.2
  • pyarrow para 0.13.0
• Em comparação com o Databricks Runtime 5.5 LTS (EoS), os seguintes pacotes Python são incluídos recentemente: asn1crypto, backcall, jedi, kiwisolver, parso e PySocks.
• Em comparação com Databricks Runtime 5.5 LTS (EoS), os seguintes pacotes Python não estão instalados: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson e singledispatch.
• Não há mais suporte para a função display em objetos ggplot do Python porque o pacote ggplot não é compatível com a versão mais recente do Pandas.
• Não há suporte à configuração PYSPARK_PYTHON como /databricks/python2/bin/python porque o Databricks Runtime 6.0 não dá suporte ao Python 2. Um cluster com essa configuração ainda pode ser iniciado. No entanto, os notebooks do Python e os comandos do Python não funcionarão, ou seja, as células de comando do Python falharão com um erro "Cancelado" e um erro Python shell failed to start aparecerá nos logs do driver.
• Se PYSPARK_PYTHON aponta para um executável do Python que está em um ambiente gerenciado pelo Virtualenv, esse ambiente será ativado para os scripts de inicialização e os notebooks. É possível usar os comandos pythonpip definidos no ambiente ativado diretamente sem precisar especificar os locais absolutos desses comandos. Por padrão, PYSPARK_PYTHON é definido como /databricks/python3/bin/python. Portanto, por padrão, python aponta para /databricks/python3/bin/python e pip aponta /databricks/python3/bin/pip para os scripts de inicialização e os notebooks. Se o PYSPARK_PYTHON aponta para um executável do Python que não está em um ambiente gerenciado pelo Virtualenv ou se você estiver escrevendo um script de inicialização para criar o Python especificado por PYSPARK_PYTHON, você precisará usar caminhos absolutos para acessar o python e o pip corretos. Quando o isolamento da biblioteca do Python está habilitado (ele está habilitado por padrão), o ambiente ativado ainda é o ambiente ao qual PYSPARK_PYTHON está associado. Recomendamos que você use o Utilitário de biblioteca (dbutils.library) (herdado) para modificar o ambiente isolado associado a um notebook Python.

APIs do Scala e Java para comandos DML do Delta Lake

Agora é possível modificar dados em tabelas Delta usando as APIs programáticas para exclusão, atualização e mesclagem. Essas APIs espelham a sintaxe e a semântica de seus comandos do SQL correspondentes e são ótimas para muitas cargas de trabalho, por exemplo, operações de SCD (dimensão de alteração lenta), mesclagem de dados de alteração para replicação e upserts de consultas de streaming.

Para obter detalhes, consulte o que é o Delta Lake no Azure Databricks?.

APIs do Scala e Java para comandos do utilitário do Delta Lake

Databricks Runtime agora tem APIs programáticas para os comandos vacuum e history do utilitário. Essas APIs espelham a sintaxe e a semântica de seus SQL correspondentes disponíveis em versões anteriores do Databricks Runtime.

É possível limpar arquivos que não são mais referenciados por uma tabela Delta e são mais antigos do que o limite de retenção executando vacuum na tabela. Executar o comando vacuum na tabela limpa recursivamente os diretórios associados à tabela Delta. O limite de retenção padrão para os arquivos é de 7 dias. A capacidade de viajar no tempo de volta para uma versão anterior ao período de retenção é perdida após a execução de vacuum. vacuum não é disparado automaticamente.

Você pode recuperar informações de operações, usuário, carimbo de data/hora e assim por diante relativas a cada gravação em uma tabela do Delta com o comando history. As operações são retornadas em ordem cronológica inversa. Por padrão, o histórico de tabela é mantido por 30 dias.

Para obter detalhes, consulte o que é o Delta Lake no Azure Databricks?.

Cache de disco disponível para instâncias do Azure Lsv2

O cache de disco já está habilitado por padrão para todas as instâncias Lsv2.

Armazenamento otimizado usando as APIs de arquivo local

As APIs de arquivo local são úteis, pois permitem que você acesse arquivos do armazenamento de objetos distribuídos subjacente como arquivos locais. No Databricks Runtime 6.0, melhoramos a montagem FUSE que permite que as APIs de arquivo local adquiram limitações de chave. O Databricks Runtime 6.0 melhora significativamente a velocidade de leitura e gravação e dá suporte a arquivos maiores que 2 GB. Se você precisar de leituras e gravações mais rápidas e confiáveis, como para treinamento de modelo distribuído, é possível achar esse melhoramento particularmente útil. Além disso, você não precisaria carregar dados em um armazenamento local para suas cargas de trabalho, economizando custos e melhorando a produtividade.

Para obter mais detalhes, confira O que é DBFS?.

Vários gráficos matplotlib por célula de notebook

Agora é possível exibir vários gráficos matplotlib por célula do notebook:

Credenciais de serviço para várias contas do Azure Data Lake Storage Gen1

Agora você pode configurar as credenciais de serviço para várias contas de armazenamento do Azure para uso em uma única sessão do Apache Spark. Para fazer isso, adicione account.<account-name> às chaves de configuração. Por exemplo, se você quiser configurar credenciais para que as contas acessem adl://example1.azuredatalakestore.net e adl://example2.azuredatalakestore.net, você poderá fazer isso da seguinte forma:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Aprimoramentos

• SDK do AWS atualizado para 1.11.596.
• Atualização do SDK do Armazenamento do Microsoft Azure no driver WASB para 7.0.
• OPTIMIZE agora fornece um resumo das métricas, como o número de arquivos adicionados, o número de arquivos removidos e o tamanho máximo e mínimo do arquivo. Otimizar o layout do arquivo de dados.

Remoção

A exportação de modelo do Databricks do ML foi removida. A partir de agora, use MLeap para importar e exportar modelos.

Apache Spark

O Databricks Runtime 6.0 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados aoDatabricks Runtime 5.5 LTS (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-27992][SPARK-28881][PYTHON] Permitir que o Python participe com o thread de conexão para propagar erros
• [SPARK-27330][SS] Suporte a interrupção da tarefa no gravador de foreach (6.0, 5.x)
• [SPARK-28642][SQL] Ocultar credenciais em SHOW CREATE TABLE
• [SPARK-28699][CORE] Corrige um caso fora do padrão ao anular o estágio indeterminado
• [SPARK-28647][WEBUI] Recuperar recurso de métrica adicional
• [SPARK-28766][R][DOC] Correção do aviso de viabilidade de entrada CRAN em UMA URL inválida
• [SPARK-28486][CORE][PYTHON] Mapear o arquivo de dados do PythonBroadcast para um BroadcastBlock para evitar a exclusão pelo GC
• [SPARK-25035][CORE] Evitar o mapeamento de memória na replicação de blocos armazenados em disco
• [SPARK-27234][SS][PYTHON] Usar InheritableThreadLocal para a época atual no EpochTracker (para dar suporte a UDFs do Python)
• [SPARK-28638][WEBUI] O resumo da tarefa deve conter apenas as métricas das tarefas bem-sucedidas
• [SPARK-28153][PYTHON] Usar AtomicReference em InputFileBlockHolder (para dar suporte input_file_name com o Python UDF)
• [SPARK-28564][CORE] O aplicativo de histórico de acesso assume como padrão a ID da última tentativa
• [SPARK-28260] O cluster pode ser encerrado automaticamente enquanto a consulta thriftserver ainda está buscando resultados
• [SPARK-26152][CORE] Sincronizar a limpeza do trabalho com o desligamento do trabalho
• [SPARK-28545][SQL] Adicione o tamanho do mapa de hash ao log direcional de ObjectAggregationIterator
• [SPARK-28489][SS] Correção de um bug em que KafkaOffsetRangeCalculator.getRanges pode soltar deslocamentos
• [SPARK-28421][ML] Otimização de desempenho SparseVector.apply
• [SPARK-28156][SQL] A união automática não deve perder a exibição armazenada em cache
• [SPARK-28152][SQL] ShortType é mapeado para SMALLINT e FloatType para REAL para MsSqlServerDialect
• [SPARK-28054][SQL] Corrige o erro ao inserir a tabela particionada do Hive dinamicamente em que o nome da partição é maiúscula
• [SPARK-27159][SQL] Atualizar o dialeto do servidor mssql para dar suporte ao tipo binário
• [SPARK-28355][CORE][PYTHON] Usar a configuração do Spark para o limite no qual com...
• [SPARK-27989][CORE] Adicionadas novas tentativas de conexão com o driver para k8s
• [SPARK-27416][SQL] Serialização UnsafeMapData e UnsafeArrayData Kryo...
• [SPARK-28430][Interface do usuário] Correção da renderização da tabela de estágio quando algumas métricas de tarefas estão ausentes
• [SPARK-27485] EnsureRequirements.reorder deve tratar expressões duplicadas normalmente
• [SPARK-28404][SS] Corrigir o valor de tempo limite negativo em RateStreamContinuousPartitionReader
• [SPARK-28378][PYTHON] Remover o uso de cgi.escape
• [SPARK-28371][SQL] Tornar o filtro Parquet "StartsWith" nulo
• [SPARK-28015][SQL] Verifica se o stringToDate() consome toda a entrada para os formatos aaaa e aaaa-[m]m
• [SPARK-28302][CORE] Certifique-se de gerar um arquivo de saída exclusivo para SparkLauncher Windows
• [SPARK-28308][CORE] A parte do subsegundo de CalendarInterval deve ser preenchida antes da análise
• [SPARK-28170][ML][PYTHON] Documentação de Matriz e vetores uniformes
• [SPARK-28160][CORE] Correção de um bug que a função de retorno de chamada pode travar quando a exceção desmarcada é perdida
• [SPARK-27839][SQL] Alterar UTF8String.replace() para operar em bytes UTF8
• [SPARK-28157][CORE] Limpar SHS KVStore LogInfo para as entradas na lista de blacklist
• [SPARK-28128][PYTHON][SQL] Pandas UDFs agrupadas ignoram partições vazias
• [SPARK-28012][SQL] O UDF do Hive dá suporte à expressão dobrável do tipo struct
• [SPARK-28164] Corrigir a descrição de uso start-slave.sh
• [SPARK-27100][SQL] Usar a Matriz em vez de Seq em FilePartition para evitar StackOverflowError
• [SPARK-28154][ML] Correção de cache duplo do GMM

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 6.0.

Ambiente do sistema

• Sistema operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Scala: 2.11.12
• Python: 3.7.3
• R: R versão 3.6.1 (05/07/2019)
• Delta Lake: 0.3.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)