Tempo de execução do Databricks 8.1 (EoS)

A Databricks lançou esta versão em março de 2021.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.1, desenvolvido pelo Apache Spark 3.1.1.

Novos recursos e melhorias

• Novos operadores SQL reduzem ETL complexo em cadeias de caracteres JSON
• Controlar a visibilidade das listas de controle de acesso à tabela
• Novas opções de carregador automático permitem um melhor desempenho
• Autentique-se em Azure Synapse Analytics com OAuth 2.0 e um principal de serviço (Visualização Pública)
• Inserir IDENTITY colunas manualmente nas tabelas do Azure Synapse Analytics
• O Azure Auto Loader agora dá suporte à autenticação com uma entidade de serviço para operações de fila
• Acompanhe o progresso do fluxo com métricas Kafka
• Acompanhe o progresso do fluxo com as métricas de origem de streaming do Delta Lake

Novos operadores SQL reduzem ETL complexo em cadeias de caracteres JSON

Dois novos operadores SQL —:: e :—permitem extrair facilmente dados de cadeias de caracteres JSON.

• Para converter sua expressão em um tipo de dados, use dois pontos ::duplos . Por exemplo, em vez de especificar cast(col as int), agora você pode dizer col::int.
• Para extrair campos de dados semiestruturados, use dois pontos :. Se tiver uma STRING coluna contendo dados JSON, pode extrair um campo dessa string JSON usando a sintaxe <json-column>:<field> que extrai a chave field do seu JSON <json-column> como um STRING. Você pode combinar isso com a :: sintaxe para converter os dados em um tipo específico.

Por exemplo, se você tiver os dados JSON:

{
  "store": {
    "bicycle": {
      "price": 19.95,
      "color": "red"
    }
  }
}

e você cria uma tabela store_data a partir dos dados:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

A declaração SELECT raw:store.bicycle.price::double FROM store_data retorna:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Para obter detalhes, consulte Consultar cadeias JSON.

Controlar a visibilidade das listas de controle de acesso à tabela

Para evitar a divulgação de informações ao listar todas as permissões definidas numa tabela, poderá agora executar a instrução SHOW GRANTS [<user>] <object> apenas se estiver:

• Um administrador do Databricks SQL ou o proprietário do <object>.
• O usuário especificado em [<user>].

Novas opções de carregador automático permitem um melhor desempenho

O Auto Loader agora suporta uma nova opção cloudFiles.fetchParallelism para especificar o paralelismo para buscar mensagens do serviço de fila.

Consulte O que é Auto Loader?.

Autenticar-se no Azure Synapse Analytics com OAuth 2.0 e uma entidade de serviço (Visualização Pública)

O conector do Azure Synapse Analytics agora suporta autenticação com OAuth 2.0 e um principal de serviço do Microsoft Entra ID, permitindo aplicações que exigem autenticação com um principal de serviço em vez de um nome de utilizador e senha. Para saber mais, consulte Como funciona a autenticação entre o Azure Databricks e o Synapse? para o conector do Azure Synapse Analytics.

Inserir IDENTITY colunas manualmente nas tabelas do Azure Synapse Analytics

O conector do Azure Synapse Analytics agora oferece suporte à inserção explícita de valores nas colunas IDENTITY das tabelas do Azure Synapse Analytics, baseando-se em valores estabelecidos nos DataFrames. Esse recurso é suportado para inserções em lote e streaming e permite casos de uso que exigem valores de coluna personalizados IDENTITY . Para obter detalhes, consulte o parâmetro identityInsert na referência de opções do conector Azure Synapse Analytics para Azure Databricks Synapse.

O Azure Auto Loader agora dá suporte à autenticação com uma entidade de serviço para operações de fila

Agora você pode autenticar com um principal de serviço do Microsoft Entra ID que recebeu permissões relacionadas às filas para operações de filas com o Auto Loader. Essa alteração remove o requisito anterior de usar uma cadeia de conexão para operações de fila e uma entidade de serviço para operações de evento e permite que você use uma entidade de serviço para ambos os tipos de operação. Para obter mais detalhes, consulte O que é o Auto Loader?.

Acompanhe o progresso do fluxo com métricas Kafka

A fonte de streaming de Kafka agora relata quantos offsets um consumidor está atrasando-se em relação aos últimos após cada lote. Você pode usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como visualizar as métricas, consulte Recuperar métricas de Kafka.

Acompanhe o progresso do fluxo com as métricas de origem de streaming do Delta Lake

Uma fonte de streaming Delta Lake agora relata o tamanho da lista de pendências e quantos arquivos existem na lista de pendências após cada lote. Você pode usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como visualizar as métricas, consulte Métricas.

Atualizações da biblioteca

• Biblioteca Python atualizada:
  • koalas atualizado de 1.5.0 para 1.6.0.
• Bibliotecas Python recém-instaladas:
  • Parcela 4.14.3
  • Tentando novamente 1.3.3
• R atualizado de 4.0.3 para 4.0.4.
• Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
• Biblioteca Java atualizada:
  • Jetty de 9.4.34.v20201102 a 9.4.36.v20210114
• Compilação do OpenJDK 8 atualizada para Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)

Faísca Apache

O Databricks Runtime 8.1 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-34534] Corrigir ordem dos blockIds ao utilizar FetchShuffleBlocks para buscar blocos
• [FAÍSCA-34613] [SQL] A visualização de correção não captura a configuração de dica de desativação
• [FAÍSCA-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
• [FAÍSCA-34436] [SQL] Suporte DPP LIKE ANY/ALL expressão
• [FAÍSCA-34497] [SQL] Corrigir fornecedores integrados de conexão JDBC para restaurar alterações no contexto de segurança da JVM
• [FAÍSCA-34543] [SQL] Respeitar as configurações ao resolver a especificação de partição na v1 spark.sql.caseSensitive
• [SPARK-34550] [SQL] Ignorar valor nulo em InSet durante a aplicação de filtro no metastore do Hive
• [SPARK-34531] [CORE] Remover etiqueta de API experimental no PrometheusServlet

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 8.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
• Escala: 2.12.10
• Python: 3.8.8 (atualização de manutenção em 26 de maio de 2021, atualizado de 3.8.6)
• R: R versão 4.0.4 (2021-02-15)
• Lago Delta 0.8.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)