Databricks Runtime 8.1 (EoS)

O Databricks lançou esta versão em março de 2021.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 8.1, da plataforma Apache Spark 3.1.1.

Novos recursos e aprimoramentos

• Novos operadores de SQL reduzem ETL complexos em cadeias de caracteres JSON
• Controle a visibilidade das listas de controle de acesso de tabelas
• As novas opções do Carregador Automático permitem um melhor desempenho
• Autenticar no Azure Synapse Analytics com o OAuth 2.0 e uma entidade de serviço (Visualização Pública)
• Insira colunas IDENTITY manualmente nas tabelas do Azure Synapse Analytics
• Agora, o Carregador Automático do Azure dá suporte à autenticação com uma entidade de serviço para operações de fila
• Acompanhe o progresso do fluxo com métricas de Kafka
• Acompanhe o progresso do fluxo com métricas de origem de streaming do Delta Lake

Novos operadores de SQL reduzem ETL complexos em cadeias de caracteres JSON

Dois novos operadores de SQL – :: e : – permitem que você extraia facilmente dados de cadeias de caracteres JSON.

• Para converter sua expressão em um tipo de dados, use dois pontos duplos ::. Por exemplo, em vez de especificar cast(col as int), agora você pode dizer col::int.
• Para extrair campos de dados semiestruturados, use um único sinal de dois pontos :. Se você tiver uma coluna STRING que contém dados JSON, poderá extrair um campo dessa cadeia de caracteres JSON usando a sintaxe <json-column>:<field>, que extrai a chave field de seu JSON <json-column> como um STRING. Combine isso com a sintaxe :: para converter os dados em um tipo específico.

Por exemplo, se você tiver os dados JSON:

{
  "store": {
    "bicycle": {
      "price": 19.95,
      "color": "red"
    }
  }
}

e criar uma tabela store_data com base nos dados:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

a instrução SELECT raw:store.bicycle.price::double FROM store_data retornará:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Para obter detalhes, confira Consultar cadeias de caracteres JSON.

Controle a visibilidade de listas de controle de acesso de tabela

Agora, para evitar o vazamento de informações listando todas as permissões definidas em uma tabela, você poderá executar a instrução SHOW GRANTS [<user>] <object> somente se você for:

• Um administrador do Databricks SQL ou o proprietário de <object>.
• O usuário especificado em [<user>].

As novas opções do Carregador Automático permitem um melhor desempenho

Agora, o Carregador Automático dá suporte a uma nova opção cloudFiles.fetchParallelism a fim de especificar o paralelismo para buscar mensagens do serviço de fila.

Confira O que é o Carregador Automático?.

Autenticar no Azure Synapse Analytics com o OAuth 2,0 e uma entidade de serviço (visualização pública)

Agora, o conector do Azure Synapse Analytics dá suporte à autenticação com o OAuth 2.0 e uma entidade de serviço do Microsoft Entra ID, habilitando aplicativos que exigem autenticação com uma entidade de serviço em vez de um nome de usuário e senha. Para saber mais, confira Como funciona a autenticação entre o Azure Databricks e o Synapse? para o conector do Azure Synapse Analytics.

Insira colunas IDENTITY manualmente nas tabelas do Azure Synapse Analytics

Agora, o conector do Azure Synapse Analytics dá suporte à inserção explícita de valores em colunas IDENTITY em tabelas do Azure Synapse Analytics com base em valores definidos em DataFrames. Esse recurso tem suporte para inserções em lote e streaming e habilita casos de uso que exigem valores de coluna IDENTITY personalizados. Para obter detalhes, consulte o parâmetro identityInsert na referência de opções do conector do Azure Databricks Synapse do conector do Azure Synapse Analytics.

Agora, o Carregador Automático do Azure dá suporte à autenticação com uma entidade de serviço para operações de fila

Já é possível autenticar com uma entidade de serviço do Microsoft Entra ID, com permissões relacionadas à fila para operações de fila com o Carregador Automático. Essa alteração remove o requisito anterior de usar uma cadeia de conexão para operações de fila e uma entidade de serviço para operações de evento e permite que você use uma entidade de serviço para os dois tipos de operação. Para ver mais detalhes, confira O que é o Carregador Automático?.

Acompanhe o progresso do fluxo com métricas de Kafka

Agora, após cada lote, a fonte de streaming de Kafka relata o atraso de deslocamento de um consumidor com relação ao mais recente. É possível usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como exibir as métricas, confira Recuperar Métricas Kafka.

Acompanhe o progresso do fluxo com métricas de origem de streaming do Delta Lake

Agora, a origem de streaming do Delta Lake relata o tamanho da lista de pendências e a quantidade de arquivos existente na lista de pendências após cada lote. É possível usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como exibir as métricas, confira Métricas.

Atualizações da biblioteca

• Biblioteca Python atualizada:
  • koalas atualizado do 1.5.0 para o 1.6.0.
• Bibliotecas do Python recém-instaladas:
  • plotly 4.14.3
  • tentando novamente 1.3.3
• R atualizado da versão 4.0.3 para 4.0.4.
• Várias bibliotecas do R instaladas foram atualizadas. Confira Bibliotecas do R instaladas.
• Biblioteca do Java atualizada:
  • jetty de 9.4.34.v20201102 para 9.4.36.v20210114
• Versão do OpenJDK 8 atualizada para Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)

Apache Spark

O Databricks Runtime 8.1 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-34534] Corrige a ordem de blockIds ao usar o FetchShuffleBlocks para pegar os blocos
• [SPARK-34613] [SQL] A exibição de correção não captura a configuração de dica de desabilitação
• [SPARK-34392] [SQL] suporte a ZoneOffset + h:mm em DateTimeUtils. getZoneId
• [SPARK-34436] [SQL] Suporte DPP à expressão LIKE ANY/ALL
• [SPARK-34497] [SQL] Corrigir os provedores de conexão JDBC internos para restaurar as alterações do contexto de segurança da JVM
• [SPARK-34543] [SQL] Respeitar a configuração spark.sql.caseSensitive ao resolver a especificação de partição em v1SET LOCATION
• [SPARK-34550] [SQL] Ignorar valor nulo no InSet ao aplicar filtro no metastore do Hive
• [SPARK-34531] [CORE] Remover marca de API experimental em PrometheusServlet

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 8.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (atualizado da versão 3.8.6 em 26 de maio de 2021 – Atualização de manutenção)
• R: R versão 4.0.4 (15-02-2021)
• Delta Lake 0.8.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas a partir do instantâneo do Microsoft CRAN em 11-02-2020.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)