Versão DLT 2022.37

14 a 22 de setembro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.37 do DLT.

Versões do Databricks Runtime usadas por esta versão

Canal:

• CURRENT (padrão): Databricks Runtime 10.3.7
• VERSÃO PRÉVIA: Databricks Runtime 11.0.5

Novos recursos e melhorias nesta versão

• A solicitação de API de atualização inicial agora retorna o request_id campo no corpo da resposta. O request_id identificador é estável para a solicitação original que inicia a atualização. Se uma atualização for repetida ou reiniciada, a nova atualização herdará a request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

A nova requests solicitação de API (GET /pipelines/{pipeline_id}/requests/{request_id}) retorna o status da atualização de pipeline associada a request_id. A resposta inclui informações sobre a atualização mais recente.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Seu código Python agora pode chamar operações fora de spark.sql ou dlt.table() ou dlt.view() funções, desde que a operação não esteja lendo de uma exibição materializada ou de uma tabela de streaming.

• As entradas de log de eventos agora contêm a maturity propriedade para indicar a estabilidade do esquema de eventos. Os valores possíveis são stable, evolving e deprecated. Para obter mais informações sobre o log de eventos DLT, consulte o log de eventos do Pipeline.

• A mensagem de erro é aprimorada quando são feitas alterações incompatíveis nas tabelas de origem usadas por uma tabela de streaming.

• Agora você pode selecionar uma política de cluster na interface do usuário DLT ao criar ou editar um pipeline. Anteriormente, a definição da política de cluster para um pipeline exigia a edição das configurações JSON do pipeline.

• Inicialização de pipeline mais rápida. Esta versão inclui aprimoramentos que aceleram a etapa SETTING_UP_TABLES quando um pipeline está sendo iniciado.

Correções de bug nesta versão

• Esta versão corrige um bug que impede o aumento do dimensionamento automático aprimorado quando nenhuma instância de cluster ociosa está disponível.