DLT édition 2022.37

14 septembre - 22, 2022

Ces fonctionnalités et améliorations ont été publiées avec la version 2022.37 de DLT.

Versions de Databricks Runtime utilisées par cette version

Channel:

• CURRENT (valeur par défaut) : Databricks Runtime 10.3.7
• APERÇU : Databricks Runtime 11.0.5

Nouvelles fonctionnalités et améliorations de cette version

• La demande d’API de mise à jour de démarrage retourne maintenant le champ request_id dans le corps de la réponse. Il request_id s’agit d’un identificateur stable pour la requête d’origine qui démarre la mise à jour. Si une mise à jour est retentée ou redémarrée, la nouvelle mise à jour hérite du request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nouvelle requête d’API requests retourne l’état de la mise à jour du pipeline GET /pipelines/{pipeline_id}/requests/{request_id} associée. La réponse inclut des informations sur la dernière mise à jour.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Votre code Python peut désormais appeler des opérations spark.sql en dehors des fonctions dlt.table() ou dlt.view(), tant que l'opération ne lit pas à partir d'une vue matérialisée ou d'une table de flux diffusion en continu.

• Les entrées du journal des événements contiennent désormais la maturity propriété pour indiquer la stabilité du schéma d’événement. Les valeurs possibles sont stable, evolving et deprecated. Pour plus d’informations sur le journal des événements DLT, consultez le journal des événements pipeline.

• Le message d’erreur est amélioré lorsque des modifications incompatibles sont apportées aux tables sources utilisées par une table de diffusion en continu.

• Vous pouvez maintenant sélectionner une stratégie de cluster dans l’interface utilisateur DLT lorsque vous créez ou modifiez un pipeline. Auparavant, la définition de la stratégie de cluster pour un pipeline nécessitait la modification des paramètres JSON du pipeline.

• Démarrage plus rapide du pipeline. Cette version inclut des améliorations qui accélèrent l’étape SETTING_UP_TABLES au démarrage d’un pipeline.

Correctifs de bogues dans cette version

• Cette version corrige un bogue qui empêche la mise à l’échelle automatique améliorée de monter en puissance lorsqu’aucune instance de cluster inactive n’est disponible.