DLT-release 2022.40

28 september - 5 oktober 2022

Deze functies en verbeteringen zijn uitgebracht met de 2022.40-release van DLT.

Databricks Runtime-versies die door deze release worden gebruikt

-kanaal:

Als u een ander clusterlabel gebruikt dan default of maintenance in uw pijplijninstellingen, worden fouten veroorzaakt tijdens het maken of bewerken van de pijplijn. Zie Klassieke rekenkracht configureren voor pijplijnen voor meer informatie over clusterconfiguratie voor Lakeflow Spark-declaratieve pijplijnen.

U kunt nu pijplijnen rechtstreeks openen of uitvoeren vanuit uw Lakeflow Spark-notebooks voor declaratieve pijplijnen. Zie Pijplijnen ontwikkelen en fouten opsporen met een notebook (verouderd).

Deze release bevat een brekende wijziging in de gegevensstructuur van de pijplijninstellingen die door DLT API-aanvragen wordt geretourneerd. Deze wijziging retourneert het edition veld als een hoofdletterwaarde. Voorheen werd deze waarde geretourneerd in gemengde hoofd- en kleine letters. U moet uw clients bijwerken die de edition-waarde in API-antwoorden lezen om ervoor te zorgen dat de retourwaarde correct wordt verwerkt. De edition waarde in API-aanvragen is echter niet hoofdlettergevoelig; uw clients die aanvragen indienen, inclusief dit veld, hoeven niet te worden bijgewerkt.

In deze release wordt een fout opgelost waardoor de DLT-gebruikersinterface een pijplijn in een RUNNING status weergeeft, zelfs na een updatefout.

Deze update lost een fout op in de APPLY_CHANGES interface bij het opnieuw verwerken van invoergegevens waarbij de gegevens dubbele DELETE bewerkingen bevatten met dezelfde waarde in de kolom SEQUENCE. Dit scenario resulteert in NULL waarden in de doeltabel en het verwijderen van de DeleteVersion waarde. Dit komt overeen met het markeren van de record als NOT-DELETED. Met deze wijziging worden de dubbele DELETE-bewerkingen idempotent verwerkt en wordt het record altijd als DELETEDgemarkeerd.

Deze release lost een fout op waardoor rijen worden verborgen tijdens SCD-type 2-verwerking wanneer een vorige historische record wordt verwijderd die dezelfde kolommen bevat als de volgende historische record.

Met deze update wordt een fout opgelost die ervoor zorgt dat een weergave met een expect_or_fail verwachting in de RUNNING status blijft, zelfs als de verwachting mislukt. Met deze oplossing mislukt de pijplijn en gaat deze over naar de status FAILED.

Is deze pagina nuttig?