Delen via


Lakeflow Declarative Pipelines versie 2025.29

16 juli - 18 juli 2025

Deze functies en verbeteringen zijn uitgebracht met de release van 2025.29 van declaratieve pijplijnen.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

  • CURRENT (standaard): Databricks Runtime 16.1
  • PREVIEW: Databricks Runtime 16.4

Opmerking

Omdat kanaalreleases van Lakeflow Spark Declarative Pipelines een rolling upgradeproces volgen, worden kanaalupgrades op verschillende tijdstippen geïmplementeerd in verschillende regio's. Uw release, inclusief Databricks Runtime-versies, wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum. Zie Runtime-informatie om de Databricks Runtime-versie voor een pijplijn te vinden.

Nieuwe functies en verbeteringen

  • De functie Tabellen verplaatsen tussen Lakeflow-declaratieve pijplijnen is nu algemeen beschikbaar. Hierdoor kunnen gebruikers gerealiseerde weergaven en streamingtabellen van de ene pijplijn naar de andere verplaatsen met een SQL-opdracht en een kleine code-aanpassing. Zie Tabellen verplaatsen tussen declaratieve pijplijnen van Lakeflow

  • ALTER-opdrachten kunnen nu worden uitgevoerd op MV/ST's die zijn gemaakt door ETL-pijplijnen voor tabelopmerkingen, kolomopmerkingen en RLS/CLM. Als onderdeel van deze functie behouden pijplijnupdates (op kolomnaamsleutel) de waarden van velden die door gebruikers kunnen worden gewijzigd in plaats van ze te overschrijven. We blijven expliciete definities in de broncode respecteren en alles wat niet expliciet is gedefinieerd, blijft behouden. In de onderstaande tabel ziet u dit gedrag:

Metagegevens op kolomniveau:

Methode Gedrag Bestaande status in gegevensset Wat is gedefinieerd in de broncode van de pijplijn of de opdracht Maken en vervangen Eindstatus na het vernieuwen van de pijplijn of het uitvoeren van de opdracht Maken en vervangen
Merge We verwijderen geen bestaande metagegevens in de gegevensset voordat we toepassen wat is gedefinieerd in de broncode van de pijplijn of de opdracht Maken en vervangen. Kolom X met opmerking 1 Kolom Y met opmerking 2 Kolom X met opmerking 1 Kolom Y met Opmerking 2
Merge Als de metagegevens zijn ingesteld in de pijplijnbron, wordt deze opnieuw ingesteld bij het vernieuwen. Kolom X met opmerking 1 Kolom X met opmerking 3 Kolom Y met Opmerking 2 Kolom X met opmerking 3 Kolom Y met Opmerking 2

Metagegevens op tabelniveau:

Methode Gedrag Bestaande status in gegevensset Wat is gedefinieerd in de broncode van de pijplijn of de opdracht Maken en vervangen Eindstatus na het vernieuwen van de pijplijn of het uitvoeren van de opdracht Maken en vervangen
Merge We verwijderen geen bestaande metagegevens in de gegevensset voordat we toepassen wat is gedefinieerd in de broncode van de pijplijn of de opdracht Maken en vervangen. Rijfilter 1 Rijfilter 2 Rijfilter 2
Merge Als de metagegevens zijn ingesteld in de pijplijnbron, wordt deze opnieuw ingesteld bij het vernieuwen. Rijfilter 1 Geen Rijfilter 1

U kunt de broncode blijven wijzigen zoals voorheen. Deze samenvoegingsbenadering behoudt externe ALTER's die in de tabel zijn gemaakt.

Dit nieuwe samenvoeggedrag introduceert een belangrijke wijziging. Voordat pijplijnupdates bestaande rijfilters of kolommaskers hebben verwijderd als de pijplijndefinitie deze niet heeft opgenomen. U moet nu expliciet bestaande opmerkingen, rijfilters of kolommaskers verwijderen met behulp van De Catalogusverkenner of de opdracht ALTER.

Zie en ALTER MATERIALIZED VIEWvoor meer informatie over het gebruik van de SQL-opdrachtenALTER STREAMING TABLE.