Delen via

Declaratieve pijplijnen van Lakeflow Spark 2025.30

23 juli - 30 juli 2025

Deze functies en verbeteringen zijn uitgebracht met de 2025.30-release van Lakeflow Spark Declarative Pipelines.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

  • CURRENT (standaard): Databricks Runtime 16.1
  • PREVIEW: Databricks Runtime 16.4

Opmerking

Omdat kanaalreleases van Lakeflow Spark Declarative Pipelines een rolling upgradeproces volgen, worden kanaalupgrades op verschillende tijdstippen geïmplementeerd in verschillende regio's. Uw release, inclusief Databricks Runtime-versies, wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum. Zie Runtime-informatie om de Databricks Runtime-versie voor een pijplijn te vinden.

Nieuwe functies en verbeteringen

  • We hebben de volgende nieuwe mogelijkheden toegevoegd aan AUTO CDC-API's in Lakeflow Spark-declaratieve pijplijnen.

    • Meerdere stromen per doel: de opdracht create_auto_cdc_flow ondersteunt nu een naamparameter, waardoor meerdere onafhankelijke AUTO CDC-stromen naar dezelfde doeltabel kunnen schrijven. Dit maakt scenario's mogelijk, zoals het toepassen van incrementele updates en correctiestromen op één tabel.

    • Eenmalige backfills: Een nieuwe parameter eenmaal ondersteunt eenmalige backfillbewerkingen (bijvoorbeeld initiële hydrataties). Wanneer eenmaal true is, neemt het proces eenmalig een momentopname van de gegevens en negeert toekomstige aankomsten van bestanden.

    • SQL-ondersteuning: Met de nieuwe SQL-syntaxis voor CREATE FLOW kunt u AUTO CDC INTO rechtstreeks in SQL gebruiken, met dezelfde ondersteuning voor naam en één keer.

  • De Lakeflow-editor ondersteunt nu on-demand cluster connect en cluster keep-alive, geactiveerd door gebruikersactiviteit.

  • Last updated on