Delen via


Uitgangen in Lakeflow Spark declaratieve pijplijnen

Wanneer u een flow maakt, schrijft uw pijplijn de resulterende query standaard naar een Delta-tabel, meestal een geautomatiseerde weergave of een streamingtabel. Pijplijnen bieden ook functionaliteit waarmee u naar een breed scala aan sinks kunt schrijven, of zelfs programmatisch gegevens kunt transformeren en streamen naar elk doel (of doelen) waarnaar u met Python kunt schrijven.

In de volgende onderwerpen wordt de sinkfunctionaliteit in pijplijnen beschreven.

Onderwerp Description
Declaratieve pijplijnen van Lakeflow Spark Gebruik de sink API met flows om records te schrijven die zijn getransformeerd door een pijplijn naar een ondersteunde externe gegevensopslag. Externe gegevenssinks zijn beheerde en externe tabellen van Unity Catalog en streamingservices voor gebeurtenissen, zoals Apache Kafka of Azure Event Hubs.
Aangepaste Python-sinks Gebruik de sink API met een aangepaste Python-gegevensbron om naar een willekeurig gegevensarchief te schrijven.
ForEachBatch-verzamelpunten Gebruik de foreachBatch API om naar een willekeurig gegevensarchief te schrijven en andere tranformaties uit te voeren op de gegevens of om naar meerdere sinks binnen één stroom te schrijven.

Meer informatie