Freigeben über


Typische Muster für Management von Aufnahmepipelines

Lakeflow Connect stellt Muster und Techniken bereit, um Ihre verwalteten Aufnahmepipelines zu optimieren. Verwenden Sie diese Muster, um zu steuern, welche Daten aufgenommen werden, Pipelineupdates verwalten und erweiterte Verhaltensweisen konfigurieren.

Nicht alle Anschlüsse unterstützen die üblichen Muster in diesem Abschnitt.

Thema Description
Spaltenauswahl Markieren oder ausschließen Sie bestimmte Spalten während der Aufnahme, um das Datenvolumen zu reduzieren und die Leistung zu verbessern.
Vollständige Aktualisierung Erzwingen Sie das vollständige Neuladen Ihrer Daten aus dem Quellsystem.
Verlaufsverfolgung Verfolgen Sie historische Änderungen in Ihren Daten mithilfe von SCD -Typ 2 (Langsam ändernde Dimension).
Multiziel Eingabe von Daten aus einer einzelnen Quelle in mehrere Zieltabellen oder Kataloge.
Pipelinewartung Verwalten von Pipeline-Aktualisierungen, Pausen und Fehlerbehebungs-Workflows.
Zeilenfilterung Filtert Zeilen während der Aufnahme mithilfe von SQL-ähnlichen Bedingungen.
Tabellenumbenennung Benennen Sie Zieltabellen um, ohne die Pipeline neu zu erstellen.