Freigeben über

Datenprofilerstellung und Benachrichtigungen in DQS

Die Datenprofilerstellung in Data Quality Services (DQS) ist der Prozess der Analyse der Daten in einer vorhandenen Datenquelle und das Anzeigen von Statistiken zu den Daten in DQS-Aktivitäten. Es bietet Ihnen automatisierte Messungen der Datenqualität. Die DQS-Profilerstellung ist in DQS-Wissensmanagement- und Datenqualitätsprojekte integriert. Es ist dynamisch und anpassbar. Die Profilerstellung hat zwei wichtige Ziele: erstens, um Sie durch Datenqualitätsprozesse zu führen und Ihre Entscheidungen zu unterstützen, und zweitens, um die Effektivität der Prozesse zu bewerten. Der DQS-Profilerstellungsprozess hat die folgenden Vorteile:

  • Profilerstellung bietet Einblicke in die Qualität Ihrer Quelldaten und hilft Ihnen bei der Identifizierung von Problemen mit der Datenqualität.

  • Profiling bewertet die Effektivität von Datenqualitätsprozessen, die Sie bei Ihrer Wissensentdeckung, Datenbereinigung, der Abgleichrichtlinie und dem Abgleich führen.

  • Profiling stellt Ihnen die relevantesten Informationen zum relevantesten Zeitpunkt dar.

  • Der Profilerstellungsprozess generiert Benachrichtigungen, die wichtige Statistiken oder Ereignisse hervorheben, die eine Aktion rechtfertigen können. In vielen Fällen geben DQS-Benachrichtigungen eine Bedingung an und empfehlen die Aktion, die Sie ergreifen können, um diese Bedingung zu beheben.

Mithilfe von Profiling können Sie Datenqualitätsdienste nicht nur für Wissensermittlung, Reinigung und Abgleich, sondern auch als Analysetool verwenden. Sie können eine Wissensbasis für die Analyse erstellen und Wissensermittlungen mithilfe dieser Wissensbasis ausführen, um anhand der Profilerstellungsstatistiken zu ermitteln, ob die Wissensbasis Ihren Ermittlungs-, Reinigungs- und Abgleichsanforderungen entspricht.

Wie Profilerstellung funktioniert

Die Profilerstellung misst nicht die Qualität der Wissensbasis. Sie misst die Qualität der Quelldaten. Profilerstellung bietet Ihnen Statistiken, die die Auswirkungen des spezifischen Vorgangs angeben, den Sie im Wissensmanagement oder einem Datenqualitätsprojekt auf Ihre Quelldaten ausführen. Profilerstellung befindet sich immer im Kontext der spezifischen Aktivität, die Sie ausführen. Sie können auf die Registerkarte "Profilerstellung" in einem Bildschirm klicken, um Profilerstellungsdaten anzuzeigen, ohne die Phase der auszuführenden Aktivität zu verlassen. Die Profilerstellungstabelle wird in Echtzeit aufgefüllt, während der Prozess ausgeführt wird, sodass Sie Datenqualitätsaufgaben während der Ausführung bewerten können. Sie können ermitteln, ob Quelldaten nach der Reinigung oder Deduplizierung besser sind und wie viel.

Alle Profilzahlen beziehen sich auf die Anzahl des Auftretens eines Wertes und in vielen Fällen auf den Prozentsatz der Gesamtanzahl, mit Ausnahme von Metriken zur Einzigartigkeit. Eindeutigkeitsmetriken beziehen sich auf die absolute Anzahl von Werten, unabhängig von der Anzahl der Darstellungen dieser Werte.

Profiling ist Teil der wissensgesteuerten DQS-Lösung. Es stellt Informationen zu einer Wissensbasis, einem Abgleich oder datenbereinigungsprozess basierend auf der Zuordnung zwischen Datenquellenfeldern und Wissensbasisdomänen bereit. Profilerstellung wird erst nach Abschluss der Zuordnung durchgeführt; Während der Zuordnungsphase einer Aktivität wird keine Profilerstellung durchgeführt. Die Profilerstellung ist immer mit einer Aktivität verbunden. Der Profilerstellungsprozess wird für die Daten ausgeführt, die Domänen zugeordnet sind, nicht für die Daten in den Domänen. Die Profilerstellung ist in die folgenden Schritte der Aktivitäten integriert:

  • Die Schritte zum Ermitteln und Verwalten von Domänenwerten der Knowledge Discovery-Aktivität

  • Die Schritte zum Bereinigen und Verwalten und Anzeigen der Ergebnisse der Bereinigungsaktivität

  • Die Schritte "Übereinstimmende Richtlinie " und "Übereinstimmende Ergebnisse " der Aktivität "Übereinstimmende Richtlinien"

  • Die Abgleichs - und Exportschritte der Abgleichsaktivität

DQS stellt keine Profilerstellungsstatistiken für die Domänenverwaltungsaktivität bereit.

Profilieren von Daten nach Aktivität

DQS-Profilerstellung verwendet Standardmäßige Datenqualitätsdimensionen, um die Qualität der Daten darzustellen: Vollständigkeit (Umfang, in dem Daten vorhanden sind), Genauigkeit (Umfang, in dem Daten für die beabsichtigte Verwendung verwendet werden können) und Eindeutigkeit (inwieweit unterschiedliche Werte unterschiedliche Entitäten darstellen). Standardmäßig werden NULL- und leere Werte als fehlende Werte betrachtet oder der Prozentsatz der Vollständigkeit verringert; Sie können jedoch auch andere Werte als NULL-Entsprechung definieren, in diesem Fall werden sie auch als fehlender Wert betrachtet.

Die Profilerstellung bietet Ihnen die Statistiken, die Sie benötigen, um Ihre Prozesse zu bewerten, aber Sie müssen die Statistiken interpretieren. Verstehen Sie, was Ihnen das Profil sagt, indem Sie sich die Statistiken Spalte für Spalte ansehen.

Die DQS-Aktivitäten weisen unterschiedliche Gruppen von Profilerstellungsstatistiken auf:

  • Nur die Säuberungsaktivität verfügt über Profilerstellungsstatistiken für die Genauigkeit (in Prozent nach Domäne). Die Genauigkeit wirkt sich auf Gültigkeit, Konsistenz, Syntaxfehler und Domänenregeln aus.

  • Nur die Bereinigungsaktivität enthält Statistiken zur Profilierung, die die korrekten, korrigierten und vorgeschlagenen Werte in der Quelle sowie die korrigierten und vorgeschlagenen Werte nach Domäne umfassen, jeweils sowohl als Anzahl als auch als Prozentsatz.

  • Die Säuberungs- und Knowledge Discovery-Aktivitäten verfügen über Profilerstellungsstatistiken für Gültigkeit (Säubern nach Datensatz, Knowledge Discovery nach Datensatz und Domäne). Die Matching-Policy und die Abgleichsaktivitäten verfügen über keine Gültigkeitsstatistiken.

  • Die Säuberungsaktivität verfügt nicht über Profiling-Statistiken für die Einzigartigkeit. Die Aktivitäten "Knowledge Discovery", "Matching Policy" und "Matching" verfügen über Profilerstellungsstatistiken für die Eindeutigkeit in Zahlen und Prozent für die Quelle und nach Domäne.

Weitere Informationen zu den spezifischen Profilerstellungsstatistiken im Zusammenhang mit einer Aktivität finden Sie in den Abschnitten "Profilerstellung" in den folgenden Themen:

Daten zur Profilerstellung in der Aktivitätsüberwachung

Profilerstellungsinformationen für die Aktivitäten "Knowledge Discovery", "Matching Policy", "Matching" und "Bereinigung" stehen nicht nur auf den Aktivitätsseiten im Datenqualitätsclient, sondern auch in der Aktivitätsüberwachung zur Verfügung. Die Aktivitätsüberwachung bietet Ihnen einen Überblick über aktuelle und vergangene Aktivitäten. Zusätzlich zu den Eigenschaften und verwandten Rechenprozessen von Aktivitäten können Sie die Profilerstellungsinformationen anzeigen, die für jede Aktivität an einem Ort generiert werden. Sie wählen eine Aktivität in der Aktivitätstabelle aus, um Profilerstellungsergebnisse in einer folgenden Tabelle anzuzeigen. Sie können auch die Profilerstellungsergebnisse exportieren. Weitere Informationen finden Sie in der DQS-Verwaltung.

Benachrichtigungen

Zusätzlich zum Sammeln und Anzeigen wichtiger Statistiken und Metriken durch Profilerstellung generiert DQS Benachrichtigungen (sofern aktiviert), um anzugeben, wann Sie eine Aktion basierend auf den angezeigten Profilerstellungsstatistiken ausführen möchten. DQS verwendet Benachrichtigungen, um wichtige Fakten über die Datenquelle hervorzuheben und die Wirksamkeit der aktuellen Aktivität relativ zum Zweck der Ausführung zu zeigen. Benachrichtigungen enthalten Tipps und Empfehlungen, die auf eine Bedingung hinweisen und empfehlen, wie Sie eine Wissensermittlung, Datenbereinigung oder Datenabgleichsaktivität verbessern können.

Eine DQS-Benachrichtigung wird verwendet, um ein Problem auszuheben, das Sie interessieren könnte, oder um ein potenzielles Problem zu beheben. Ob Sie auf die Benachrichtigung reagieren, hängt davon ab, ob sie für Ihre Zwecke relevant ist. Angenommen, DQS sendet eine Benachrichtigung, wenn die Datenbereinigung keine korrigierten Werte oder vorgeschlagenen Werte erzeugt, während Die Vollständigkeit und Genauigkeit 100%sind. Diese Benachrichtigung würde darauf hinweisen, dass die Aktivität möglicherweise nicht ausgeführt werden muss. Ob Sie die Aktivität jedoch ausführen möchten, ist Ihre Entscheidung.

Eine Benachrichtigung wird durch einen Tooltipp mit einem Ausrufezeichen auf der Registerkarte Profil angezeigt. Statistiken, die der Benachrichtigung zugeordnet sind, sind rot gefärbt, um die statistische Begründung für die Benachrichtigung anzugeben.

Sie können Benachrichtigungen auf der Registerkarte "Allgemeine Einstellungen" auf der Startseite des Datenqualitätsclients aktivieren (Standardeinstellung) oder deaktivieren. Wenn die Benachrichtigung deaktiviert ist, werden keine Tooltips angezeigt, und Statistiken werden nicht rot gefärbt. Es gibt keine signifikante Verbesserung der Leistung durch Deaktivieren von Benachrichtigungen. Die Profilerstellung ist weiterhin funktionsfähig, wenn Sie Benachrichtigungen deaktivieren.

Für spezifische Bedingungen, die mit Benachrichtigungen für eine Aktivität verbunden sind, siehe Folgendes:

Vorgangsbeschreibung Thema
Beschreibt, wie Benachrichtigungen in DQS aktiviert oder deaktiviert werden. Aktivieren oder Deaktivieren von Profilerstellungsbenachrichtigungen in DQS
  • Last updated on