Kreuzvalidierung (SQL Server Data Mining-Add-Ins)

Cross-Validation ist ein Standardtool in der Analyse und ist ein wichtiges Feature, mit dem Sie Data Mining-Modelle entwickeln und optimieren können. Sie verwenden eine Kreuzvalidierung, nachdem Sie ein Miningmodell erstellt haben, um die Validität des Modells festzustellen und seine Ergebnisse mit anderen, verwandten Miningmodellen zu vergleichen.

Die Cross-Validation besteht aus zwei Phasen: Schulung und Berichterstellung. Führen Sie die folgenden Schritte aus:

• Wählen Sie eine Ziel-Miningstruktur oder ein Miningmodell aus.

• Geben Sie ggf. den Zielwert an.

• Geben Sie die Anzahl der Querschnitte oder Faltungen an, in die die Strukturdaten aufgeteilt werden sollen.

Der Assistent für die Kreuzüberprüfung erstellt dann ein neues Modell für jede Faltung, testet das Modell auf den anderen Falten und meldet dann die Genauigkeit des Modells. Nach Abschluss erstellt der Assistent für die Kreuzüberprüfung einen Bericht, der Ihnen die Metriken für jede Faltung anzeigt und eine Zusammenfassung des Modells im Aggregat bereitstellt. Diese Informationen können verwendet werden, um zu bestimmen, wie gut die zugrunde liegenden Daten für ein Modell sind, oder um verschiedene Modelle zu vergleichen, die auf denselben Daten basieren.

Verwenden des Assistenten für die Kreuzvalidierung

Sie können die Kreuzüberprüfung sowohl für temporäre Modelle als auch für Modelle verwenden, die in einer Instanz von Analysis Services gespeichert sind.

Zur Erstellung eines Kreuzvalidierungsberichts

1. Klicken Sie in der Gruppe "Genauigkeit und Überprüfung " des Menübands " Data Mining " auf "Kreuzüberprüfung".

2. Wählen Sie im Dialogfeld "Struktur oder Modell auswählen" eine vorhandene Miningstruktur oder ein Miningmodell aus. Wenn Sie eine Struktur auswählen, verwendet der Assistent die Kreuzvalidierung für alle Modelle, die auf dieser Struktur basieren und dasselbe vorhersagbare Attribut haben. Wenn Sie ein Modell auswählen, wird der Assistent die Kreuzvalidierung ausschließlich für dieses Modell verwenden.

3. Wählen Sie im Dialogfeld "Kreuzüberprüfungsparameter angeben " im Feld "Anzahl falten " die Anzahl der Faltungen aus, unter denen der Datensatz dividiert werden soll. Eine Faltung ist ein zufällig markierter Querschnitt der Daten.

4. Legen Sie optional die maximale Anzahl von Zeilen fest, die bei der Kreuzüberprüfung verwendet werden sollen, indem Sie eine Zahl in das Textfeld " Maximale Zeilen " eingeben.

   Hinweis

   Je mehr Zeilen Sie verwenden, desto genauer sind die Ergebnisse. Die Verarbeitungszeit kann jedoch auch erheblich steigen. Die zahl, die Sie auswählen, hängt von Ihren Daten ab, aber im Allgemeinen sollten Sie die höchste Zahl auswählen, die Sie ohne Leistungseinbußen haben können. Um die Leistung zu verbessern, können Sie auch weniger Falten angeben.

5. Wählen Sie eine Spalte aus der Dropdownliste " Zielattribute " aus. In der Liste werden nur die Spalten angezeigt, die beim ursprünglichen Erstellen des Modells als vorhersagbare Attribute konfiguriert wurden. Das Modell kann mehrere vorhersagbare Attribute enthalten, Sie können jedoch nur eins auswählen.

6. Wählen Sie einen Wert aus der Dropdownliste " Zielstatus " aus.

   Wenn die vorhersagbare Spalte fortlaufende numerische Daten enthält, ist diese Option nicht verfügbar.

7. Geben Sie optional einen Wert an, der als Zielschwellenwert in Zählungsvorhersagen als genau verwendet werden soll. Dieser Wert wird als Wahrscheinlichkeit ausgedrückt, bei der es sich um eine Zahl zwischen 0 und 1 handelt, wobei 1 bedeutet, dass die Vorhersage garantiert genau ist, 0 bedeutet, dass keine Chance besteht, dass die Vorhersage korrekt ist, und 0,5 entspricht einem zufälligen Raten.

   Wenn die vorhersagbare Spalte fortlaufende numerische Daten enthält, ist diese Option nicht verfügbar.

8. Klicken Sie auf Fertig stellen. Es wird ein neues Arbeitsblatt mit dem Namen "Kreuzüberprüfung" erstellt.

   Hinweis

   Microsoft Excel reagiert möglicherweise vorübergehend nicht mehr, während das Modell in Faltungen unterteilt wird und jede Faltung getestet wird.

Anforderungen

Um einen Überprüfungsbericht zu erstellen, müssen Sie bereits eine Data Mining-Struktur und zugehörige Modelle erstellt haben. Der Assistent stellt ein Dialogfenster bereit, das Ihnen bei der Auswahl aus vorhandenen Strukturen und Modellen hilft.

Wenn Sie eine Miningstruktur auswählen, die mehrere Miningmodelle unterstützt, und die Modelle verschiedene vorhersagbare Attribute verwenden, testiert der Assistent für die Kreuzüberprüfung nur die Modelle, die dasselbe vorhersagbare Attribut verwenden.

Wenn Sie eine Struktur auswählen, die sowohl Clusteringmodelle als auch andere Arten von Modellen unterstützt, werden die Clusteringmodelle nicht getestet.

Verständnis von Cross-Validierungsergebnissen

Die Ergebnisse der Kreuzvalidierung werden in einem neuen Arbeitsblatt mit dem Titel "Bericht zur Kreuzvalidierung für <Attributname> angezeigt. Das neue Arbeitsblatt enthält mehrere Abschnitte: Der erste Abschnitt ist eine Zusammenfassung, die wichtige Metadaten zu dem getesteten Modell bereitstellt, sodass Sie wissen können, für welches Modell oder welche Struktur die Ergebnisse bestimmt sind.

Der zweite Abschnitt im Bericht enthält eine statistische Zusammenfassung, die angibt, wie gut das ursprüngliche Modell ist. In dieser Zusammenfassung werden die Unterschiede zwischen den Modellen, die für jede Falte erstellt wurden, für drei wichtige Kennzahlen analysiert: wurzel des mittleren quadratischen Fehlers, mittlerer absoluter Fehler und logarithmus Score. Hierbei handelt es sich um standard statistische Kennzahlen, die nicht nur im Data Mining, sondern auch in den meisten Arten statistischer Analysen verwendet werden.

Für jede dieser Maßnahmen berechnet der Assistent für die Kreuzvalidierung den Durchschnitt und die Standardabweichung über das Modell als Ganzes. Dadurch erfahren Sie, wie konsistent das Modell ist, wenn Vorhersage für verschiedene Teilmengen der Daten erfolgt. Wenn die Standardabweichung beispielsweise sehr groß ist, weist sie darauf hin, dass die für jede Falt erstellten Modelle sehr unterschiedliche Ergebnisse aufweisen und daher das Modell möglicherweise zu eng auf eine bestimmte Datengruppe trainiert und nicht auf andere Datensätze anwendbar ist.

Im folgenden Abschnitt werden die zur Bewertung der Modelle verwendeten Maßnahmen erläutert.

Tests und Maßnahmen

Zusätzlich zu einigen grundlegenden Informationen zur Anzahl der Faltungen in den Daten und der Datenmenge in jeder Faltung zeigt das Arbeitsblatt eine Reihe von Metriken zu jedem Modell an, kategorisiert nach Testtyp. Beispielsweise wird die Genauigkeit eines Clusteringmodells durch verschiedene Tests bewertet, als Sie für ein Prognosemodell verwenden würden.

In der folgenden Tabelle sind die Tests und Metriken mit einer Erläuterung aufgeführt, was die Metrik bedeutet.

Aggregate und allgemeine statistische Kennzahlen

Die im Bericht angegebenen aggregierten Maßnahmen zeigen, wie sich die Unterschiede in den von Ihnen erstellten Daten voneinander unterscheiden.

• Durchschnitt und Standardabweichung.

• Durchschnitt der Abweichung vom Mittelwert für ein bestimmtes Maß über alle Partitionen in einem Modell.

Klassifizierung: Pass/Fail

Diese Maßnahme wird in Klassifizierungsmodellen verwendet, falls Sie keinen Zielwert für ein vorhersagbares Attribut angeben. Wenn Sie z. B. ein Modell erstellen, das mehrere Möglichkeiten vorhersagt, informiert Sie dieses Measure, wie gut das Modell bei der Vorhersage aller möglichen Werte ausgeführt hat.

Pass/Fail wird berechnet, indem die Fälle gezählt werden, die die folgenden Bedingungen erfüllen: bestanden, wenn der vorhergesagte Zustand mit der höchsten Wahrscheinlichkeit dem Eingabezustand entspricht und die Wahrscheinlichkeit größer ist als der von Ihnen angegebene Wert für den Zustandesschwellenwert; anderenfalls durchgefallen.

Klassifizierung: Wahre oder falsche Positive und Negative

Dieser Test wird für alle Klassifizierungsmodelle verwendet, die ein angegebenes Ziel haben. Das Measure gibt an, wie jeder Fall als Reaktion auf diese Fragen klassifiziert wird: Was hat das Modell vorhergesagt und was war das tatsächliche Ergebnis.

Heben

Lift ist ein Maß, das mit der Voraussichtlichkeit verbunden ist. Wenn ein Ergebnis wahrscheinlicher ist, wenn Sie das Modell verwenden, als wenn Sie eine zufällige Vermutung machen, wird das Modell als positives Heben bezeichnet. Wenn das Modell jedoch Vorhersagen vorgibt, die weniger wahrscheinlich als zufallswahrscheinlich sind, ist die Liftbewertung negativ. Daher gibt diese Metrik die Verbesserungsmenge an, die mithilfe des Modells erreicht werden kann, wobei eine höhere Bewertung besser ist.

Lift wird als Verhältnis der tatsächlichen Vorhersagewahrscheinlichkeit zur Marginalwahrscheinlichkeit in den Testfällen berechnet.

Log-Wert

Die Protokollbewertung, auch als Protokollwahrscheinlichkeitsbewertung für die Vorhersage bezeichnet, stellt das Verhältnis zwischen zwei Wahrscheinlichkeiten dar, die in eine logarithmische Skala konvertiert werden. Da Wahrscheinlichkeiten als Dezimalzahl dargestellt werden, ist der Logarithmuswert immer eine negative Zahl. Eine Punktzahl, die näher an 0 liegt, ist eine bessere Bewertung.

Während unformatierte Bewertungen sehr unregelmäßige oder schiefe Verteilungen aufweisen können, ist eine Protokollbewertung mit einem Prozentsatz vergleichbar.

Wurzel der mittleren quadratischen Abweichung

Der quadratische Mittelwertfehler (Root Mean Square Error, RMSE) ist eine Standardmethode in der Statistik, um zu untersuchen, wie verschiedene Datensätze verglichen werden und um die Unterschiede zu glätten, die durch die Skalierung der Eingaben eingeführt werden können.

RMSE stellt den durchschnittlichen Fehler des vorhergesagten Werts im Vergleich zum tatsächlichen Wert dar. Sie wird als Quadratwurzel des mittleren Fehlers für alle Partitionsfälle berechnet, dividiert durch die Anzahl der Fälle in der Partition, mit Ausnahme von Zeilen mit fehlenden Werten für die Zielattribute.

Mittlerer absoluter Fehler

Der mittlere absolute Fehler ist der durchschnittliche Fehler des vorhergesagten Werts auf den tatsächlichen Wert. Es wird berechnet, indem die absolute Summe der Fehler ermittelt und der Mittelwert dieser Fehler ermittelt wird.

Dieser Wert hilft Ihnen zu verstehen, wie weit die Ergebnisse vom Mittelwert abweichen.

Fallwahrscheinlichkeit

Dieses Measure wird nur für Clustermodelle verwendet und gibt an, wie wahrscheinlich ein neuer Fall zu einem bestimmten Cluster gehört.

In Clusteringmodellen gibt es zwei Arten von Clustermitgliedschaft, je nachdem, welche Methode Sie zum Erstellen des Modells verwendet haben. In einigen Modellen, basierend auf dem K-Means-Algorithmus, wird erwartet, dass ein neuer Fall nur zu einem Cluster gehört. Standardmäßig verwendet der Microsoft Clustering-Algorithmus jedoch die Erwartungsmaximierungsmethode, wobei davon ausgegangen wird, dass ein neuer Fall potenziell zu einem beliebigen Cluster gehören kann. Daher kann in diesen Modellen ein Fall mehrere CaseLikelihood Werte aufweisen, die standardmäßig gemeldete ist jedoch die Wahrscheinlichkeit, dass der Fall zum Cluster gehört, der die beste Übereinstimmung für den neuen Fall ist.

Siehe auch

Validieren von Modellen und Verwenden von Modellen für Vorhersage (Data Mining-Add-Ins für Excel)