Klassifizierungsmatrix (SQL Server Data Mining-Add-Ins)

Sie können die Klassifizierungsmatrix verwenden, um die Genauigkeit eines Modells für die Vorhersage zu bewerten. Um eine Klassifizierungsmatrix zu generieren, führen Sie eine Reihe von Testdaten über das Modell aus, und das Klassifizierungsmatrixtool vergleicht die tatsächlichen Werte aus dem Testsatz mit den vom Modell vorgenommenen Vorhersagen. Wenn Sie sich die Matrix ansehen, können Sie auf einen Blick erkennen, wie oft das Modell korrekt ist und wie oft es falsch vorhergesagt wird.

Verwenden Sie in diesen Add-Ins den Assistenten für die Klassifizierungsmatrix , um ein Modell auszuwählen, die Testdaten anzugeben und dann eine Ergebnismatrix zu generieren.

So lesen Sie eine Klassifizierungsmatrix

Nehmen wir an, Ihr Ziel besteht darin, ein Kundenbindungsprogramm zu entwerfen und dann Kunden den entsprechenden Kategorien zuzuweisen, damit Sie ihnen die entsprechende Anreizstufe bieten können. Sie haben drei Stufen für das Belohnungsprogramm - Bronze, Silber und Gold - implementiert und diese in einer Testphase an Kunden vergeben. Sie haben auch ein Modell entwickelt, das Kunden analysiert und die richtigen Kategorien vorhersagt. Jetzt verwenden Sie die Klassifizierungsmatrix für die Testdaten, um zu bestimmen, wie gut das Modell bei der Vorhersage des richtigen Angebots für alle Kunden war.

Die Tabelle aus der Klassifizierungsmatrix gibt an, wie viele Kunden jeder Kategorie basierend auf dem Modell zugewiesen werden sollen, und vergleicht dieses Ergebnis mit der Anzahl der Kunden, die sich tatsächlich für jede Prämienstufe registriert haben.

• Jede Spalte zeigt die tatsächlichen Werte im Testdatensatz an.

• Jede Zeile zeigt die vorhergesagten Werte an.

• Die Werte in Fettdruck, die diagonal von der oberen linken Ecke bis zur unteren rechten Ecke der Matrix ausgeführt werden, geben Ihnen das Bild, was das Modell richtig hat.

• Alle anderen Werte außerhalb der Diagonale stellen Fehler dar. Einige Fehler sind falsch positive Ergebnisse, was bedeutet, dass das Modell vorausgesagt hat, dass der Kunde am Goldprogramm teilnehmen würde, aber falsch war. Je nach Domäne können falsch positive Ergebnisse sehr kostspielig sein.

  Andere sind falsche Negative, was bedeutet, dass das Modell vorausgesagt hat, dass der Kunde kein Interesse hätte, obwohl er oder sie dem Programm beigetreten ist. Je nach Problembereich können diese verpassten Gelegenheitskosten erheblich sein.

Verwenden des Assistenten für Klassifikationsmatrix

1. Wählen Sie das Miningmodell aus, auf dem Vorhersagen basieren sollen.

2. Wählen Sie eine Quelle neuer Testdaten aus, oder verwenden Sie Testdaten, die mit der Struktur gespeichert wurden.

3. Wählen Sie die Spalte aus, für die Sie die Genauigkeit bewerten möchten. Sie können beim Erstellen einer Matrix nur eine Spalte auswählen, aber die Spalte kann mehrere Werte haben.

   Tipp: Es kann schwierig sein, eine Klassifizierungsmatrix zu interpretieren, wenn Ihre vorhersagbare Spalte viele Spalten zu vergleichen hat.

   Auf der Seite "Spalten auswählen, die vorhergesagt werden sollen" können Sie auch angeben, ob sie die Anzahl falscher und falscher Werte anzeigen oder einen Prozentsatz anzeigen möchten.

4. Geben Sie auf der Seite "Quelldaten auswählen" an, ob Sie externe Testdaten oder die testdaten verwenden, die mit dem Modell gespeichert wurden.

5. Wenn Sie externe Testdaten verwenden, müssen Sie das Modell den Eingabespalten auf der Seite des Assistenten "Beziehung festlegen" zuordnen.

   Wenn Sie den eingebetteten Testdatensatz verwenden, erfolgt die Zuordnung für Sie.

6. Klicken Sie auf "Fertig stellen ", um Vorhersagen für das Modell auszuführen und die Klassifizierungsmatrix zu generieren.

   Der Assistent erstellt einen Bericht, der die Klassifizierungsmatrix und andere Details zur Analyse enthält. Dieser Bericht wird als Tabelle in Excel gespeichert, mit einer Zusammenfassung über dem Bericht, die angibt, wie viele Fälle richtig vorhergesagt wurden und wie viele Vorhersagen falsch waren.

Anforderungen

• Zum Erstellen einer Klassifizierungsmatrix benötigen Sie Zugriff auf ein vorhandenes Miningmodell, das die Genauigkeitsmessung unterstützt. Prognosemodelle und Zuordnungsmodelle können mit diesem Tool nicht gemessen werden.

• Das Modell, das Sie messen, muss einen Wert vorhersagen, der entweder diskret ist oder die bereits diskretisiert wurde.

• Wenn Sie die Option zum Speichern eines Testsatzes zusammen mit Ihrer Struktur oder Ihrem Modell nicht verwendet haben, müssen Sie einen Eingabedatensatz abrufen, der im Wesentlichen dieselbe Anzahl von Spalten mit übereinstimmenden Datentypen aufweist, wie sie im Modell verwendet werden.

• Sowohl das Data Mining-Modell als auch die neuen Daten, die Sie für Tests verwenden, müssen mindestens eine Spalte enthalten, die vorhergesagt werden kann, und die Spalten müssen dieselbe Art von Daten enthalten.

Bekannte Probleme

In SQL Server 2012 und SQL Server 2014 funktioniert das Zuordnen des internen Testdatensatzes zum Modell nicht im Klassifizierungsmatrixtool . Sie können jedoch einen externen Datensatz angeben und dann den Schulungssatz als Eingabe auswählen, um den Fehler im ursprünglichen Dataset zu ermitteln.

Siehe auch

Validieren von Modellen und Verwenden von Modellen für Vorhersage (Data Mining-Add-Ins für Excel)
Erkunden von Daten (SQL Server Data Mining-Add-Ins)
Erkennen von Kategorien (Tabellenanalysetools für Excel)