Belang van permutatiefunctie

In dit artikel wordt beschreven hoe u het onderdeel Permutation Feature Importance in Azure Machine Learning Designer gebruikt om een set functiebelangscores voor uw gegevensset te berekenen. U gebruikt deze scores om te bepalen welke functies u het beste in een model kunt gebruiken.

In dit onderdeel worden functiewaarden willekeurig in willekeurige volgorde gerangschikt, één kolom tegelijk. De prestaties van het model worden vóór en na gemeten. U kunt een van de standaardgegevens kiezen om de prestaties te meten.

De scores die door het onderdeel worden geretourneerd, vertegenwoordigen de wijziging in de prestaties van een getraind model, na permutatie. Belangrijke functies zijn meestal gevoeliger voor het shuffling-proces, zodat ze resulteren in hogere urgentiescores.

Dit artikel bevat een overzicht van de permutatiefunctie, de theoretische basis en de toepassingen in machine learning: Urgentie van permutatiefuncties.

Het belang van permutatiefuncties gebruiken

Voor het genereren van een set functiescores is vereist dat u een al getraind model hebt, evenals een testgegevensset.

1. Voeg het onderdeel Urgentie van functie permutatie toe aan uw pijplijn. U vindt dit onderdeel in de categorie Functieselectie .

2. Verbind een getraind model met de linkerinvoer. Het model moet een regressiemodel of een classificatiemodel zijn.

3. Verbind een gegevensset aan de rechterkant. Kies bij voorkeur een gegevensset die verschilt van de gegevensset die u hebt gebruikt voor het trainen van het model. Deze gegevensset wordt gebruikt voor scoren op basis van het getrainde model. Het wordt ook gebruikt voor het evalueren van het model nadat de functiewaarden zijn gewijzigd.

4. Voer voor willekeurige seed een waarde in die moet worden gebruikt als seed voor randomisatie. Als u 0 (de standaardinstelling) opgeeft, wordt er een getal gegenereerd op basis van de systeemklok.

   Een seed-waarde is optioneel, maar u moet een waarde opgeven als u reproduceerbaarheid wilt voor uitvoeringen van dezelfde pijplijn.

5. Voor metrische gegevens voor het meten van prestaties selecteert u één metriek die moet worden gebruikt wanneer u de kwaliteit van het model na permutatie wilt berekenen.

   Azure Machine Learning Designer ondersteunt de volgende metrische gegevens, afhankelijk van of u een classificatie- of regressiemodel evalueert:

   • Classificatie

     Nauwkeurigheid, precisie, relevante overeenkomsten

   • Regressie

     Precisie, relevante overeenkomsten, gemiddelde absolute fout, wortel gemiddelde kwadratische fout, relatieve absolute fout, relatieve kwadratische fout, bepalingscoëfficiënt

   Zie Evaluate Model voor een gedetailleerdere beschrijving van deze metrische evaluatiegegevens en hoe deze worden berekend.

6. Verzend de pijplijn.

7. Het onderdeel voert een lijst met functiekolommen en de bijbehorende scores uit. De lijst wordt gerangschikt in aflopende volgorde van de scores.

Technische notities

Het belang van permutatiefuncties werkt door de waarden van elke functiekolom, één kolom tegelijk, willekeurig te wijzigen. Vervolgens wordt het model geëvalueerd.

De classificaties die het onderdeel biedt, verschillen vaak van de classificaties die u krijgt van functieselectie op basis van filters. Functieselectie op basis van filters berekent scores voordat een model wordt gemaakt.

De reden voor het verschil is dat het belang van permutatiefuncties de koppeling tussen een functie en een doelwaarde niet meet. In plaats daarvan wordt vastgelegd hoeveel invloed elke functie heeft op voorspellingen van het model.

Volgende stappen

Bekijk de set onderdelen die beschikbaar zijn voor Azure Machine Learning.