クロス検証中、Analysis Services はマイニング構造内のデータを複数の断面に分割し、構造と関連するマイニング モデルを繰り返しテストします。 この分析に基づいて、構造と各モデルの標準精度測定のセットを出力します。
レポートには、データ内のフォールドの数と各フォールド内のデータの量に関する基本情報と、データ分布を記述する一連の一般的なメトリックが含まれています。 各断面の一般的なメトリックを比較することで、構造またはモデルの信頼性を評価できます。
Analysis Services には、マイニング モデルの詳細な指標のセットも表示されます。 これらのメジャーは、モデルの種類と、分析対象の属性の種類 (不連続か連続かなど) によって異なります。
このセクションでは、クロス検証 レポートに含まれる対策とその意味の一覧を示します。 各クロスバリデーションの計算式の詳細については、クロスバリデーションの計算式を参照してください。
交差検証レポートの指標一覧
次の表に、クロス検証レポートに含まれる指標のリストを示します。 測定値は、次の表の左の列に示されているテストの種類ごとにグループ化されます。 右側の列には、レポートに表示されるメジャーの名前が一覧表示され、その意味の簡単な説明が表示されます。
| テストの種類 | 対策と説明 |
|---|---|
| クラスタリング | クラスタリングモデルに適用される指標: 事例の可能性: この尺度は、通常、事例が特定のクラスターに属している可能性を示します。 クロス検証の場合、スコアは合計され、ケースの数で除算されるため、ここではスコアはケースの平均確率です。 |
| 分類 | 分類モデルに適用される指標: 真陽性/ 真陽性/ 偽陽性/ 偽陽性: 予測された状態がターゲットの状態と一致し、予測確率が指定されたしきい値よりも大きいときのパーティション内の行または値の数。 ターゲット属性の欠損値があるケースは除外されます。つまり、すべての値の数が加算されない可能性があります |
| 成功/失敗: 予測された状態がターゲットの状態と一致し、予測確率値が 0 より大きいパーティション内の行または値の数。 | |
| 可能性 | 尤度測度は、複数のモデルタイプに適用されます。 リフト: 実際の予測確率とテスト ケースの限界確率の比率。 ターゲット属性の欠損値を持つ行は除外されます。 通常、この指標は、モデルを使用した際にターゲットとなる結果が得られる確率がどれほど高まるかを示します。 二乗平均平方根誤差: パーティション内のすべてのケースの平均誤差の平方根をケース数で割ったものですが、ターゲット属性の欠損値がある行は除外されます。 RMSE は、予測モデルに人気のある推定器です。 スコアは、各ケースの残差を平均して、モデル エラーの単一のインジケーターを生成します。 ログ スコア: 各ケースの実際の確率の対数を合計してから、入力データセット内の行数で除算します。ターゲット属性の欠損値を持つ行は除きます。 確率は小数部として表されるため、ログ スコアは常に負の数値になります。 0 に近い数値の方が良いスコアです。 生のスコアは非常に不規則または偏った分布を持つことができますが、ログ スコアはパーセンテージに似ています。 |
| 見積 | 連続した数値属性を予測する推定モデルにのみ適用対象となる指標。 平方根平均誤差: 予測値が実際の値と比較されたときの平均誤差。 RMSE は、予測モデルに人気のある推定器です。 スコアは、各ケースの残差を平均して、モデル エラーの単一のインジケーターを生成します。 平均絶対誤差: 予測値が実際の値と比較されたときの平均誤差は、誤差の絶対和の平均として計算されます。 平均絶対誤差は、予測全体が実際の値にどの程度近かったかを理解するのに役立ちます。 スコアが小さいほど、予測の精度が高かったということです。 ログ スコア: 各ケースの実際の確率の対数を合計してから、入力データセット内の行数で除算します。ターゲット属性の欠損値を持つ行は除きます。 確率は小数部として表されるため、ログ スコアは常に負の数値になります。 0 に近い数値の方が良いスコアです。 生のスコアは非常に不規則または偏った分布を持つことができますが、ログ スコアはパーセンテージに似ています。 |
| 集合体 | 集計指標は、各パーティションの結果のばらつきを示します。 平均: 特定の計測のパーティション値の平均値。 標準偏差: モデル内のすべてのパーティションにわたる、特定のメジャーの平均からの偏差の平均。 クロス検証の場合、このスコアの値が高いほど、フォールド間の大きな変動が意味されます。 |