モデルのトレーニングが完了したら、モデルのパフォーマンスを表示し、テスト セットのドキュメントに対して予測されたクラスを確認できます。
注意
[トレーニング データからテスト セットを自動的に分割する] オプションを使用すると、テスト セットがデータからランダムに選択されるため、新しいモデルをトレーニングするたびにモデル評価の結果が異なる可能性があります。 モデルをトレーニングするたびに同じテスト セットで評価が計算されるようにするには、トレーニング ジョブを開始するときに [トレーニング データとテスト データの手動分割を使用する] オプションを使用し、データにラベル付けするときにテスト ドキュメントを定義します。
前提条件
モデルの評価を表示する前に、次のものが必要です。
- Azure Blob ストレージ アカウントが構成されているカスタム テキスト分類プロジェクト。
- ストレージ アカウントにアップロードされたテキスト データ。
- ラベルの付いたデータ
- 正常にトレーニングされたモデル
プロジェクト開発ライフサイクルを参照してください。
モデルの詳細
Language Studio でプロジェクトのページに移動します。
画面の左側にあるメニューから [モデルのパフォーマンス] を選びます。
このページでは、正常にトレーニングされたモデル、各モデルの F1 スコア、モデルの 有効期限のみを表示できます。 モデル名を選択すると、そのパフォーマンスに関する詳細を確認できます。
注意
テスト セットでラベル付けまたは予測されていないクラスは、表示される結果の一部ではありません。
このタブでは、トレーニング ジョブの F1 スコア、精度、再現率、日付、時刻、合計トレーニング時間、このトレーニング ジョブに含まれるトレーニングおよびテスト ドキュメントの数など、モデルの詳細を表示できます。
モデルを改善する方法に関する ガイダンス も参照できます。 ビューの詳細を選択すると、サイド パネルが開き、モデルを改善する方法に関するガイダンスが表示されます。 この例では、これらのクラスのトレーニング セットに十分なデータがありません。 また、トレーニング セット内のクラス型の違いは明確ではありません。2 つのクラスが相互に混同されます。 混乱したクラスを選択すると、 データラベル付け ページに移動し、正しいクラスでさらに多くのデータにラベルを付けます。
モデルのパフォーマンスの概念におけるモデル ガイダンスと混同行列の詳細について説明します。
モデル データの読み込みまたはエクスポート
モデル データを読み込むには:
モデル評価ページで任意のモデルを選択します。
[モデル データの読み込み] ボタンを選択します。
表示されるウィンドウでキャプチャする必要がある未保存の変更がないことを確認し、[ データの読み込み] を選択します。
モデル データのプロジェクトへの読み込みが完了するまで待ちます。 完了すると、 スキーマ デザイン ページにリダイレクトされます。
モデル データをエクスポートするには:
モデル評価ページで任意のモデルを選択します。
[モデル データのエクスポート] ボタンを選択します。 モデルの JSON スナップショットがローカルにダウンロードされるまで待ちます。
モデルを削除する
Language Studio 内からモデルを削除するには:
左側のメニューから [モデルのパフォーマンス] を選びます。
削除するモデル名を選び、上部のメニューから [削除] を選択します。
表示されたウィンドウで [OK] を選択してモデルを削除します。
次のステップ
モデルのパフォーマンスを確認する際に、使用される評価メトリックについて説明します。 モデルのパフォーマンスを向上させる必要があるかどうかを確認したら、モデルの改善を始められます。