カスタム固有表現認識の言語のサポート

この記事では、カスタム固有表現認識で現在サポートされている言語について説明します。

多言語オプション

カスタムの名前付きエンティティ認識 (NER) を使用すると、ある言語でモデルをトレーニングし、別の言語のドキュメントからエンティティを抽出するために使用できます。 この機能は、時間と労力の節約に役立つので強力です。 すべての言語に対して個別のプロジェクトを構築する代わりに、1 つのプロジェクトで多言語データセットを処理することができます。 データセットが完全に同じ言語である必要はありませんが、作成時に、または後でプロジェクトの設定で、プロジェクトの多言語オプションを有効にする必要があります。 評価プロセス中に特定の言語でモデルのパフォーマンスが低い場合は、それらの言語のデータをトレーニング セットに追加してください。

英語のドキュメントを使用してプロジェクト全体をトレーニングし、フランス語、ドイツ語、標準中国語、日本語、韓国語などでクエリを実行できます。 カスタム固有表現認識により、多言語テクノロジを使用してモデルをトレーニングすることで、プロジェクトを複数の言語に簡単に拡張できます。

特定の言語が他の言語と同様に実行されていないことを特定するたびに、その言語のドキュメントをプロジェクトに追加できます。 Microsoft Foundry のデータ ラベル付けの場合は、追加するドキュメントの言語を選択できます。 その言語のドキュメントをさらにモデルに導入すると、モデルはその言語の構文の多くに導入され、より適切に予測することを学習します。

すべての言語で同じ数のドキュメントを追加することは求められていません。 プロジェクトの大部分は1つの言語で作成し、パフォーマンスがあまり良くないと観察される言語でいくつかのドキュメントを追加するようにしてください。 主に英語でプロジェクトを開発し、フランス語、ドイツ語、スペイン語でテストを開始すると、いくつかの違いに気付くかもしれません。 具体的には、ドイツ語は他の 2 つの言語と比較してパフォーマンスが低い可能性があります。 フランス語とスペイン語はより良い結果をもたらすかもしれませんが、ドイツ語はより多くの課題を提示したり、テスト中に好ましくない結果を生み出したりする可能性があります。 その場合は、元の英語のドキュメントの 5% をドイツ語で追加し、新しいモデルをトレーニングし、ドイツ語でもう一度テストを行うことを検討してください。 ドイツ語のクエリで、より良い結果が得られます。 追加するラベル付けされたドキュメントが多いほど、結果が改善される可能性が高くなります。

別の言語でデータを追加することで他の言語に悪影響を及ぼすことはないはずです。

言語のサポート

カスタム NER では、次の言語の .txt ファイルがサポートされます。

次のステップ

• カスタム NER の概要
• サービスの制限