Microsoft Foundry on Windows では、ローカルおよびバックグラウンドで常に実行される Copilot+ PC に対して、多くの AI に基づく機能と APIs が提供されています。
Microsoft Foundry on Windows には、固有の AI エクスペリエンスをサポートするいくつかのコンポーネントが含まれています。
Windows AI APIs: 組み込みの Windows AI APIs を使用して、AI サービスを Windows アプリに統合します。 これらの APIs には、次のものが含まれます。
- Phi Silica: ローカルのすぐに使用できる言語モデル。
- 言語モデルのカスタマイズ: 低ランク適応 (LoRA) を使用して Phi Silica モデルを微調整します。
- イメージング: 画像のスケーリングとシャープ化 (画像のスーパー解像度)、画像を記述するテキストの生成 (画像の説明)、画像内のオブジェクトの識別 (画像のセグメント化)、イメージからのオブジェクトの削除 (オブジェクトの消去)、プロンプト テキストからの画像の生成 (画像の生成)。
- ビデオ スーパー解像度 (VSR): 低解像度のビデオ ストリームをアップスケールします。
- テキスト インテリジェンス: 画像内のテキストを検出して抽出し、それを機械で読み取り可能な文字ストリーム (Text Recognition) に変換し、プロンプト応答を構造化されたテーブル形式に書式設定し、プロンプト テキストと会話を要約し、プロンプト テキストを書き換えて、明瞭さ、読みやすさ、トーン (またはスタイル) を最適化します。
- アプリ コンテンツ検索: アプリ内コンテンツのインデックスを作成してキーワードまたはセマンティックの意味で検索できるようにし、ローカルまたはクラウド ベースの大規模言語モデル (LLM) 用のローカル取得拡張生成 (RAG) パイプラインとデバイス上のナレッジ ベースを構築します。
Foundry Local: 人気のある OSS モデルを活用して、アプリに取り込むことができる
Windows ML: 独自の ONNX モデルで AI 推論を有効にする
開発ツール: AI 機能の構築を成功させるために役立つ Visual Studio AI Toolkit や AI Dev Gallery などのツール
Windows アプリで AI を使用する方法
Windows アプリが Machine Learning (ML) モデルを利用して AI の機能とユーザー エクスペリエンスを強化する方法をいくつか次に示します。
- アプリでは、Generative AI モデルを使用して、集計、書き換え、レポートの作成、または拡張を行う複雑なトピックを理解できます。
- アプリでは、自由形式のコンテンツを、アプリが理解できる構造化された形式に変換するモデルを使用できます。
- アプリではセマンティック検索モデルを使用できます。これにより、ユーザーは意味によってコンテンツを検索し、関連するコンテンツをすばやく検索できます。
- アプリでは、自然言語処理モデルを使用して複雑な自然言語要件を推論し、ユーザーの質問を実行するためのアクションを計画および実行できます。
- アプリでは、画像操作モデルを使用して、画像をインテリジェントに変更したり、件名を消去または追加したり、スケールアップしたり、新しいコンテンツを生成したりできます。
- アプリでは、予測診断モデルを使用して、問題を特定して予測し、ユーザーを誘導したり、問題を解決したりするのに役立ちます。
Windows AI APIs の使用と独自のモデルの導入
Windows AI の使用 APIs
ローカル AI モデルが適切なソリューションである場合は、 Windows AI APIs を使用して、Copilot+ PC 上のユーザー向けの AI サービスを統合できます。 これらの APIs は PC に組み込まれており、オーバーヘッドが比較的少ない独自の AI を利用した機能を有効にします。
自分でモデルを訓練する
TensorFlow や PyTorch などのプラットフォームで独自のプライベート データを使用して独自のモデルをトレーニングできる場合。 Visual Studio Code の ONNX Runtime と AI Toolkit を使用してデバイス ハードウェア上でローカルに実行することで、そのカスタム モデルを Windows アプリケーションに統合できます。
Visual Studio Code のAI Toolkitは、パフォーマンスを向上させ、DirectML を介してスケーリングするためのハードウェア アクセラレーションへのアクセスを含め、AI モデルをローカルでダウンロードして実行できるようにする VS Code 拡張機能です。 AI Tookit は、次の場合にも役立ちます。
- 直感的なプレイグラウンドまたは REST API を使用したアプリケーションでのモデルのテスト。
- AI モデルをローカルまたはクラウド (仮想マシン上) の両方で微調整して、新しいスキルを作成し、応答の信頼性を向上させ、応答のトーンと形式を設定します。
- Phi-3 や Mistral などの一般的な小言語モデル (SLB) を微調整します。
- クラウドまたはデバイス上で実行されるアプリケーションを使用して、AI 機能をデプロイします。
- DirectML を使用して AI 機能を使用してパフォーマンスを向上させるために、ハードウェア アクセラレーションを活用します。 DirectML は、Windows デバイス ハードウェアがデバイス GPU または NPU を使用して ML モデルのパフォーマンスを高速化できるようにする低レベルの API です。 DirectML と ONNX Runtime のペアリングは、通常、開発者がハードウェアで高速化された AI を大規模にユーザーに提供するための最も簡単な方法です。 詳細情報: DirectML の概要。
- モデル変換機能を使用して、NPU で使用するモデルを量子化して検証する
これらのモデルの微調整の概念を調べ、事前トレーニング済みのモデルをデータにより適合するように調整することを検討すると良いでしょう。
クラウド AI モデルの使用
ローカル AI 機能の使用が適切なパスではない場合は、 クラウド AI モデルとリソースを使用 することがソリューションになる可能性があります。
その他の AI 機能
- Windows 上のアプリ アクション: コンシューマー向けの新しい独自の AI 機能を有効にするアプリのアクションを作成する
責任ある AI プラクティスを使用する
Windows アプリに AI 機能を組み込むときは常に、Windows での責任ある生成型 AI アプリケーションと機能の開発に関するガイダンスに従うことを強くお勧めします。