什麼是 Microsoft Foundry on Windows？

Microsoft Foundry on Windows 提供多項 AI 支援功能及 APIs 功能，支持 Copilot+ 個人電腦，這些功能均能在本地運行且隨時在背景執行。

Microsoft Foundry on Windows 包含多個支持獨特 AI 體驗的元件：

1. Windows AI APIs：利用內建的 Windows AI APIs 將 AI 服務整合到你的 Windows 應用程式中。 這些包括 APIs 以下幾項：

   • Phi Silica：一個本地化、即用的語言模型。
   • 語言模型自訂：利用低階適應（LoRA）微調 Phi Silica 模型。
   • 成像：放大與銳化影像（影像超解析度）、產生描述影像的文字（影像描述）、識別影像中的物件（影像分割）、從影像中移除物件（物件抹除），以及從提示文字生成影像（影像生成）。
   • 影片超解析度（Video Super Resolution，VSR）：將低解析度影片串流放大。
   • 文字智慧：偵測並擷取圖片中的文字，並將其轉換為機器可讀的字元流（Text Recognition），將提示回應格式化為結構化表格，摘要提示文字與對話，並重寫提示文字以優化清晰度、可讀性及語氣（或風格）。
   • 應用程式內容搜尋：將應用程式內內容索引，使其可依關鍵字或語意意義搜尋，並建立本地檢索增強生成（RAG）管線及裝置知識庫，用於本地或雲端大型語言模型（LLM）。

2. Foundry Local：您可以運用並提取到應用程式的熱門 OSS 模型

3. Windows ML：使用您自己的 ONNX 模型啟用 AI 推斷

4. 開發人員工具： Visual Studio AI Toolkit 和 AI 開發人員資源庫 等工具，可協助您成功建置 AI 功能

如何在 Windows 應用程式中使用 AI？

Windows 應用程式可以利用 Machine Learning （ML） 模型來增強其 AI 功能與使用者體驗的幾種方式，包括：

• 應用程式可以使用 Generative AI 模型來瞭解複雜的主題，以摘要、重寫、報告或展開。
• 應用程式可以使用模型，將自由格式內容轉換成您的應用程式可以理解的結構化格式。
• 應用程式可以使用語意搜尋模型，讓使用者依意義搜尋內容，並快速尋找相關的內容。
• 應用程式可以使用自然語言處理模型來推理複雜的自然語言需求，並規劃和執行動作來完成用戶的詢問。
• 應用程式可以使用影像處理模型，智慧地修改影像、清除或新增物件、提高解析度或產生新內容。
• 應用程式可以使用預測性診斷模型來協助識別和預測問題，並協助引導使用者或為其執行。

使用 Windows AI APIs 相較於自備模型

使用 Windows AI APIs

當本機 AI 模型是正確的解決方案時，您可以使用 Windows AI APIs 來整合 Copilot+ 電腦上使用者的 AI 服務。 這些 APIs 是內建在您的電腦上的，並能以相對較少的資源啟用獨特的人工智慧驅動功能。

定型您自己的模型

如果您能夠使用自己的私人數據，并透過 TensorFlow 或 PyTorch 等平臺來訓練自己的模型。 您可以使用visual Studio Code 的 ONNX Runtime 和 AI Toolkit，在裝置硬體上執行自定義模型，將其整合到 Windows 應用程式中。

AI Toolkit for Visual Studio Code 是 VS Code 擴充功能，可讓您在本機下載並執行 AI 模型，包括存取硬體加速以提升效能並透過 DirectML 進行調整。 AI Tookit 也可以協助您：

• 使用 REST API 在直覺式遊樂場或應用程式中測試模型。
• 微調您的 AI 模型，無論是在本機還是雲端中（在虛擬機上），以建立新的技能、改善回應的可靠性、設定回應的音調和格式。
• 微調熱門的小語言模型（SLM），如 Phi-3 和 Mistral。
• 將您的 AI 功能部署至雲端，或使用在裝置上執行的應用程式。
• 使用 DirectML 利用硬體加速以提升 AI 功能的效能。 DirectML 是低階 API，可讓您的 Windows 裝置硬體使用裝置 GPU 或 NPU 來加速 ML 模型的效能。 將 DirectML 與 ONNX Runtime 配對通常是開發人員大規模將硬體加速 AI 帶到使用者的最直接方式。 深入瞭解： DirectML 概觀。
• 使用模型轉換功能來量化和驗證模型以在 NPU 上使用

您也可以查看這些 模型微調概念 ，以調整預先定型的模型，以更符合您的數據。

使用雲端 AI 模型

如果使用本機 AI 功能不是適合您的路徑， 則使用雲端 AI 模型和資源 可以是解決方案。

其他 AI 功能

1. Windows 上的應用程式動作：為您的應用程式建立動作，為取用者啟用全新且獨特的 AI 功能

使用負責任的 AI 做法

每當您在 Windows 應用程式中納入 AI 功能時 ，強烈建議遵循 在 Windows 上開發負責任的產生 AI 應用程式和功能 指引。