Was ist Microsoft Foundry on Windows?

Microsoft Foundry on Windows bietet eine Reihe von KI-unterstützten Features und APIs für Copilot+ PCs, die lokal und jederzeit im Hintergrund ausgeführt werden.

Microsoft Foundry on Windows umfasst mehrere Komponenten, die einzigartige KI-Erfahrungen unterstützen:

1. Windows AI APIs: Verwenden Sie integrierte Windows AI APIs , um KI-Dienste in Ihre Windows-Apps zu integrieren. Dazu APIs gehören folgendes:

   • Phi Silika: Ein lokales, einsatzbereites Sprachmodell.
   • Anpassung des Sprachmodells: Feinabstimmung des Phi-Silika-Modells mit Low-Rank-Adaptation (LoRA).
   • Imageerstellung: Skalieren und Schärfen eines Bilds (Bildauflösung), Generieren von Text, der ein Bild beschreibt (Bildbeschreibung), Identifizieren von Objekten innerhalb eines Bilds (Bildsegmentierung), Entfernen von Objekten aus einem Bild (Objektlöschung) und Generieren von Bildern aus Eingabeaufforderungstext (Bildgenerierung).
   • Video-Superauflösung (VSR): Videostreams mit niedriger Auflösung nach oben skalieren.
   • Textintelligenz: Erkennen und Extrahieren von Text in Bildern und konvertieren Sie ihn in maschinenlesbare Zeichenströme (Text Recognition), formatieren Sie die Eingabeaufforderungsantwort in ein strukturiertes Tabellenformat, fassen Sie Eingabeaufforderungstext und Unterhaltungen zusammen, und schreiben Sie Aufforderungstext um, um Klarheit, Lesbarkeit und Ton (oder Stil) zu optimieren.
   • App-Inhaltssuche: In-App-Inhalte indizieren, um sie nach Schlüsselwort oder semantischer Bedeutung durchsuchbar zu machen, und erstellen Sie eine lokale RAG-Pipeline (Retrieval Augmented Generation) und eine Lokale Wissensbasis für eine lokale oder cloudbasierte Large Language Model (LLM).

2. Foundry Local: beliebte OSS-Modelle, die Sie nutzen und in Ihre App ziehen können

3. Windows ML: Ermöglicht die Verarbeitung künstlicher Intelligenz mit Ihrem eigenen ONNX-Modell

4. Entwicklungstools: Tools wie Visual Studio AI Toolkit und AI Dev Gallery , die Ihnen helfen, KI-Funktionen erfolgreich zu erstellen

Wie können Sie KI in Ihrer Windows-App verwenden?

Einige Möglichkeiten, wie Windows-Apps Machine Learning (ML)-Modelle nutzen können, um ihre Funktionalität und Benutzererfahrung mit KI zu verbessern, umfassen:

• Apps können generative KI-Modelle verwenden, um komplexe Themen zu verstehen, um komplexe Themen zusammenzufassen, neu zu schreiben, zu berichten oder zu erweitern.
• Apps können Modelle verwenden, die Freiforminhalte in ein strukturiertes Format umwandeln, das Ihre App verstehen kann.
• Apps können semantische Suchmodelle verwenden, die es Benutzern ermöglichen, Inhalte anhand ihrer Bedeutung zu durchsuchen und schnell verwandte Inhalte zu finden.
• Apps können Modelle zur Verarbeitung natürlicher Sprache verwenden, um über komplexe Anforderungen in natürlicher Sprache nachzudenken und Handlungen zu planen und auszuführen, um die Wünsche des Benutzers zu erfüllen.
• Apps können Bildbearbeitungsmodelle verwenden, um Bilder intelligent zu ändern, Bilder zu löschen oder Themen hinzuzufügen, hochskalieren oder neue Inhalte zu generieren.
• Apps können vorausschauende Diagnostikmodelle verwenden, um Probleme zu identifizieren und vorherzusagen und den Benutzer zu leiten oder die Aufgabe für ihn zu übernehmen.

Verwenden von Windows AI APIs im Vergleich zur Nutzung eigener Modelle

Verwenden von Windows AI APIs

Wenn ein lokales KI-Modell die richtige Lösung ist, können Sie mit Windows KI APIs KI-Dienste für Benutzer auf Copilot+ PCs integrieren. Diese APIs sind auf Ihrem PC integriert und ermöglichen einzigartige KI-gestützte Features mit relativ geringem Mehraufwand.

Trainieren eines eigenen Modells

Wenn Sie die Möglichkeit haben, Ihr eigenes Modell mithilfe Ihrer eigenen privaten Daten mit Plattformen wie TensorFlow oder PyTorchzu trainieren. Sie können dieses benutzerdefinierte Modell in Ihre Windows-Anwendung integrieren, indem Sie es lokal auf der Gerätehardware mit ONNX Runtime und AI Toolkit für Visual Studio Code ausführen.

AI Toolkit für Visual Studio Code ist eine VS-Codeerweiterung, mit der Sie KI-Modelle lokal herunterladen und ausführen können, einschließlich des Zugriffs auf die Hardwarebeschleunigung für eine bessere Leistung und Skalierung über DirectML-. Das AI-Toolkit kann Ihnen auch bei Folgendem helfen:

• Testen von Modellen in einem intuitiven Playground oder in Ihrer Anwendung mit einer REST-API.
• Optimieren Sie Ihr KI-Modell sowohl lokal als auch in der Cloud (auf einem virtuellen Computer), um neue Fähigkeiten zu erstellen, die Zuverlässigkeit der Antworten zu verbessern, den Ton und das Format der Antwort festzulegen.
• Feinabstimmung beliebter kleinsprachiger Modelle (SLMs), wie Phi-3 und Mistral.
• Stellen Sie Ihr KI-Feature entweder in der Cloud oder mit einer Anwendung bereit, die auf einem Gerät ausgeführt wird.
• Nutzen Sie Hardwarebeschleunigung, um die Leistung von KI-Funktionen mit DirectML zu verbessern. DirectML ist eine API auf niedriger Ebene, mit der Ihre Windows-Gerätehardware die Leistung von ML-Modellen mithilfe der Geräte-GPU oder NPU beschleunigen kann. Das Koppeln von DirectML mit dem ONNX Runtime ist normalerweise die einfachste Vorgehensweise für Entwickler, hardwarebeschleunigte KI ihren Benutzern im großen Maßstab zur Verfügung zu stellen. Weitere Informationen: DirectML Overview.
• Quantisieren und Überprüfen eines Modells für die Verwendung auf NPU mithilfe der Modellkonvertierungsfunktionen

Sie können sich auch mit diesen Modellfeinabstimmungskonzepten beschäftigen, um ein vortrainiertes Modell besser an Ihre Daten anzupassen.

Verwenden von Cloud AI-Modellen

Wenn die Verwendung lokaler KI-Features nicht der richtige Weg für Sie ist, können Cloud AI-Modelle und -Ressourcen eine Lösung sein.

Andere KI-Features

1. App-Aktionen unter Windows: Erstellen von Aktionen für Ihre App, die neue und eindeutige KI-Funktionen für Verbraucher ermöglichen

Verwenden von verantwortungsvollen KI-Praktiken

Wenn Sie KI-Features in Ihre Windows-App integrieren, wird dringend empfohlen, den Leitfaden Entwickeln verantwortungsvoller generativer KI-Anwendungen und -Features unter Windows zu befolgen.