Freigeben über

Herunterladen und Freigeben von Modellen auf dem Gerät mit den Windows ML-Modellkatalog-APIs

Die Windows ML-Modellkatalog-APIs ermöglichen Es Ihrer App oder Bibliothek, große KI-Modelldateien dynamisch von Ihren eigenen Onlinemodellkatalogen auf einen freigegebenen Speicherort auf dem Gerät herunterzuladen, ohne diese großen Dateien direkt mit Ihrer App oder Bibliothek zu versenden. Darüber hinaus hilft der Modellkatalog beim Filtern, welche Modelle mit dem Windows-Gerät kompatibel sind, auf dem es ausgeführt wird, sodass das richtige Modell auf das Gerät heruntergeladen wird.

Was sind die Modellkatalog-APIs?

Die Modellkatalog-APIs sind eine Reihe von APIs, die mit einem oder vielen Cloudmodellkatalogen verbunden werden können, um das Herunterladen und Speichern dieser Modelle lokal auf dem Gerät zu erleichtern, damit sie von allen Windows-Anwendungen auf dem Gerät verwendet werden können. Die APIs verfügen über einige Kernfeatures:

  • Kataloge hinzufügen: Hinzufügen eines oder mehrerer Onlinekataloge
  • Ermitteln kompatibler Modelle: Automatische Suche nach Modellen, die mit den Hardware- und Ausführungsanbietern des Benutzers funktionieren
  • Herunterladen von Modellen: Herunterladen und Speichern von Modellen aus verschiedenen Quellen
  • Freigeben von Modellen in allen Apps: Wenn mehrere Anwendungen dasselbe Modell anfordern (gleicher SHA256-Hash), wird das Modell auf dem Datenträger freigegeben, ohne Downloads zu duplizieren.

Wichtigste Funktionen

Automatischer Kompatibilitätsabgleich

Der Modellkatalog gleicht Modelle automatisch mit den verfügbaren Ausführungsanbietern Ihres Systems (CPU, GPU, NPU usw.) ab. Wenn Sie ein Modell anfordern, gibt der Katalog nur Modelle zurück, die mit Ihrer aktuellen Hardwarekonfiguration kompatibel sind.

Modellspeicher

Heruntergeladene Modelle werden an einem benutzerspezifischen Speicherort gespeichert. Wenn mehrere Anwendungen dasselbe Modell anfordern (derselbe SHA256-Hash), wird das bereits heruntergeladene Modell unter diesen Anwendungen freigegeben.

Mehrere Katalogquellen

Ihre Anwendung kann mehrere Katalogquellen konfigurieren, sodass Sie:

  • Verwenden von Modellen von mehreren Anbietern oder Repositorys
  • Priorisieren bestimmter Quellen gegenüber anderen
  • Schließen Sie ihre eigenen privaten Modellkataloge zusammen mit öffentlichen Katalogen ein.

Funktionsweise

Das Modellkatalogsystem besteht aus mehreren Komponenten:

  1. Katalogquellen: Definieren, wo Modelle gefunden werden können (URLs für JSON-Katalogdateien)
  2. Modellabgleich: Filtert verfügbare Modelle basierend auf der Kompatibilität des Ausführungsanbieters
  3. Downloadverwaltung: Behandelt das Herunterladen und Speichern von Modelldateien
  4. Instanzverwaltung: Bietet Zugriff auf heruntergeladene Modelle, während Ihre App ausgeführt wird.

Modellidentifikation

Modelle im Katalog weisen zwei Arten von Bezeichnern auf:

  • Name: Ein allgemeiner Name wie "gpt2" (mehrere Modellvariationen können denselben Namen gemeinsam nutzen)
  • ID: Ein eindeutiger Katalogbezeichner, der in der Regel Informationen zum Ausführungsanbieter enthält, z. B. "gpt2-cpu" oder "gpt2-npu"

Anwendungen verwenden typischerweise FindModelAsync in Kombination mit dem Namen, um die Einfachheit zu gewährleisten, sodass der Katalog basierend auf der Kompatibilität des Ausführungsanbieters die beste verfügbare Modellvariante für das aktuelle System auswählen kann.

Unterstützung des Ausführungsanbieters

Der Modellkatalog unterstützt eine Vielzahl von Ausführungsanbietern. Weitere Informationen finden Sie unter den unterstützten Ausführungsanbietern in Windows ML-Dokumenten .

Katalogquellschema

Modellkatalogquellen verwenden ein standardisiertes JSON-Schema, das Folgendes definiert:

  • Modellmetadaten (Name, ID, Version, Herausgeber)
  • Unterstützte Ausführungsanbieter
  • Herunterladen von URLs und Dateiinformationen
  • Lizenzinformationen
  • Details zur Modellgröße

Ausführliche Schemainformationen finden Sie unter Modellkatalogquelle.

Erste Schritte

So beginnen Sie mit der Verwendung des Modellkatalogs in Ihrer Windows ML-Anwendung:

  1. Konfigurieren der Katalogquellen
  2. Erstellen einer ModelCatalog Instanz
  3. Abfragen und Herunterladen von Modellen
  4. Rückschluss auf Ihre Modelle mit der gewünschten Laufzeit!

Eine vollständige exemplarische Vorgehensweise finden Sie unter "Erste Schritte mit dem Modellkatalog".

Nächste Schritte

  • Last updated on