Udostępnij przez

Pobieranie i udostępnianie modeli na urządzeniu za pomocą interfejsów API wykazu modeli uczenia maszynowego systemu Windows

Interfejsy API wykazu modeli uczenia maszynowego systemu Windows umożliwiają aplikacji lub bibliotece dynamiczne pobieranie dużych plików modelu sztucznej inteligencji do udostępnionej lokalizacji na urządzeniu z własnych katalogów modeli online bez konieczności wysyłania tych dużych plików bezpośrednio do aplikacji lub biblioteki. Ponadto katalog modeli pomoże filtrować, które modele są zgodne z urządzeniem z systemem Windows, na którym działa, tak aby odpowiedni model został pobrany na urządzenie.

Jakie są interfejsy API katalogu modeli?

Interfejsy API wykazu modeli to zestaw interfejsów API, które można połączyć z jednym lub wieloma katalogami modeli w chmurze, aby ułatwić pobieranie i przechowywanie tych modeli lokalnie na urządzeniu, aby mogły być używane przez dowolne aplikacje systemu Windows na urządzeniu. Interfejsy API mają kilka podstawowych funkcji:

  • Dodawanie wykazów: dodawanie jednego lub wielu wykazów online
  • Odnajdywanie zgodnych modeli: automatyczne znajdowanie modeli, które współpracują ze sprzętem użytkownika i dostawcami wykonawczymi
  • Pobieranie modeli: pobieranie i przechowywanie modeli z różnych źródeł
  • Udostępnianie modeli w aplikacjach: jeśli wiele aplikacji żąda tego samego modelu (ten sam skrót SHA256), model zostanie udostępniony na dysku bez duplikowania plików do pobrania

Kluczowe funkcje

Automatyczne dopasowywanie zgodności

Katalog modeli automatycznie dopasuje modele do dostępnych dostawców wykonywania systemu (procesor CPU, procesor GPU, procesor NPU itp.). W przypadku żądania modelu wykaz zwraca tylko modele zgodne z bieżącą konfiguracją sprzętu.

Przechowywanie danych modelu

Pobrane modele są przechowywane w lokalizacji specyficznej dla użytkownika. Jeśli wiele aplikacji zażąda tego samego modelu (ten sam skrót SHA256), już pobrany model zostanie udostępniony tym aplikacjom.

Wiele źródeł katalogu

Aplikacja może skonfigurować wiele źródeł wykazu, co umożliwia:

  • Korzystanie z modeli od wielu dostawców lub repozytoriów
  • Priorytetyzacja niektórych źródeł nad innymi
  • Uwzględnij swoje prywatne katalogi modeli obok publicznych

Jak to działa

System wykazu modeli składa się z kilku składników:

  1. Źródła wykazu: określ, gdzie można znaleźć modele (adresy URL do katalogu plików JSON)
  2. Dopasowywanie modelu: Filtruje dostępne modele na podstawie zgodności z dostawcą wykonywania
  3. Zarządzanie pobieraniem: obsługuje pobieranie i przechowywanie plików modelu
  4. Zarządzanie wystąpieniami: zapewnia dostęp do pobranych modeli, gdy aplikacja jest uruchomiona

Identyfikacja modelu

Modele w katalogu mają dwa typy identyfikatorów:

  • Nazwa: nazwa pospolita, taka jak "gpt2" (wiele odmian modelu może mieć taką samą nazwę)
  • Identyfikator: unikatowy w katalogu identyfikator, który zwykle zawiera informacje o dostawcy usług wykonywania, takie jak "gpt2-cpu" lub "gpt2-npu"

Aplikacje zwykle używają FindModelAsync z użyciem nazwy dla uproszczenia, umożliwiając katalogowi wybranie najlepszego dostępnego wariantu modelu dla bieżącego systemu na podstawie zgodności dostawcy usług wykonawczych.

Obsługa wykonawcy wykonania

Katalog modeli obsługuje różnych dostawców realizacji. Aby uzyskać więcej informacji, zobacz obsługiwanych dostawców wykonywania w dokumentacji usługi Windows ML .

Schemat źródła wykazu

Źródła wykazu modeli używają standardowego schematu JSON, który definiuje:

  • Metadane modelu (nazwa, identyfikator, wersja, wydawca)
  • Obsługiwani dostawcy usług wykonywania
  • Pobieranie adresów URL i informacji o plikach
  • Informacje o licencji
  • Szczegóły rozmiaru modelu

Aby uzyskać szczegółowe informacje o schemacie, zobacz Źródło wykazu modeli.

Wprowadzenie

Aby rozpocząć korzystanie z katalogu modeli w aplikacji uczenia maszynowego systemu Windows:

  1. Skonfiguruj źródła katalogu
  2. Utwórz ModelCatalog wystąpienie
  3. Wykonywanie zapytań i pobieranie modeli
  4. Wnioskowanie modeli przy użyciu żądanego środowiska uruchomieniowego!

Aby zapoznać się z kompletnym przewodnikiem, zobacz Wprowadzenie do wykazu modeli.

Dalsze kroki

  • Last updated on