Udostępnij przez

Co to jest uczenie maszynowe systemu Windows?

Usługa Windows Machine Learning (ML) umożliwia deweloperom języka C#, C++i Python uruchamianie modeli AI ONNX lokalnie na komputerach z systemem Windows za pośrednictwem środowiska uruchomieniowego ONNX z automatycznym zarządzaniem dostawcą wykonywania dla różnych sprzętu (procesorów CPU, procesorów GPU, jednostek NPU). Środowisko uruchomieniowe ONNX może być używane z modelami z bibliotekI PyTorch, Tensorflow/Keras, TFLite, scikit-learn i innych struktur.

Diagram ilustrujący model ONNX przechodzący przez uczenie maszynowe systemu Windows w celu uzyskania dostępu do jednostek NPU, procesorów GPU i procesorów CPU.

Jeśli nie znasz jeszcze środowiska uruchomieniowego ONNX, zalecamy przeczytanie dokumentacji środowiska uruchomieniowego ONNX. Krótko mówiąc, usługa Windows ML zapewnia udostępnioną kopię środowiska uruchomieniowego ONNX dla całego systemu Windows oraz możliwość dynamicznego pobierania dostawców wykonywania (EPs).

Najważniejsze korzyści

  • Dynamiczne pobieranie najnowszych adresów e-mail — automatycznie pobiera i zarządza najnowszymi dostawcami wykonywania specyficznymi dla sprzętu
  • Współużytkowane środowisko uruchomieniowe ONNX — używa środowiska uruchomieniowego całego systemu zamiast tworzenia pakietów własnych, zmniejszając rozmiar aplikacji
  • Mniejsze pliki do pobrania/instalacji — nie trzeba przenosić dużych adresów EPs i środowiska uruchomieniowego ONNX w aplikacji
  • Szeroka obsługa sprzętu — działa na komputerach z systemem Windows (x64 i ARM64) i Windows Server z dowolną konfiguracją sprzętu

Wymagania systemowe

  • System operacyjny: wersja systemu Windows obsługiwana przez zestaw SDK aplikacji systemu Windows
  • Architektura: x64 lub ARM64
  • Sprzęt: dowolna konfiguracja komputera (procesory CPU, zintegrowane/dyskretne procesory GPU, jednostki NPU)

Co to jest dostawca wykonywania?

Dostawca wykonywania (EP) to składnik, który umożliwia optymalizacje specyficzne dla sprzętu dla operacji uczenia maszynowego. Dostawcy wykonywania abstrakcji różnych zapleczy obliczeniowych (procesor CPU, procesor GPU, wyspecjalizowane akceleratory) i zapewniają ujednolicony interfejs do partycjonowania grafu, rejestracji jądra i wykonywania operatora. Aby dowiedzieć się więcej, zobacz dokumentację środowiska uruchomieniowego ONNX.

Listę adresów e-mail, które obsługuje usługa Windows ML, można znaleźć tutaj.

Jak to działa

Usługa Windows ML zawiera kopię środowiska uruchomieniowego ONNX i umożliwia dynamiczne pobieranie dostawców wykonywania specyficznych dla dostawcy (EPS), dzięki czemu wnioskowanie modelu można zoptymalizować w wielu różnych procesorach CPU, procesorach GPU i jednostkach NPU w ekosystemie systemu Windows.

Automatyczne wdrażanie

  1. Instalacja aplikacji — program rozruchowy zestawu SDK aplikacji systemu Windows inicjuje uczenie maszynowe systemu Windows
  2. Wykrywanie sprzętu — środowisko uruchomieniowe identyfikuje dostępne procesory
  3. Pobieranie EP — automatyczne pobieranie optymalnych dostawców wykonywania
  4. Gotowe do uruchomienia — Aplikacja może natychmiast korzystać z modeli sztucznej inteligencji

Eliminuje to konieczność:

  • Dostawcy wykonywania pakietów dla określonych dostawców sprzętu
  • Tworzenie oddzielnych kompilacji aplikacji dla różnych dostawców wykonywania
  • Ręczne obsługa aktualizacji dostawcy wykonywania

Uwaga / Notatka

Nadal odpowiadasz za optymalizowanie modeli pod kątem różnych sprzętu. Usługa Windows ML obsługuje dystrybucję dostawcy wykonywania, a nie optymalizację modelu. Aby uzyskać więcej informacji na temat optymalizacji, zobacz AI Toolkit and the ONNX Runtime Tutorials (Samouczki dotyczące środowiska uruchomieniowego ONNX ).

Optymalizacja wydajności

Najnowsza wersja systemu Windows ML współpracuje bezpośrednio z dedykowanymi dostawcami wykonywania dla procesorów GPU i procesorów NPU, zapewniając wydajność do metalu, która jest na równi z dedykowanymi zestawami SDK z przeszłości, takimi jak TensorRT dla RTX, AI Engine Direct i rozszerzenie intela dla PyTorch. Zaprojektowaliśmy system Windows ML, aby zapewnić najlepszą wydajność procesora GPU i procesora NPU, zachowując jednocześnie korzyści z zapisu raz w dowolnym miejscu oferowane przez poprzednie rozwiązanie oparte na języku DirectML.

Używanie silników wykonawczych w Windows ML

Środowisko uruchomieniowe uczenia maszynowego z systemem Windows zapewnia elastyczny sposób uzyskiwania dostępu do dostawców wykonywania uczenia maszynowego (EPS), którzy mogą optymalizować wnioskowanie modelu uczenia maszynowego na różnych konfiguracjach sprzętu. Te EP-y są dystrybuowane jako oddzielne pakiety, które można aktualizować niezależnie od systemu operacyjnego. Aby uzyskać więcej informacji na temat dynamicznego pobierania i rejestrowania adresów e-mail, zobacz inicjowanie dostawców wykonywania za pomocą dokumentacji uczenia maszynowego systemu Windows.

Konwertowanie modeli na ONNX

Modele można konwertować z innych formatów na ONNX, aby można było ich używać z systemem Windows ML. Zapoznaj się z dokumentacją zestawu narzędzi AI Toolkit programu Visual Studio Code, aby dowiedzieć się więcej, jak konwertować modele na format ONNX . Zobacz również samouczki środowiska uruchomieniowego ONNX , aby uzyskać więcej informacji na temat konwertowania modeli PyTorch, TensorFlow i Hugging Face na ONNX.

Zarządzanie modelem

Usługa Windows ML oferuje elastyczne opcje zarządzania modelami sztucznej inteligencji:

  • Katalog modeli — dynamiczne pobieranie modeli z wykazów online bez tworzenia pakietów dużych plików
  • Modele lokalne — dołączanie plików modelu bezpośrednio do pakietu aplikacji

Integracja z ekosystemem sztucznej inteligencji systemu Windows

Usługa Windows ML stanowi podstawę dla szerszej platformy sztucznej inteligencji systemu Windows:

Przekazywanie opinii

Znaleziono problem lub masz sugestie? Wyszukiwanie lub tworzenie problemów w usłudze GitHub zestawu SDK aplikacji systemu Windows.

Dalsze kroki

  • Last updated on