Udostępnij przez

Rozwijaj aplikacje sztucznej inteligencji dla Copilotkomputerów

Copilot+ komputery to nowa klasa sprzętu z systemem Windows 11 obsługiwana przez wysokowydajną jednostkę przetwarzania neuronowego (NPU) — wyspecjalizowany mikroukład komputerowy dla procesów intensywnie korzystających ze sztucznej inteligencji, takich jak tłumaczenia w czasie rzeczywistym i generowanie obrazów — które mogą wykonywać ponad 40 bilionów operacji na sekundę (TOPS). Copilot+ Komputery zapewniają całodniowe żywotność baterii i dostęp do najbardziej zaawansowanych funkcji i modeli sztucznej inteligencji.

Więcej informacji:

Poniższe wskazówki dla deweloperów PC Copilot+ obejmują:

  • Wymagania wstępne dotyczące urządzeń
  • Co to jest układ Snapdragon Elite X+ oparty na architekturze Arm?
  • Unikalne funkcje sztucznej inteligencji obsługiwane przez Copiloti komputery z procesorem NPU
  • Jak uzyskać dostęp do NPU na Copilot+ PC
  • Jak używać środowiska uruchomieniowego ONNX do programowego uzyskiwania dostępu do jednostki NPU na Copilot+ PC
  • Jak mierzyć wydajność modeli sztucznej inteligencji uruchomionych lokalnie na urządzeniu NPU

Warunki wstępne

Te wskazówki dotyczą Copiloti komputerów.

Wiele nowych funkcji sztucznej inteligencji systemu Windows wymaga NPU z wydajnością równą lub większą niż 40 TOPS, w tym m.in.:

Surface Copilot+ komputery dla firm:

Czym jest oparty na architekturze ARM chip Snapdragon Elite X?

Nowy układ Snapdragon X Elite oparty na architekturze Arm firmy Qualcomm podkreśla integrację sztucznej inteligencji poprzez wiodącą w branży jednostkę przetwarzania neuronowego (NPU). Ten procesor NPU jest w stanie przetwarzać duże ilości danych równolegle, wykonując biliony operacji na sekundę, wykorzystując energię w zadaniach sztucznej inteligencji wydajniej niż procesor CPU lub procesor GPU, co powoduje dłuższy czas pracy baterii urządzenia. NPU współpracuje z CPU i GPU. System Windows 11 przypisuje zadania przetwarzania do najbardziej odpowiedniego miejsca w celu zapewnienia szybkiej i wydajnej wydajności. Jednostka NPU umożliwia inteligentne funkcje AI na urządzeniu z zabezpieczeniami o klasie korporacyjnej, zapewniając zwiększoną ochronę na poziomie od układu scalonego po chmurę.

Unikalne funkcje sztucznej inteligencji obsługiwane przez Copilotoraz komputery z procesorem NPU

Copilotoraz komputery PC oferują unikatowe środowiska sztucznej inteligencji dostarczane z nowoczesnymi wersjami systemu Windows 11. Te funkcje sztucznej inteligencji, przeznaczone do uruchamiania na urządzeniu NPU, są dostarczane w najnowszych wersjach systemu Windows i będą dostępne za pośrednictwem interfejsów API w rozwiązaniu Microsoft Foundry w systemie Windows. Dowiedz się więcej o rozwiązaniu Microsoft Foundry w interfejsach API systemu Windows, obsługiwanych przez modele zoptymalizowane pod kątem przetwarzania wnioskowania na NPU. Te interfejsy API będą dostępne w nadchodzącej wersji zestawu Windows App SDK.

Jak uzyskać dostęp do NPU na Copilot+ PC

Jednostka przetwarzania neuronowego NPU to nowy zasób sprzętowy. Podobnie jak inne zasoby sprzętowe na komputerze, procesor NPU musi być specjalnie zaprogramowany, aby korzystać z oferowanych przez nią korzyści. Jednostki NPU są przeznaczone specjalnie do wykonywania operacji matematycznych uczenia głębokiego tworzących modele sztucznej inteligencji.

Funkcje Copilot+ AI w systemie Windows 11, wymienione powyżej, zostały specjalnie zaprojektowane, aby wykorzystać jednostkę NPU. Użytkownicy będą mieć lepszą żywotność baterii i krótszy czas wykonywania wnioskowania dla modeli sztucznej inteligencji przeznaczonych dla jednostki NPU. Obsługa NPU w systemie Windows 11 obejmie urządzenia Qualcomm oparte na technologii Arm, a także urządzenia Intel i AMD (wkrótce).

W przypadku urządzeń z jednostkami NPU można teraz użyć Menedżera Zadań do wyświetlania użycia zasobów NPU.

Zrzut ekranu menedżera zadań systemu Windows wyświetlający wydajność NPU, CPU, GPU, pamięci, sieci Ethernet oraz dysku

Zalecanym sposobem wnioskowania (uruchamianie zadań sztucznej inteligencji) na urządzeniu NPU jest użycie uczenia maszynowego z systemem Windows.

Jak programowo uzyskać dostęp do jednostki NPU na komputerze Copilot+ na potrzeby przyspieszania sztucznej inteligencji

Zalecany sposób programowego uzyskiwania dostępu do jednostki NPU (neuronowego przetwarzania) i procesora GPU na potrzeby przyspieszania sztucznej inteligencji został przeniesiony z języka DirectML do systemu Windows ML (WinML). To przejście odzwierciedla szerszy wysiłek, aby uprościć i zoptymalizować środowisko deweloperskie dla obciążeń sztucznej inteligencji na urządzeniach z systemem Windows. Zaktualizowane wskazówki można znaleźć tutaj: Dowiedz się, jak usługa Windows Machine Learning (ML) pomaga aplikacjom systemu Windows uruchamiać modele sztucznej inteligencji lokalnie.

  • Wbudowane odnajdywanie EP: wcześniej deweloperzy musieli wiedzieć, którzy dostawcy wykonania (EPs) byli zgodni ze swoim sprzętem i łączyć tych dostawców wykonania z aplikacjami. Często doprowadziło to do większych rozmiarów aplikacji i zwiększenia złożoności zarządzania zależnościami. W przypadku uczenia maszynowego z systemem Windows proces jest teraz zautomatyzowany i usprawniony. Usługa Windows ML automatycznie wykrywa dostępny sprzęt na urządzeniu i pobiera odpowiednie adresy EPS zgodnie z potrzebami. Oznacza to, że deweloperzy nie muszą już wiązać określonych adresów e-mail ze swoimi aplikacjami, co powoduje zmniejszenie rozmiaru aplikacji i zmniejszenie złożoności.

  • Zintegrowane dostarczanie EP: Wymagane EP, takie jak QNNExecutionProvider od Qualcomm i OpenVINO EP od Intela, są teraz zintegrowane z systemem Windows lub dostarczane przez Windows Update, co eliminuje konieczność ręcznego pobierania.

  • ORT pod maską: System Windows ML nadal używa środowiska uruchomieniowego ONNX jako silnika wnioskowania, ale abstrahuje złożoność zarządzania EP. Środowisko uruchomieniowe ONNX to aparat wnioskowania i trenowania typu open source dla modeli sztucznej inteligencji przy użyciu formatu ONNX i umożliwia deweloperom tworzenie aplikacji sztucznej inteligencji, które mogą działać wydajnie na wielu różnych urządzeniach.

  • Współpraca z dostawcami sprzętu: firma Microsoft współpracuje bezpośrednio z dostawcami sprzętu, takimi jak Qualcomm i Intel, w celu zapewnienia zgodności z wczesnymi wersjami sterowników i nowymi układami scalonymi (na przykład Snapdragon X Elite, Intel Core Ultra itp.).

Podczas wdrażania modelu sztucznej inteligencji przy użyciu Windows ML na komputerze Copilot:

  • Usługa Windows ML wysyła zapytanie do systemu pod kątem dostępnych akceleratorów sprzętowych.
  • Wybiera najbardziej wydajne EP (na przykład QNN dla procesorów NPU Qualcomm, OpenVINO dla procesorów NPU Intel).
  • EP jest ładowany automatycznie i rozpoczyna się inferencja.
  • Jeśli preferowany element przetwarzający (EP) ulegnie awarii lub jest niedostępny, Windows ML płynnie przełącza się na inny (na przykład korzystając z GPU lub CPU).

Oznacza to, że deweloperzy mogą skupić się na tworzeniu środowisk sztucznej inteligencji bez martwienia się o integrację sprzętu niskiego poziomu

Obsługiwane formaty modeli

Modele sztucznej inteligencji są często trenowane i dostępne w większych formatach danych, takich jak FP32. Jednak wiele urządzeń NPU obsługuje tylko obliczenia całkowite w niższym formacie bitowym, takim jak INT8, w celu zwiększenia wydajności i wydajności zasilania. W związku z tym modele sztucznej inteligencji muszą być konwertowane (lub "kwantyzowane"), aby działały na serwerze NPU. Dostępnych jest wiele modeli, które zostały już przekonwertowane na format gotowy do użycia. Możesz również przynieść własny model (BYOM), aby przekonwertować lub zoptymalizować.

  • Qualcomm AI Hub (Compute): Qualcomm udostępnia modele sztucznej inteligencji, które zostały już zweryfikowane do użycia na Copiloti komputerach z Pakietem X Elite z dostępnymi modelami specjalnie zoptymalizowanymi pod kątem wydajnego działania na tym NPU. Dowiedz się więcej: Przyspieszanie wdrażania modelu za pomocą rozwiązania Qualcomm AI Hub | Microsoft Build 2024.
  • ONNX Model Zoo: to repozytorium typu open source oferuje wyselekcjonowany zbiór wstępnie wytrenowanych, najnowocześniejszych modeli w formacie ONNX. Te modele są zalecane do użycia z jednostkami NPU we wszystkich Copiloti komputerach, w tym na urządzeniach Intel i AMD (wkrótce).

W przypadku osób, które chcą wprowadzić własny model, zalecamy użycie narzędzia optymalizacji modeli z uwzględnieniem sprzętu, Olive. Olive może pomóc w kompresji, optymalizacji i kompilacji modelu w celu pracy ze środowiskiem uruchomieniowym ONNX jako rozwiązaniem optymalizacji wydajności npu. Dowiedz się więcej: Ułatwienie korzystania ze sztucznej inteligencji: jak ONNX Runtime i Olive toolchain pomogą Ci w Q&A | Build 2023.

Jak mierzyć wydajność modeli sztucznej inteligencji uruchomionych lokalnie na urządzeniu NPU

Aby zmierzyć wydajność integracji funkcji sztucznej inteligencji w aplikacji i skojarzonych czasów wykonania modelu sztucznej inteligencji:

  • Rejestrowanie śladu: Rejestrowanie aktywności urządzenia w określonym czasie nazywa się śledzeniem systemu. Śledzenie systemu tworzy plik "śledzenia", który może służyć do generowania raportu i pomaga określić, jak poprawić wydajność aplikacji. Dowiedz się więcej: Przechwytywanie śledzenia systemu w celu analizowania użycia pamięci.

  • Wyświetl użycie jednostki NPU: sprawdź, które procesy korzystają z jednostki NPU i stosów wywołań przesyłających pracę.

  • Przeglądaj pracę i stosy wywołań na CPU: Analizuj wyniki wstępnego karmienia modeli sztucznej inteligencji i przetwarzania po pracy.

  • ładowanie i środowisko uruchomieniowe: sprawdź czas ładowania modelu sztucznej inteligencji i utwórz sesję środowiska uruchomieniowego ONNX.

  • parametry środowiska uruchomieniowego: Sprawdź parametry konfiguracji środowiska uruchomieniowego ONNX i dostawcy wykonywania (EP), które wpływają na wydajność i optymalizację środowiska uruchomieniowego modelu.

  • Indywidualne czasy wnioskowania: Śledzenie czasów wnioskowania oraz szczegółów dodatkowych z jednostki NPU.

  • Profiler: Profiluj operacje modelu AI, aby zobaczyć, jak długo każdy operator miał wpływ na całkowity czas wnioskowania.

  • specyficzne dla jednostki NPU: sprawdź szczegóły podrzędne jednostki NPU, takie jak metryki podrzędne HW, przepustowość pamięci i inne.

Zrzut ekranu przedstawiający ogólne wrażenie narzędzia Windows Performance Analyzer

Aby wykonać te pomiary, zalecamy następujące narzędzia diagnostyczne i śledzenia:

  • Menedżer zadań: umożliwia użytkownikowi wyświetlanie wydajności systemu operacyjnego Windows zainstalowanego na urządzeniu, w tym procesów, wydajności, historii aplikacji, aplikacji startowych, użytkowników, szczegółów i usług. Dane wydajności w czasie rzeczywistym będą wyświetlane dla CPU urządzenia, pamięci, dysku, sieci Wi-Fi, procesora GPU i teraz NPU. Dane obejmują procent wykorzystania, dostępnej pamięci, pamięci udostępnionej, wersji sterownika, lokalizacji fizycznej i nie tylko.
  • Windows Performance Recorder (WPR): WPR zawiera teraz profil przetwarzania neuronowego do rejestrowania aktywności NPU. Rejestruje to interakcji modelu sterowników obliczeniowych firmy Microsoft (MCDM) z serwerem NPU. Deweloperzy mogą teraz zobaczyć użycie jednostek NPU, które procesy korzystają z jednostki NPU, oraz stosy wywołań przesyłające pracę.
  • Windows Performance Analyzer (WPA): WPA tworzy grafy i tabele danych śledzenia zdarzeń systemu Windows (ETW), które są rejestrowane przez narzędzie Windows Performance Recorder (WPR), Xperf lub ocenę uruchamianą na platformie oceny. Zapewnia wygodne punkty dostępu do analizowania procesora CPU, dysku, sieci, ONNX Runtime oraz nową tabelę dla analizy NPU , wszystkie w jednej osi czasu. Usługa WPA może teraz wyświetlać zadania i stosy wywołań na procesorze, które są związane z przygotowaniem danych do trenowania modeli AI oraz przetwarzaniem wyników modelu AI po jego zastosowaniu. pobierz analizator wydajności systemu Windows ze sklepu Microsoft Store.
  • GPUView: GPUView to narzędzie programistyczne, które odczytuje zarejestrowane zdarzenia wideo i jądra z pliku dziennika śledzenia zdarzeń (.etl) i przedstawia dane graficznie użytkownikowi. To narzędzie obejmuje teraz zarówno operacje procesora GPU, jak i procesor NPU, a także obsługę wyświetlania zdarzeń DirectX dla urządzeń MCDM, takich jak NPU.
  • zdarzenia ONNX Runtime w Analizatorze wydajności Windows: Począwszy od ONNXRuntime 1.17 (i ulepszony w wersji 1.18.1), następujące przypadki użycia są dostępne ze zdarzeniami emitowanymi w środowisku uruchomieniowym:
    • Zobacz, jak długo trwało ładowanie modelu sztucznej inteligencji i tworzenie sesji środowiska uruchomieniowego ONNX.
    • Zobacz parametry konfiguracji środowiska uruchomieniowego ONNX i dostawcy wykonywania (EP), które wpływają na wydajność oraz optymalizację działania modelu.
    • Śledzenie czasów przetwarzania i danych szczegółowych z jednostki przetwarzającej NPU (QNN).
    • Profiluj operacje modelu AI, aby sprawdzić, jak długo każdy operator przyczyniał się do czasu całkowitego wnioskowania.
    • Dowiedz się więcej na temat profilowania ONNX Runtime Execution Provider (EP).

Notatka

Interfejs użytkownika funkcji WPR (interfejs użytkownika dostępny do obsługi wiersza polecenia opartego na funkcji WPR w systemie Windows), WPA i GPUView są częścią zestawu narzędzi Windows Performance Toolkit (WPT), wersja maj 2024+. Aby użyć WPT, musisz: pobrać zestaw Windows ADK.

Aby szybko rozpocząć wyświetlanie zdarzeń ONNX Runtime z użyciem analizatora wydajności systemu Windows (WPA), wykonaj następujące kroki:

  1. Pobierz ort.wprp oraz etw_provider.wprp.

  2. Otwórz wiersz polecenia i wprowadź:

    wpr -start ort.wprp -start etw_provider.wprp -start NeuralProcessing -start CPU
echo Repro the issue allowing ONNX to run 
wpr -stop onnx_NPU.etl -compress

  3. Połącz profile narzędzia Windows Performance Recorder (WPR) z innymi wbudowanymi profilami rejestrowania, takimi jak CPU, dysk itp.

  4. pobierz narzędzie Windows Performance Analyzer (WPA) ze sklepu Microsoft Store.

  5. Otwórz plik onnx_NPU.etl w usłudze WPA. Double-Click otwórz te grafy:

    • "Przetwarzanie neuronowe — wykorzystanie jednostek NPU>
    • Zdarzenia ogólne dla zdarzeń ONNX

Dodatkowe narzędzia do pomiaru wydajności do rozważenia przy użyciu narzędzi systemu Microsoft Windows wymienionych powyżej obejmują:

  • Qualcomm Snapdragon Profiler (qprof): graficzny interfejs użytkownika oraz narzędzie do profilowania wydajności całego systemu, zaprojektowane do wizualizacji wydajności systemu oraz identyfikowania możliwości optymalizacji i usprawnień skalowania aplikacji w procesorach SoC CPU, GPU, DSP i innych blokach IP firmy Qualcomm. Narzędzie Snapdragon Profiler umożliwia wyświetlanie szczegółów NPU, takich jak szczegóły sprzętowe, przepustowość pamięci i inne.

Dodatkowe zasoby

  • Last updated on