Narzędzia DirectML

Dostępne są następujące narzędzia do ulepszania języka DirectML i dołączania go do aplikacji sztucznej inteligencji.

Środowisko uruchomieniowe ONNX Go Live (Olive)

Olive to łatwe w użyciu narzędzie do optymalizacji modelu obsługującego sprzęt, które komponuje wiodące w branży techniki kompresji, optymalizacji i kompilacji modelu. Model można przekazać przez Olive, używając DirectML jako docelowego zaplecza, a Olive dobiera najlepsze odpowiednie techniki optymalizacji, aby uzyskać najbardziej wydajne modele. Aby uzyskać więcej informacji i przykładów dotyczących korzystania z oliwek, zobacz dokumentację Olive.

DxDispatch powiedział:

DxDispatch to prosty plik wykonywalny wiersza polecenia do uruchamiania programów obliczeniowych DirectX 12 bez konieczności pisania wszystkich szablonów języka C++. Dane wejściowe do narzędzia to model JSON, który definiuje zasoby, dyspozytora (moduły cieniowania obliczeniowego, operatory DirectML i modele ONNX) oraz polecenia do wykonania. Aby uzyskać więcej informacji, zobacz przewodnik DxDispatch w witrynie GitHub.

DirectMLX

DirectMLX to biblioteka pomocnicza tylko z nagłówkami w języku C++ dla DirectML, ułatwiająca komponowanie pojedynczych operatorów w grafy. Aby uzyskać więcej informacji, odwiedź dokumentację języka DirectMLX

Testy wydajności środowiska uruchomieniowego ONNX

Test wydajności onnxruntime jest narzędziem, które mierzy wydajność uruchamiania modeli ONNX z różnymi dostawcami wykonywania (EPS) w strukturze onnxruntime. Może raportować metryki, takie jak opóźnienie, przepustowość, wykorzystanie pamięci i CPU/GPU dla każdego EP i modelu. Test wydajności onnxruntime może również porównywać wyniki uzyskane przez różne EP i modele oraz generować wykresy i tabele na potrzeby analizy.

Aby użyć testu wydajności onnxruntime z ep directml, zainstaluj pakiet onnxruntime-directml i określ directml jako ep w argumentach wiersza polecenia. Na przykład następujące polecenie uruchamia test wydajności dla modelu resnet50 z użyciem "directml" ep i ustawieniami domyślnymi.

onnxruntime_perf_test -m resnet50 -e directml

Test wydajnościowy zwróci średnie opóźnienie, szczytowe zużycie pamięci zestawu roboczego oraz średnie użycie procesora CPU i GPU dla DirectML EP i modelu ResNet50. Można również użyć innych opcji, aby dostosować test wydajności, na przykład zmianę liczby iteracji, rozmiaru partii, współbieżności, przebiegów rozgrzewki, danych wejściowych modelu i formatów wyjściowych. Aby uzyskać więcej informacji, zapoznaj się z dokumentacją testu wydajności onnxruntime.