DirectML-Tools

Die folgenden Tools stehen zur Verfügung, um DirectML zu verbessern und in Ihre AI-App zu integrieren.

ONNX Runtime Go Live (Olive)

Olive ist ein einfach zu verwendende Hardware-kompatibles Modelloptimierungstool, das branchenführende Techniken für die Modellkomprimierung, Optimierung und Kompilierung erstellt. Sie können ein Modell mit DirectML als Ziel-Back-End übergeben und Olive erstellt die besten Optimierungstechniken, um die effizientesten Modelle auszuliefern. Weitere Informationen und Beispiele zur Verwendung von Olive finden Sie in der Dokumentation zu Olive.

DxDispatch

DxDispatch ist eine einfache ausführbare Befehlszeile zum Starten von DirectX 12-Computeprogrammen, ohne alle C++-Textbausteine zu schreiben. Die Eingabe für das Tool ist ein JSON-Modell, das Ressourcen, Dispatchables (Computeshader, DirectML-Operatoren und ONNX-Modelle) und auszuführende Befehle definiert. Weitere Informationen finden Sie im DxDispatch-Leitfaden auf Github.

DirectMLX

DirectMLX ist eine Hilfsbibliothek, die nur aus C++-Header-Dateien besteht und für DirectML gedacht ist, um das Zusammensetzen einzelner Operatoren in Graphen zu erleichtern. Weitere Informationen finden Sie in der DirectMLX-Dokumentation

ONNX-Runtime-Leistungstests

Der onnxruntime perf-Test ist ein Tool, das die Leistung der Ausführung von ONNX-Modellen mit verschiedenen Ausführungsanbietern (EPs) im onnxruntime-Framework misst. Sie kann Metriken wie Latenz, Durchsatz, Arbeitsspeicherauslastung und CPU/GPU-Auslastung für jedes EP und jedes Modell melden. Der Onnxruntime-Perf-Test kann auch die Ergebnisse verschiedener EPs und Modelle vergleichen und Diagramme und Tabellen für die Analyse generieren.

Um den onnxruntime perf test mit dem directml ep zu verwenden, installieren Sie das onnxruntime-directml-Paket, und geben Sie das directml als EP in den Befehlszeilenargumenten an. Der folgende Befehl führt beispielsweise den perf-Test für das resnet50-Modell mit directml ep und den Standardeinstellungen aus:

onnxruntime_perf_test -m resnet50 -e directml

Der perf-Test gibt die durchschnittliche Latenz, spitzen Arbeitssatzspeicher und die durchschnittliche CPU/GPU-Auslastung für directml ep und das Resnet50-Modell aus. Eine kann auch andere Optionen verwenden, um den Perf-Test anzupassen, z. B. ändern die Anzahl der Iterationen, die Batchgröße, die Parallelität, die Warmupläufe, die Modelleingaben und die Ausgabeformate. Weitere Informationen finden Sie in der Dokumentation zu onnxruntime perf test.