Herramientas de DirectML

Las siguientes herramientas están disponibles para mejorar DirectML e incorporarlas a la aplicación de IA.

Tiempo de ejecución de ONNX en vivo (Olive)

Olive es una herramienta de optimización de modelos compatible con el hardware y fácil de usar que combina técnicas líderes del sector de compresión, optimización y compilación de modelos. Puede pasar un modelo a través de Olive con DirectML como back-end de destino y Olive compone las mejores técnicas de optimización adecuadas para generar los modelos más eficaces. Para obtener más información y ejemplos sobre cómo usar Olive, consulte la documentación de Olive.

DxDispatch

DxDispatch es un ejecutable de línea de comandos simple para iniciar programas de cálculo de DirectX 12 sin escribir todo el código estándar en C++. La entrada de la herramienta es un modelo JSON que define recursos, despachables (sombreadores de cómputo, operadores DirectML y modelos ONNX) y comandos para ejecutar. Para obtener más información, consulte la guía de DxDispatch en Github.

DirectMLX

DirectMLX es una biblioteca auxiliar de C++ compuesta solo de archivos de encabezado para DirectML, diseñada para facilitar la integración de operadores individuales en grafos. Para obtener más información, visite la documentación de DirectMLX.

Pruebas de rendimiento en tiempo de ejecución de ONNX

La prueba de rendimiento onnxruntime es una herramienta que mide el rendimiento de ejecutar modelos ONNX con diferentes proveedores de ejecución (EPs) en el marco onnxruntime. Puede notificar métricas como latencia, rendimiento, uso de memoria y uso de CPU/GPU para cada EP y modelo. La prueba de rendimiento onnxruntime también puede comparar los resultados de diferentes EPs y modelos y generar gráficos y tablas para su análisis.

Para usar la prueba de rendimiento onnxruntime con directml ep, instale el paquete onnxruntime-directml y especifique directml como EP en los argumentos de la línea de comandos. Por ejemplo, el siguiente comando ejecuta la prueba de rendimiento para el modelo resnet50 con directml ep y la configuración predeterminada:

onnxruntime_perf_test -m resnet50 -e directml

La prueba de rendimiento generará la latencia media, la memoria máxima del conjunto de trabajo y el uso medio de CPU/GPU para directml ep y el modelo resnet50. También puede usar otras opciones para personalizar la prueba de rendimiento, como cambiar el número de iteraciones, el tamaño del lote, la simultaneidad, las ejecuciones de preparación, las entradas del modelo y los formatos de salida. Para obtener más información, consulte la documentación de pruebas de onnxruntime perf.