Compartir a través de

Ejecución de modelos ONNX mediante el entorno de ejecución de ONNX incluido en Windows ML

El entorno de ejecución de ONNX incluido con Windows ML permite que las aplicaciones ejecuten la inferencia en modelos ONNX localmente.

Creación de una sesión de inferencia

Las API son las mismas que cuando se usa ONNX Runtime directamente. Por ejemplo, para crear una sesión de inferencia:

// Create inference session using compiled model
using InferenceSession session = new(compiledModelPath, sessionOptions);

Se recomienda leer los documentos de ONNX Runtime para obtener más información sobre cómo usar las API en tiempo de ejecución de ONNX en Windows ML. El código de inferencia del modelo será diferente para cada modelo.

Compilar modelos

Antes de usar un modelo ONNX en una sesión de inferencia, a menudo debe compilarse en una representación optimizada que se pueda ejecutar de forma eficaz en el hardware subyacente del dispositivo.

A partir de ONNX Runtime 1.22, hay nuevas API que encapsulan mejor los pasos de compilación. Hay más detalles disponibles en la documentación de compilación de ONNX Runtime (consulte OrtCompileApi struct).

// Prepare compilation options
OrtModelCompilationOptions compileOptions = new(sessionOptions);
compileOptions.SetInputModelPath(modelPath);
compileOptions.SetOutputModelPath(compiledModelPath);

// Compile the model
compileOptions.CompileModel();

Note

La compilación puede tardar varios minutos en completarse. Para que cualquier interfaz de usuario siga respondiendo, considere la posibilidad de hacerlo como una operación en segundo plano en la aplicación.

Sugerencia

Para obtener un rendimiento óptimo, compile los modelos una vez y reutilice la versión compilada. Almacene los modelos compilados en la carpeta de datos local de la aplicación para las ejecuciones posteriores. Tenga en cuenta que es posible que las actualizaciones de las direcciones IP o el entorno de ejecución requieran volver a compilar.

Consulte también

  • Last updated on