Ferramentas DirectML

As ferramentas a seguir estão disponíveis para aprimorar o DirectML e incorporá-lo ao seu aplicativo de IA.

OnNX Runtime Go Live (Olive)

O Olive é uma ferramenta de otimização de modelo com reconhecimento de hardware fácil de usar que compõe técnicas líderes do setor em compactação, otimização e compilação de modelos. Você pode passar um modelo por meio de Olive com DirectML como o back-end de destino e Olive compõe as melhores técnicas de otimização adequadas para gerar os modelos mais eficientes. Para obter mais informações e exemplos sobre como usar Olive, consulte a documentação da Olive.

DxDispatch

O DxDispatch é um executável simples de linha de comando para iniciar programas de computação do DirectX 12 sem precisar escrever todo o código boilerplate do C++. A entrada para a ferramenta é um modelo JSON que define recursos, dispatchables (sombreadores de computação, operadores DirectML e modelos ONNX) e comandos a serem executados. Para obter mais informações, consulte o guia DxDispatch no Github.

DirectMLX

O DirectMLX é uma biblioteca auxiliar somente de cabeçalho C++ para DirectML, destinada a facilitar a composição de operadores individuais em grafos. Para obter mais informações, visite a documentação do DirectMLX

Testes de desempenho de execução do ONNX

O teste perf onnxruntime é uma ferramenta que mede o desempenho da execução de modelos ONNX com diferentes provedores de execução (EPs) na estrutura onnxruntime. Ele pode relatar métricas como latência, taxa de transferência, uso de memória e utilização de CPU/GPU para cada EP e modelo. O teste de perf onnxruntime também pode comparar os resultados de diferentes EPs e modelos e gerar gráficos e tabelas para análise.

Para usar o teste de desempenho do onnxruntime com o EP DirectML, instale o pacote onnxruntime-directml e especifique o DirectML como o EP nos argumentos da linha de comando. Por exemplo, o comando a seguir executa o teste perf para o modelo resnet50 com o ep directml e as configurações padrão:

onnxruntime_perf_test -m resnet50 -e directml

O teste de desempenho produzirá a latência média, a memória de pico do conjunto de trabalho e a utilização média de CPU/GPU para o EP DirectML e o modelo ResNet50. Também é possível usar outras opções para personalizar o teste de perf, como alterar o número de iterações, o tamanho do lote, a simultaneidade, as execuções de aquecimento, as entradas do modelo e os formatos de saída. Para obter mais detalhes, consulte a documentação de teste do onnxruntime perf.