Introdução ao DirectML

Emparelhar o DirectML com o ONNX Runtime geralmente é a maneira mais simples para muitos desenvolvedores trazerem IA acelerada por hardware para seus usuários em escala. Essas três etapas são um guia geral para usar essa combinação poderosa.

1. Converter

O formato ONNX permite que você aproveite o ONNX Runtime com o DirectML, que fornece recursos de hardware cruzado.

Para converter seu modelo no formato ONNX, você pode utilizar ONNXMLTools ou Olive.

2. Otimizar

Depois de ter um modelo .onnx, aproveite o Olive alimentado pelo DirectML para otimizar seu modelo. Você verá melhorias dramáticas de desempenho que podem ser implantadas no ecossistema de hardware do Windows.

3. Integrar

Quando o modelo estiver pronto, é hora de trazer inferência acelerada por hardware para seu aplicativo com ONNX Runtime e DirectML. Para modelos de IA do Generative, recomendamos que você use a API ONNX Runtime Generate()

Criamos alguns exemplos para mostrar como você pode usar o DirectML e o ONNX Runtime:

• Phi-3-mini
• LlMs (modelos de linguagem grandes)
• Difusão estável
• Transferência de estilo
• Inferência em NPUs

DirectML e PyTorch

O back-end do DirectML para Pytorch permite acesso de alto desempenho e baixo nível ao hardware de GPU, ao mesmo tempo em que expõe uma API Pytorch familiar para desenvolvedores. Mais informações sobre como usar pyTorch com DirectML podem ser encontradas aqui

DirectML para aplicativos Web (versão prévia)

A API de Rede Neural da Web (WebNN) é um padrão web emergente que permite que aplicativos Web e estruturas acelerem redes neurais profundas com hardware no dispositivo, como GPUs, CPUs ou aceleradores de IA criados com finalidade, como NPUs. A API WebNN aproveita a API DirectML no Windows para acessar os recursos de hardware nativo e otimizar a execução de modelos de rede neural. Para obter mais informações sobre WebNN, é possível encontrar aqui