Introdução ao DirectML

Emparelhar o DirectML com o ONNX Runtime é muitas vezes a maneira mais simples para muitos desenvolvedores trazerem IA acelerada por hardware para seus usuários em escala. Estes três passos são um guia geral para usar esta poderosa combinação.

1. Converter

O formato ONNX permite que você aproveite o ONNX Runtime com DirectML, que fornece recursos entre hardwares.

Para converter seu modelo para o formato ONNX, você pode utilizar ONNXMLTools ou Olive.

2. Otimizar

Depois de ter um modelo .onnx, aproveite o Olive powered by DirectML para otimizar seu modelo. Você verá melhorias de desempenho impressionantes que podem ser implantadas em todo o ecossistema de hardware do Windows.

3. Integrar

Quando seu modelo estiver pronto, é hora de trazer a inferência acelerada por hardware para seu aplicativo com o ONNX Runtime e o DirectML. Para modelos de IA generativa, recomendamos que você use a API ONNX Runtime Generate()

Criamos alguns exemplos para mostrar como você pode usar o DirectML e o ONNX Runtime:

• Phi-3-mini
• Modelos de linguagem grande (LLMs)
• Difusão estável
• Transferência de estilo
• Inferência sobre NPUs

DirectML e PyTorch

O back-end DirectML para Pytorch permite acesso de alto desempenho e baixo nível ao hardware da GPU, enquanto expõe uma API Pytorch familiar para desenvolvedores. Mais informações sobre como usar o PyTorch com DirectML podem ser encontradas aqui

DirectML para aplicações Web (Pré-visualização)

A Web Neural Network API (WebNN) é um padrão emergente da Web que permite que aplicativos e estruturas da Web acelerem redes neurais profundas com hardware no dispositivo, como GPUs, CPUs ou aceleradores de IA criados especificamente para esse fim, como NPUs. A API WebNN aproveita a API DirectML no Windows para acessar os recursos de hardware nativo e otimizar a execução de modelos de rede neural. Mais informações sobre o WebNN podem ser encontradas aqui