Partilhar via

O que é o Windows ML?

O Windows Machine Learning (ML) permite que desenvolvedores de C#, C++ e Python executem modelos de IA ONNX localmente em PCs Windows por meio do ONNX Runtime, com gerenciamento automático de provedores de execução para diferentes hardwares (CPUs, GPUs, NPUs). O ONNX Runtime pode ser usado com modelos de PyTorch, Tensorflow/Keras, TFLite, scikit-learn e outros frameworks.

Um diagrama ilustrando um modelo ONNX passando pelo Windows ML para então alcançar NPUs, GPUs e CPUs.

Se não está familiarizado com o ONNX Runtime, sugerimos ler a documentação do ONNX Runtime. Em resumo, o Windows ML fornece uma cópia compartilhada do ONNX Runtime em todo o Windows, além da capacidade de descarregar de forma dinâmica provedores de execução (EPs).

Principais benefícios

  • Obtenha dinamicamente os EPs mais recentes - Transfere e gere automaticamente os mais recentes fornecedores de execução específicos de hardware
  • Tempo de execução ONNX compartilhado - Usa tempo de execução em todo o sistema em vez de agrupar o seu próprio, reduzindo o tamanho do aplicativo
  • Downloads/instalações menores - Não há necessidade de carregar EPs grandes e o ONNX Runtime em seu aplicativo
  • Amplo suporte de hardware - Funciona em PCs Windows (x64 e ARM64) e Windows Server com qualquer configuração de hardware

Requisitos do sistema

  • SO: Versão do Windows suportada pelo Windows App SDK
  • Arquitetura: x64 ou ARM64
  • Hardware: Qualquer configuração de PC (CPUs, GPUs integradas/discretas, NPUs)

O que é um provedor de execução?

Um provedor de execução (EP) é um componente que permite otimizações específicas de hardware para operações de aprendizado de máquina (ML). Os provedores de execução abstraem diferentes backends de computação (CPU, GPU, aceleradores especializados) e fornecem uma interface unificada para particionamento de gráficos, registro de kernel e execução de operadores. Para saber mais, consulte os documentos do ONNX Runtime.

Você pode ver a lista de EPs que o Windows ML suporta aqui.

Como funciona

O Windows ML inclui uma cópia do ONNX Runtime e permite que você baixe dinamicamente EPs (provedores de execução específicos do fornecedor), para que sua inferência de modelo possa ser otimizada na ampla variedade de CPUs, GPUs e NPUs no ecossistema do Windows.

Implementação automática

  1. Instalação de aplicações - o inicializador do SDK da Aplicação Windows inicializa o Windows ML
  2. Deteção de hardware - O tempo de execução identifica os processadores disponíveis
  3. EP download - Descarrega automaticamente os fornecedores ótimos de execução
  4. Pronto para ser executado - Seu aplicativo pode usar imediatamente modelos de IA

Isso elimina a necessidade de:

  • Provedores de execução de pacotes para fornecedores de hardware específicos
  • Crie compilações de aplicativos separadas para diferentes provedores de execução
  • Gerir atualizações do fornecedor de execução manualmente

Observação

Você ainda é responsável por otimizar seus modelos para diferentes hardwares. O Windows ML lida com a distribuição do provedor de execução, não com a otimização do modelo. Consulte AI Toolkit e os tutoriais do ONNX Runtime para obter mais informações sobre otimização.

Otimização do desempenho

A versão mais recente do Windows ML funciona diretamente com provedores de execução dedicados para GPUs e NPUs, oferecendo um desempenho semelhante ao dos SDKs dedicados do passado, como TensorRT para RTX, AI Engine Direct e Extension da Intel para PyTorch. Projetámos o Windows ML para ter o melhor desempenho de GPU e NPU da sua classe, enquanto mantém os benefícios de escrever uma vez, executar em qualquer lugar que a solução anterior baseada em DirectML oferecia.

Usando provedores de execução com o Windows ML

O tempo de execução do Windows ML fornece uma maneira flexível de acessar provedores de execução (EPs) de aprendizado de máquina (ML), que podem otimizar a inferência do modelo de ML em diferentes configurações de hardware. Esses EPs são distribuídos como pacotes separados que podem ser atualizados independentemente do sistema operacional. Consulte os documentos de inicialização de provedores de execução com o Windows ML para obter mais informações sobre o download e registro dinâmico de EPs.

Convertendo modelos para ONNX

Você pode converter modelos de outros formatos para ONNX para que possa usá-los com o Windows ML. Consulte os documentos do Visual Studio Code AI Toolkit sobre como converter modelos para o formato ONNX para saber mais. Consulte também os tutoriais do ONNX Runtime para obter mais informações sobre como converter modelos PyTorch, TensorFlow e Hugging Face para ONNX.

Gestão de modelos

O Windows ML fornece opções flexíveis para gerenciar modelos de IA:

  • Catálogo de modelos - Transfira dinamicamente modelos de catálogos online sem agregar ficheiros grandes
  • Modelos locais - Inclua arquivos de modelo diretamente no pacote do aplicativo

Integração com o ecossistema de IA do Windows

O Windows ML serve como base para a plataforma Windows AI mais ampla:

  • APIs de IA do Windows - Modelos internos para tarefas comuns
  • Foundry Local - Modelos de IA prontos a usar
  • Modelos personalizados - Acesso direto à API do Windows ML para cenários avançados

Fornecer comentários

Encontrou um problema ou tem sugestões? Pesquise ou crie problemas no GitHub do SDK de Aplicativo Windows.

Próximos passos

  • Last updated on