Partilhar via

AI em exemplos de código e tutoriais do Windows

Uma coleção de exemplos que demonstram várias maneiras de aprimorar seus aplicativos do Windows usando APIs locais e modelos de Machine Learning (ML), aceleração de hardware local usando DirectML e APIs baseadas em nuvem.

Ao adicionar suporte para novos recursos de IA ao seu aplicativo do Windows, recomendamos que você primeiro verifique a disponibilidade do modelo.

Ao usar recursos de IA, recomendamos que você revise: Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows. A Moderação de Conteúdo de Texto está ativada em todas as APIs de IA do Windows para minimizar conteúdos potencialmente prejudiciais. Saiba mais: Moderação de Segurança de Conteúdos com Microsoft Foundry no Windows.

Aprimore seus aplicativos do Windows com IA usando APIs locais e modelos de ML

Esses exemplos mostram como aprimorar seus aplicativos do Windows com IA usando APIs locais e modelos de Machine Learning.

Uma captura de tela do aplicativo AI Dev Gallery

GitHub Repo: Galeria de Desenvolvimento de IA

Descrição: AI Dev Gallery é um aplicativo de código aberto projetado para desenvolvedores do Windows que procuram integrar recursos de IA em seus próprios aplicativos e projetos. Ele oferece mais de 25 amostras interativas alimentadas por modelos de IA locais, incluindo amostras para todas as APIs de IA do Windows. O aplicativo possui uma interface simples para explorar, baixar e executar modelos do Hugging Face e do GitHub, aproveitando a NPU, CPU ou GPU do seu PC com base nos recursos do seu dispositivo. Além disso, ele fornece a capacidade de exibir o código-fonte C# e exportar cada exemplo para um projeto autônomo do Visual Studio.

Características: Exemplos interativos com código fácil de copiar, Inferência de modelo local, Showcase das APIs de IA do Windows

Tipo de aplicativo: C#, WinUI 3

Instalar o AI Dev Gallery

Editor de áudio alimentado por IA

Captura de ecrã da aplicação de exemplo do editor de áudio mostrando um teste do plugin AI Audio Trimmer.

GitHub Repo: Exemplo de editor de áudio AI

Descrição: O editor de áudio alimentado por IA demonstra a criação de um aplicativo de edição de áudio WinUI 3 que utiliza IA para corresponder trechos de áudio a uma consulta relevante. Um exemplo de caso de uso pode ser um criador de podcast que queira criar pequenos clipes de áudio de seu conteúdo para promover nas mídias sociais. O exemplo usa inferência de modelo de ML local para lidar com transcrição e pesquisa semântica.

Características: Inferência de modelo local com ONNX Runtime, modelo Whisper, modelo Embeddings

Tipo de aplicativo: C#, WinUI 3

Aplicativo de notas alimentado por IA

Captura de tela do aplicativo de exemplo Notes assistido por IA mostrando um resumo criado por IA.

GitHub Repo: Aplicativo de exemplo de notas alimentado por IA

Descrição: Este aplicativo de anotações alimentado por IA demonstra o uso de APIs, incluindo reconhecimento de texto OCR, transcrição de áudio por meio de modelo de ML local, pesquisa semântica por meio de um modelo de incorporação local, uso de modelo de idioma local com Phi3 para sumarização, preenchimento automático e raciocínio de texto, e geração aumentada de recuperação (RAG) para fundamentar modelos de linguagem em dados reais.

Características: Pesquisa semântica com modelo local, Transcrição de áudio com modelo local, Geração aumentada de Retreval Local (RAG) comPhi3 , Sumarização e raciocínio de texto local com Phi3, Extração de texto de imagens com API OCR

Tipo de aplicativo: C#, WinUI 3

Geração aumentada de recuperação (RAG) com PDFs e Phi3

Captura de tela do RAG PDF Analyzer Sample em um aplicativo WPF.

GitHub Repo: Aplicativo de Exemplo do RAG PDF Analyzer WPF

Descrição: Este aplicativo de exemplo WPF demonstra como criar uma experiência com um modelo de idioma local (como Phi3) para responder a perguntas sobre o conteúdo em um documento PDF. O exemplo encontra respostas fazendo referência a uma base de conhecimento fora dos dados de treinamento do próprio modelo antes de gerar uma resposta. Esse padrão, chamado de Geração Aumentada de Recuperação (RAG), é um exemplo de como fundamentar um modelo de linguagem em dados confiáveis do mundo real.

Características: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML

Tipo de aplicativo: C#, WPF

Bate-papo de IA generativa Phi3

Captura de tela do GenAI Chat Sample usando Phi3 em um aplicativo WinUI 3.

GitHub Repo: Exemplo de WinUI 3 do Phi3 Chat

Descrição: Este exemplo de aplicativo WinUI 3 demonstra como usar a biblioteca ONNX Runtime Generative AI para criar uma experiência de bate-papo com um modelo de idioma local, especificamente o Phi3 Small Language Model (SLM).

Características: Phi3, ONNX Runtime Generative AI, DirectML

Tipo de aplicativo: C#, WinUI 3

Tipo de aplicativo: C#, WPF

Aceleração de hardware local através do DirectML

Difusão estável acelerada por hardware na Web

Captura de ecrã de um exemplo de aplicação Web de Difusão Estável.

Repositório GitHub: WebNN Stable Diffusion Turbo

Descrição: Este exemplo ilustra como usar WebNN com ONNX Runtime web para executar a difusão estável localmente na GPU com DirectML. O SD-Turbo é um modelo rápido de conversão de texto para imagem que pode sintetizar imagens fotorrealistas a partir de um prompt de texto em uma única avaliação de rede. Na demonstração, você pode gerar uma imagem em 2s em dispositivos AI PC aproveitando a API WebNN, uma API dedicada de baixo nível para aceleração de hardware de inferência de rede neural.

Características: Geração de imagem local, WebNN,DirectML

Tipo de aplicativo: JavaScript, Web apps

Hardware acelerado para segmentar tudo na web

GitHub Repo: WebNN Segmentar Qualquer Coisa

Descrição: Este exemplo ilustra como utilizar o WebNN com o "ONNX Runtime Web" para executar o Segmentar Tudo localmente na GPU utilizando o DirectML. Segment Anything é um novo modelo de IA da Meta AI que pode "cortar" qualquer objeto. Na demonstração, você pode segmentar qualquer objeto das imagens carregadas.

Características: Segmentação de imagem local, WebNN,DirectML

Tipo de aplicativo: JavaScript, Web apps

Sussurro acelerado por hardware na Web

GitHub Repo: Whisper Base WebNN

Descrição: Este exemplo ilustra como usar WebNN com ONNX Runtime web para executar os recursos de fala para texto do modelo Whisper localmente na GPU ou NPU com DirectML. Whisper Base é um modelo pré-treinado para reconhecimento automático de fala (ASR) e tradução de fala. Na demonstração, pode experimentar o recurso de discurso para texto, utilizando a inferência no dispositivo potenciada pela API WebNN e DirectML, especialmente a aceleração NPU (Unidade de Processamento Neural).

Características: Local speech-to-text, WebNN,DirectML

Tipo de aplicativo: JavaScript, Web apps

Modelos de linguagem ONNX Runtime acelerados e pré-otimizados por hardware (Phi3, Llama3, etc) com DirectML

Captura de tela do exemplo de modelo ONNX da interface do usuário do DirectML LLM Chat.

GitHub Repo: exemplos de DirectML no repositório Olive

Descrição: Este exemplo ilustra como executar um modelo de linguagem ONNX Runtime (ORT) pré-otimizado localmente na GPU com DirectML. O exemplo inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes usando a API ORT Generate e executar o modelo em um aplicativo Gradio.

Características: Aceleração de hardware, GenAI, ONNX, ONNX Runtime, DirectML

Tipo de aplicativo: Python, Gradio

Modelos PyTorch com aceleração por hardware com DirectML (Phi3, Llama3, etc)

Captura de ecrã do exemplo de DirectML PyTorch.

GitHub Repo: Amostras do DirectML PyTorch

Descrição: Este exemplo ilustra como executar um modelo de linguagem PyTorch localmente na GPU com DirectML. O exemplo inclui instruções sobre como configurar seu ambiente, baixar os modelos de linguagem pré-treinados mais recentes e executar o modelo em um aplicativo Gradio. Este exemplo suporta vários modelos de linguagem de código aberto, como modelos Llama, Phi3-mini, Phi2 e Mistral-7B.

Características: Aceleração de hardware, PyTorch, DirectML

Tipo de aplicativo: Python, Gradio

Aprimore seus aplicativos do Windows com IA usando APIs na nuvem

Mais exemplos de API baseados em nuvem podem ser encontrados na documentação de serviços de IA do Azure.

Adicionar finalizações de bate-papo OpenAI ao seu aplicativo WinUI 3 / Windows App SDK

Tutorial: Adicionar finalizações de bate-papo OpenAI ao seu aplicativo WinUI 3 / Windows App SDK

Descrição: Integre os recursos de conclusão de bate-papo do OpenAI em um aplicativo de desktop WinUI 3 / Windows App SDK.

Características: OpenAI conclusão do bate-papo

Tipo de aplicativo: C#, WinUI 3

Adicionar DALL-E ao seu aplicativo de área de trabalho WinUI 3 / Windows App SDK

Tutorial: Adicionar DALL-E ao seu aplicativo de área de trabalho WinUI 3 / Windows App SDK

Descrição: Integre os recursos de geração de imagens do OpenAI DALL-E em um aplicativo de desktop WinUI 3 / Windows App SDK.

Características: Geração de imagens

Tipo de aplicativo: C#, WinUI 3

Criar um aplicativo de recomendação com .NET MAUI e ChatGPT

Tutorial: Criar um aplicativo de recomendação com .NET MAUI e ChatGPT

Descrição: Integre os recursos de conclusão de bate-papo do OpenAI em um aplicativo de desktop .NET MAUI.

Características: Geração de imagens

Tipo de aplicativo: C#, .NET MAUI

Adicione DALL-E ao seu aplicativo de área de trabalho .NET MAUI para Windows

Tutorial: Adicionar DALL-E ao seu aplicativo de área de trabalho .NET MAUI para Windows

Descrição: Integre os recursos de geração de imagens do OpenAI DALL-E em um aplicativo de desktop .NET MAUI.

Características: Geração de imagens

Tipo de aplicativo: C#, .NET MAUI

Exemplos legados de WinML

GitHub Repo: exemplos de WinML no GitHub

Descrição: WinML continua a ser suportado, mas esses exemplos não foram atualizados para refletir o uso moderno de IA.

  • Last updated on