O que é Microsoft Foundry on Windows?

Microsoft Foundry on Windows fornece uma série de recursos com suporte de IA e APIs para PCs Copilot+ que são executados localmente e em segundo plano o tempo todo.

Microsoft Foundry on Windows inclui vários componentes que dão suporte a experiências de IA exclusivas:

1. IA APIsdo Windows: use a IA APIs interna do Windows para integrar os serviços de IA aos seus aplicativos do Windows. Estes APIs incluem o seguinte:

   • Phi Silica: um modelo de linguagem local pronto para uso.
   • Personalização do modelo de linguagem: ajuste fino do modelo Phi Silica com LoRA (Adaptação de Baixa Ordem).
   • Imagem: Dimensione e afie uma imagem (Super Resolução de Imagem), gere texto que descreve uma imagem (Descrição da Imagem), identifique objetos dentro de uma imagem (Segmentação de imagem), remova objetos de uma imagem (Apagamento de Objeto) e gere imagens do texto do prompt (Geração de Imagem).
   • Super Resolução de Vídeo (VSR): aprimora fluxos de vídeo de baixa resolução.
   • Inteligência de Texto: detecte e extraia texto em imagens e converta-o em fluxos de caracteres legíveis do computador (Text Recognition), formate a resposta do prompt em um formato de tabela estruturado, resuma o texto do prompt e as conversas e reescreva o texto do prompt para otimizar a clareza, a legibilidade e o tom (ou o estilo).
   • Pesquisa de Conteúdo do Aplicativo: indexar o conteúdo do aplicativo para torná-lo pesquisável por palavra-chave ou significado semântico e criar um pipeline local de Geração Aumentada (RAG) e uma base de conhecimento no dispositivo para um Modelo de Linguagem Ampla (LLM) local ou em nuvem.

2. Foundry Local: modelos populares de software de código aberto que você pode aproveitar e integrar no seu aplicativo

3. Windows ML: habilita a inferência de IA com seu próprio modelo ONNX

4. Ferramentas de Desenvolvimento: ferramentas como o Visual Studio AI Toolkit e a Galeria de Desenvolvimento de IA que ajudarão você a criar recursos de IA com êxito

Como você pode usar a IA em seu aplicativo do Windows?

Algumas maneiras pelas quais os aplicativos do Windows podem aproveitar modelos de ML (Machine Learning) para aprimorar sua funcionalidade e experiência do usuário com IA incluem:

• Os aplicativos podem usar modelos de IA generativos para entender tópicos complexos para resumir, reescrever, relatar ou expandir.
• Os aplicativos podem usar modelos que transformam o conteúdo de forma livre em um formato estruturado que seu aplicativo pode entender.
• Os aplicativos podem usar modelos de Pesquisa Semântica que permitem que os usuários pesquisem conteúdo por meio do significado e encontrem rapidamente o conteúdo relacionado.
• Os aplicativos podem usar modelos de processamento de linguagem natural para raciocinar sobre requisitos complexos de linguagem natural e planejar e executar ações para realizar a solicitação do usuário.
• Os aplicativos podem usar modelos de manipulação de imagem para modificar imagens de forma inteligente, apagar ou adicionar elementos, aumentar a resolução ou gerar novo conteúdo.
• Os aplicativos podem usar modelos de diagnóstico preditivo para ajudar a identificar e prever problemas e ajudar a orientar o usuário ou fazer isso por eles.

Usando a AI do Windows APIs versus trazendo seus próprios modelos

Usar IA do Windows APIs

Quando um modelo de IA local é a solução certa, você pode usar a IA APIsdo Windows para integrar serviços de IA para usuários em PCs Copilot+. Esses APIs são internos no seu PC e habilitam recursos exclusivos da plataforma IA com relativamente pouca sobrecarga.

Treinar seu próprio modelo

Se você tiver a capacidade de treinar seu próprio modelo usando seus próprios dados privados com plataformas como TensorFlow ou PyTorch. Você pode integrar esse modelo personalizado ao aplicativo Windows executando-o localmente no hardware do dispositivo usando ONNX Runtime e AI Toolkit para Visual Studio Code.

AI Toolkit do Visual Studio Code é uma extensão do VS Code que permite baixar e executar modelos de IA localmente, incluindo o acesso à aceleração de hardware para melhorar o desempenho e a escala por meio de DirectML. O AI Tookit também pode ajudá-lo com:

• Testando modelos em um playground intuitivo ou em seu aplicativo com uma API REST.
• Ajuste fino seu modelo de IA, localmente ou na nuvem (em uma máquina virtual) para criar novas habilidades, melhorar a confiabilidade das respostas, definir o tom e o formato da resposta.
• Ajuste fino de modelos populares de linguagem pequena (SLMs), como Phi-3 e Mistral.
• Implante o recurso de IA na nuvem ou com um aplicativo executado em um dispositivo.
• Aproveite a aceleração de hardware para melhorar o desempenho com os recursos de IA usando o DirectML. O DirectML é uma API de baixo nível que permite que o hardware do dispositivo Windows acelere o desempenho de modelos de ML usando a GPU ou a NPU do dispositivo. O emparelhamento do DirectML com o ONNX Runtime normalmente é a maneira mais simples para os desenvolvedores levarem a IA acelerada por hardware para seus usuários em escala. Saiba mais: Visão Geral do DirectML.
• Quantificar e validar um modelo para uso na NPU usando os recursos de conversão de modelo

Talvez você também queira examinar esses conceitos de ajuste fino do modelo para melhorar a adaptação de um modelo pré-treinado aos seus dados.

Usando modelos de IA de nuvem

Se usar recursos locais de IA não for o caminho certo para você, usar modelos e recursos de IA de nuvem pode ser uma solução.

Outros recursos de IA

1. Ações de Aplicativo no Windows: criar ações para seu aplicativo habilitando recursos de IA novos e exclusivos para os consumidores

Usar práticas de IA responsável

Sempre que você for incorporar recursos de IA em seu aplicativo do Windows, recomendamos enfaticamente que siga as diretrizes em Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows.