O que é o Microsoft Foundry on Windows?

Microsoft Foundry on Windows fornece várias funcionalidades apoiadas por IA e APIs para PCs Copilot+ que funcionam localmente e em segundo plano em todos os momentos.

Microsoft Foundry on Windows inclui vários componentes que suportam experiências únicas de IA:

1. IA APIsWindows: Use a IA APIs integrada do Windows para integrar serviços de IA nas suas aplicações Windows. Estes APIs incluem os seguintes:

   • Phi Silica: Um modelo de linguagem local, pronto a usar.
   • Personalização do modelo de linguagem: Aprimorar o modelo Phi Silica com Adaptação de Baixa Ordem (LoRA).
   • Imagem: Escalar e nitidizar uma imagem (Super Resolução da Imagem), gerar texto que descreva uma imagem (Descrição da Imagem), identificar objetos dentro de uma imagem (Segmentação de Imagem), remover objetos de uma imagem (Apagar Objetos) e gerar imagens a partir de texto de prompt (Geração de Imagem).
   • Video Super Resolution (VSR): Aumentar a resolução de fluxos de vídeo de baixa resolução.
   • Inteligência de Texto: Detetar e extrair texto dentro de imagens e convertê-lo em fluxos de caracteres legíveis por máquina (Text Recognition), formatar a resposta do prompt num formato de tabela estruturada, resumir o texto e as conversas do prompt, e reescrever o texto do prompt para otimizar clareza, legibilidade e tom (ou estilo).
   • Pesquisa de Conteúdo da App: Indexar o conteúdo dentro da aplicação para o tornar pesquisável por palavra-chave ou significado semântico, e construir um pipeline local de Geração Aumentada de Recuperação (RAG) e uma base de conhecimento no dispositivo para um Grande Modelo de Linguagem (LLM) local ou baseado na cloud.

2. Foundry Local: modelos OSS populares que pode utilizar e integrar na sua aplicação

3. Windows ML: permite a inferência de IA com seu próprio modelo ONNX

4. Ferramentas de desenvolvimento: ferramentas como Visual Studio AI Toolkit e AI Dev Gallery que ajudarão você a ser bem-sucedido na criação de recursos de IA

Como você pode usar a IA em seu aplicativo do Windows?

Algumas maneiras pelas quais os aplicativos do Windows podem aproveitar os modelos de Machine Learning (ML) para aprimorar sua funcionalidade e experiência do usuário com IA incluem:

• Os aplicativos podem usar modelos de IA generativa para entender tópicos complexos para resumir, reescrever, relatar ou expandir.
• Os aplicativos podem usar modelos que transformam conteúdo de forma livre em um formato estruturado que seu aplicativo pode entender.
• Os aplicativos podem usar modelos de Pesquisa Semântica que permitem que os usuários pesquisem conteúdo por significado e encontrem rapidamente conteúdo relacionado.
• Os aplicativos podem usar modelos de processamento de linguagem natural para raciocinar sobre requisitos complexos de linguagem natural e planejar e executar ações para atender à solicitação do usuário.
• Os aplicativos podem usar modelos de manipulação de imagem para modificar imagens de forma inteligente, apagar ou adicionar assuntos, escalonar ou gerar novos conteúdos.
• Os aplicativos podem usar modelos de diagnóstico preditivos para ajudar a identificar e prever problemas e ajudar a orientar o usuário ou fazer isso por ele.

Usando a IA APIs do Windows versus trazendo seus próprios modelos

Usar a IA do Windows APIs

Quando um modelo de IA local é a solução certa, você pode usar a IA APIsdo Windows para integrar serviços de IA para usuários em PCs Copilot+. Estes APIs estão incorporados no seu PC e permitem funcionalidades únicas alimentadas por IA com relativamente pouca sobrecarga.

treinar o seu próprio modelo

Se você tem a capacidade de treinar seu próprio modelo usando seus próprios dados privados com plataformas como TensorFlow ou PyTorch. Você pode integrar esse modelo personalizado em seu aplicativo do Windows executando-o localmente no hardware do dispositivo usando ONNX Runtime e AI Toolkit para Visual Studio Code.

AI Toolkit para Visual Studio Code é uma extensão VS Code que permite baixar e executar modelos de IA localmente, incluindo acesso à aceleração de hardware para melhor desempenho e dimensionamento através do DirectML. O AI Tookit também pode ajudá-lo com:

• Testando modelos em um playground intuitivo ou em seu aplicativo com uma API REST.
• Ajustando seu modelo de IA, tanto localmente quanto na nuvem (em uma máquina virtual) para criar novas habilidades, melhorar a confiabilidade das respostas, definir o tom e o formato da resposta.
• Ajuste fino de modelos populares de linguagem pequena (SLMs), como Phi-3 e Mistral.
• Implante seu recurso de IA na nuvem ou com um aplicativo executado em um dispositivo.
• Aproveite a aceleração de hardware para obter um melhor desempenho com recursos de IA usando DirectML. O DirectML é uma API de baixo nível que permite que o hardware do dispositivo Windows acelere o desempenho de modelos de ML usando a GPU ou NPU do dispositivo. Emparelhar o DirectML com o ONNX Runtime é normalmente a maneira mais simples para os desenvolvedores trazerem IA acelerada por hardware para seus usuários em escala. Saiba mais: Visão geral do DirectML.
• Quantize e valide um modelo para uso em NPU usando os recursos de conversão de modelo

Você também pode querer examinar esses conceitos de ajuste fino de modelo ajustar um modelo pré-treinado para melhor se adequar aos seus dados.

Usando modelos de IA na nuvem

Se usar recursos de IA locais não é o caminho certo para você, usar modelos e recursos de IA na nuvem pode ser uma solução.

Outros recursos de IA

1. Ações do aplicativo no Windows: crie ações para seu aplicativo habilitando recursos de IA novos e exclusivos para os consumidores

Use práticas de IA responsável

Sempre que você estiver incorporando recursos de IA em seu aplicativo do Windows, é altamente recomendável seguir as diretrizes Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows .