Escolha entre modelos de IA locais e baseados na nuvem

Para desenvolvedores de aplicativos que buscam integrar recursos de IA, a Microsoft Windows oferece uma plataforma abrangente e flexível que suporta processamento local no dispositivo e soluções escaláveis baseadas em nuvem.

Escolher entre modelos de IA locais e baseados na nuvem depende das suas necessidades e prioridades específicas. Os fatores a considerar incluem:

• Privacidade, conformidade e segurança de dados
• Disponibilidade de recursos
• Acessibilidade e colaboração
• Custo
• Manutenção e atualizações
• Desempenho e latência
• Escalabilidade
• Requisitos de conectividade
• Tamanho e complexidade do modelo
• Ferramentas e ecossistema associado
• Personalização e controlo

Principais fatores de decisão para desenvolvedores de aplicativos

• Privacidade, conformidade e segurança de dados

  • • Local, no local: Como os dados permanecem no dispositivo, a execução de um modelo localmente pode oferecer benefícios em relação à segurança e privacidade, com a responsabilidade da segurança dos dados recaindo sobre o usuário. O desenvolvedor é responsável por gerenciar atualizações, garantir compatibilidade e monitorar vulnerabilidades de segurança.
  • • Nuvem: Os provedores de nuvem oferecem medidas de segurança robustas, mas os dados precisam ser transferidos para a nuvem, o que pode levantar preocupações de privacidade de dados para a empresa ou o mantenedor do serviço de aplicativos em alguns casos. O envio de dados para a nuvem também deve estar em conformidade com os regulamentos de proteção de dados, como GDPR ou HIPAA, dependendo da natureza dos dados e da região em que o aplicativo opera. Os provedores de nuvem normalmente lidam com atualizações de segurança e manutenção, mas os usuários devem garantir que estão usando APIs seguras e seguindo as práticas recomendadas para o tratamento de dados.

• Disponibilidade de recursos

  • Local, no local: A execução de um modelo depende dos recursos disponíveis no dispositivo que está sendo usado, incluindo a CPU, GPU, NPU, memória e capacidade de armazenamento. Isso pode ser limitante se o dispositivo não tiver alto poder computacional ou armazenamento suficiente. Modelos de Linguagem Pequenos (SLMs), como Phi, são mais adequados para uso local num dispositivo. CopilotOs PCs + oferecem modelos integrados com funcionalidades de IA prontas a usar, suportadas por Microsoft Foundry on Windows.

  • • Nuvem: As plataformas de nuvem, como Azure os serviços de IA, oferecem recursos escaláveis. Você pode usar tanto poder computacional ou armazenamento quanto precisar e pagar apenas pelo que usar. Os modelos de linguagem grande (LLMs), como os modelos de linguagem OpenAI , exigem mais recursos, mas também são mais poderosos.

• Acessibilidade e colaboração

  • • Local, no local: O modelo e os dados são acessíveis apenas no dispositivo, a menos que sejam compartilhados manualmente. Isso tem o potencial de tornar a colaboração em dados de modelo mais desafiadora.
  • • Nuvem: O modelo e os dados podem ser acessados de qualquer lugar com conectividade à internet. Isso pode ser melhor para cenários de colaboração.

• Custo

  • Local, no local: Não há nenhum custo adicional além do investimento inicial no hardware do dispositivo.

  • Nuvem: Embora as plataformas em nuvem operem em um modelo de pagamento conforme o uso, os custos podem se acumular com base nos recursos usados e na duração do uso.

• Manutenção e Atualizações

  • Local, no local: O usuário é responsável pela manutenção do sistema e instalação de atualizações.

  • Nuvem: Manutenção, atualizações do sistema e novas atualizações de recursos são tratadas pelo provedor de serviços de nuvem, reduzindo a sobrecarga de manutenção para o usuário.

• Desempenho e Latência

  • Local, no local: A execução de um modelo localmente pode reduzir a latência, uma vez que os dados não precisam ser enviados pela rede. No entanto, o desempenho é limitado pelas capacidades de hardware do dispositivo.

  • Nuvem: Os modelos baseados em nuvem podem aproveitar hardware poderoso, mas podem introduzir latência devido à comunicação de rede. O desempenho pode variar de acordo com a conexão de internet do usuário e o tempo de resposta do serviço de nuvem.

• Escalabilidade

  • Local, no local: Dimensionar um modelo em um dispositivo local pode exigir atualizações de hardware significativas ou a adição de mais dispositivos, o que pode ser caro e demorado.

  • Nuvem: As plataformas de nuvem oferecem escalabilidade fácil, permitindo que você ajuste rapidamente os recursos com base na demanda sem a necessidade de alterações de hardware físico.

• Requisitos de Conectividade

  • Local, no local: Um dispositivo local não requer uma conexão com a Internet para executar um modelo, o que pode ser benéfico em ambientes com conectividade limitada.

  • Nuvem: Os modelos baseados na nuvem requerem uma ligação à Internet estável para acesso e podem ser afetados por problemas de rede.

• Tamanho e complexidade do modelo

  • Local, no local: Os dispositivos locais podem ter limitações no tamanho e complexidade dos modelos que podem ser executados devido a restrições de hardware. Modelos menores, como Phio , são mais adequados para execução local.

  • Nuvem: As plataformas de nuvem podem lidar com modelos maiores e mais complexos, como os fornecidos pela OpenAI, devido à sua infraestrutura escalável.

• Ferramentas e ecossistema associado

  • Local, no local físico: Soluções locais de IA, como Microsoft FoundryMicrosoft Foundry on Windows, Windows ML e Foundry Local, integram-se com Windows App SDK e ONNX Runtime, permitindo aos desenvolvedores incorporar modelos diretamente em aplicações desktop ou edge com dependências externas mínimas.

  • Nuvem: As soluções de IA na nuvem, como Microsoft Foundryo , Azure AI Services e Azure o OpenAI Service, fornecem um conjunto abrangente de APIs e SDKs para a criação de aplicativos de IA. Esses serviços são projetados para se integrar perfeitamente com Azure DevOps, GitHub Copilot, Kernel Semântico e outros Azure serviços, permitindo orquestração de ponta a ponta, implantação de modelos e monitoramento em escala.

• Personalização e Controlo

  • Local, no local: Os modelos locais podem ser usados prontamente, sem exigir um alto nível de especialização. Microsoft Foundry on Windows oferece modelos como Phi Silica esse prontos para uso. Como alternativa, Windows o ML permite que os desenvolvedores executem modelos personalizados, como aqueles treinados com o ONNX Runtime, diretamente nos Windows dispositivos. Isso fornece um alto nível de controle sobre o modelo e seu comportamento, permitindo ajuste fino e otimização com base em casos de uso específicos. Foundry Local Também permite que os desenvolvedores executem modelos localmente em Windows dispositivos, fornecendo um alto nível de controle sobre o modelo e seu comportamento.

  • Nuvem: Os modelos baseados em nuvem também oferecem opções prontas para uso e personalizáveis, permitindo que os desenvolvedores aproveitem recursos pré-treinados enquanto ainda adaptam o modelo às suas necessidades específicas. Microsoft Foundry é uma oferta unificada Azure de plataforma como serviço para operações de IA corporativa, construtores de modelos e desenvolvimento de aplicativos. Essa base combina infraestrutura de nível de produção com interfaces amigáveis, permitindo que os desenvolvedores se concentrem na criação de aplicativos em vez de gerenciar a infraestrutura.

Amostras de IA na nuvem

Se uma solução baseada na nuvem funcionar melhor para o cenário do seu Windows aplicativo, você pode estar interessado em alguns dos tutoriais abaixo.

Muitas APIs estão disponíveis para acessar modelos baseados em nuvem para potencializar os recursos de IA em seu Windows aplicativo, sejam esses modelos personalizados ou prontos para uso. O uso de um modelo baseado em nuvem pode permitir que seu aplicativo permaneça simplificado delegando tarefas que consomem muitos recursos à nuvem. Alguns recursos para ajudá-lo a adicionar APIs baseadas em IA baseadas em nuvem oferecidas pela Microsoft ou OpenAI incluem:

• Adicionar finalizações de bate-papo OpenAI ao seu WinUI 3 / Windows Aplicativo de desktop SDK do aplicativo: um tutorial sobre como integrar os recursos de conclusão do OpenAI ChatGPT baseados em nuvem em um aplicativo de desktop WinUI 3 / Windows App SDK.

• Adicionar DALL-E ao seu WinUI 3 / Windows App SDK desktop app: Um tutorial sobre como integrar os recursos de geração de imagens OpenAI DALL-E baseados em nuvem em um aplicativo de desktop WinUI 3 / Windows App SDK.

• Criar um aplicativo de recomendação com o .NET MAUI e o ChatGPT: um tutorial sobre como criar um aplicativo de recomendação de exemplo que integra os recursos de conclusão do OpenAI ChatGPT baseados em nuvem em um aplicativo .NET MAUI.

• Adicione DALL-E ao seu aplicativo de desktop .NET MAUIWindows: um tutorial sobre como integrar os recursos de geração de imagens OpenAI DALL-E baseados em nuvem em um aplicativo .NET MAUI.

• Azure Serviço OpenAI: Se você quiser que seu Windows aplicativo acesse modelos OpenAI, como GPT-4, GPT-4 Turbo com Visão, GPT-3.5-Turbo, DALLE-3 ou a série de modelos Embeddings, com os recursos empresariais e de segurança adicionais do , você pode encontrar orientação nesta Azure documentação do AzureOpenAI.

• Azure Serviços de IA: Azure oferece um conjunto completo de serviços de IA disponíveis por meio de APIs REST e SDKs de bibliotecas de clientes em linguagens de desenvolvimento populares. Para obter mais informações, consulte a documentação de cada serviço. Esses serviços baseados em nuvem ajudam desenvolvedores e organizações a criar rapidamente aplicativos inteligentes, de ponta, prontos para o mercado e responsáveis com APIs e modelos prontos para uso e pré-construídos e personalizáveis. Exemplos de aplicações incluem processamento de linguagem natural para conversas, pesquisa, monitoramento, tradução, fala, visão e tomada de decisões.