Compartilhar via

Baixar e compartilhar modelos no dispositivo com as APIs do Catálogo de Modelos do Windows ML

As APIs do Catálogo de Modelos do Windows ML permitem que seu aplicativo ou biblioteca baixe dinamicamente arquivos de modelo de IA grandes para um local compartilhado no dispositivo de seus próprios catálogos de modelos online sem enviar esses arquivos grandes diretamente com seu aplicativo ou biblioteca. Além disso, o catálogo de modelos ajudará a filtrar quais modelos são compatíveis com o dispositivo Windows em que está sendo executado, de modo que o modelo correto seja baixado para o dispositivo.

O que são as APIs do Catálogo de Modelos?

As APIs do Catálogo de Modelos são um conjunto de APIs que podem ser conectadas a um ou muitos catálogos de modelos de nuvem para facilitar o download e o armazenamento desses modelos localmente no dispositivo para que possam ser usados por qualquer aplicativo do Windows no dispositivo. As APIs têm alguns recursos principais:

  • Adicionar catálogos: adicionar um ou muitos catálogos online
  • Descobrir modelos compatíveis: localize automaticamente modelos que funcionam com os provedores de hardware e execução do usuário
  • Baixar modelos: baixar e armazenar modelos de várias fontes
  • Compartilhar modelos entre aplicativos: se vários aplicativos estiverem solicitando o mesmo modelo (mesmo hash SHA256), o modelo será compartilhado em disco sem duplicar downloads

Características principais

Correspondência automática de compatibilidade

O Catálogo de Modelos associa automaticamente os modelos aos provedores de execução disponíveis no sistema (CPU, GPU, NPU etc.). Quando você solicita um modelo, o catálogo retorna apenas modelos compatíveis com a configuração de hardware atual.

Armazenamento de modelos

Os modelos baixados são armazenados em um local específico do usuário. Se vários aplicativos solicitarem o mesmo modelo (mesmo hash SHA256), o modelo já baixado será compartilhado entre esses aplicativos.

Várias fontes de catálogo

Seu aplicativo pode configurar várias fontes de catálogo, permitindo que você:

  • Usar modelos de vários fornecedores ou repositórios
  • Priorizar determinadas fontes em vez de outras
  • Inclua seus próprios catálogos de modelos privados junto aos públicos

Como funciona

O sistema de Catálogo de Modelos consiste em vários componentes:

  1. Fontes de catálogo: definir onde os modelos podem ser encontrados (URLs para catalogar arquivos JSON)
  2. Correspondência de modelos: filtra modelos disponíveis com base na compatibilidade do provedor de execução
  3. Gerenciamento de download: manipula o download e o armazenamento de arquivos de modelo
  4. Gerenciamento de instância: fornece acesso aos modelos baixados enquanto seu aplicativo está em execução

Identificação do modelo

Os modelos no catálogo têm dois tipos de identificadores:

  • Nome: um nome comum como "gpt2" (várias variações de modelo podem compartilhar o mesmo nome)
  • Id: um identificador exclusivo no catálogo que normalmente inclui informações do provedor de execução, como "gpt2-cpu" ou "gpt2-npu"

Os aplicativos normalmente usam FindModelAsync com o Nome para simplificar, permitindo que o catálogo selecione a melhor variante de modelo disponível para o sistema atual com base na compatibilidade do provedor de execução.

Suporte ao provedor de execução

O Catálogo de Modelos dá suporte a uma variedade de provedores de execução. Consulte os provedores de execução com suporte nos documentos do Windows ML para obter mais informações.

Esquema de origem do catálogo

As fontes do catálogo de modelos usam um esquema JSON padronizado que define:

  • Metadados de modelo (nome, id, versão, editor)
  • Provedores de execução com suporte
  • Baixar URLs e informações de arquivo
  • Informações de licença
  • Detalhes das dimensões do modelo

Para obter informações detalhadas sobre o esquema, consulte a origem do catálogo de modelos.

Como começar

Para começar a usar o Catálogo de Modelos em seu aplicativo Windows ML:

  1. Configurar suas fontes de catálogo
  2. Criar uma ModelCatalog instância
  3. Consultar e baixar modelos
  4. Realize a inferência dos seus modelos com o tempo de execução desejado!

Para obter um passo a passo completo, consulte Introdução ao Catálogo de Modelos.

Próximas etapas

  • Last updated on