Partilhar via

Baixe e compartilhe modelos no dispositivo com as APIs do Catálogo de Modelos do Windows ML

As APIs do Catálogo de Modelos do Windows ML permitem que seu aplicativo ou biblioteca baixe dinamicamente grandes arquivos de modelo de IA para um local compartilhado no dispositivo a partir de seus próprios catálogos de modelos online sem enviar esses arquivos grandes diretamente com seu aplicativo ou biblioteca. Além disso, o catálogo de modelos ajudará a filtrar quais modelos são compatíveis com o dispositivo Windows em que está sendo executado, para que o modelo certo seja baixado para o dispositivo.

O que são as APIs do Catálogo de Modelos?

As APIs do Catálogo de Modelos são um conjunto de APIs que podem ser conectadas a um ou vários catálogos de modelos de nuvem para facilitar o download e o armazenamento desses modelos localmente no dispositivo, para que possam ser usados por qualquer aplicativo do Windows no dispositivo. As APIs têm alguns recursos principais:

  • Adicionar catálogos: adicione um ou vários catálogos online
  • Descubra modelos compatíveis: encontre automaticamente modelos que funcionam com os fornecedores de hardware e execução do utilizador
  • Download de modelos: Baixe e armazene modelos de várias fontes
  • Compartilhar modelos entre aplicativos: se vários aplicativos estiverem solicitando o mesmo modelo (mesmo hash SHA256), o modelo será compartilhado em disco sem duplicar downloads

Principais características

Compatibilidade automática de correspondência

O Catálogo de Modelos faz a correspondência automática dos modelos com os fornecedores de execução disponíveis do seu sistema (CPU, GPU, NPU, etc.). Quando você solicita um modelo, o catálogo retorna apenas modelos compatíveis com sua configuração de hardware atual.

Armazenamento do modelo

Os modelos baixados são armazenados em um local específico do usuário. Se vários aplicativos solicitarem o mesmo modelo (mesmo hash SHA256), o modelo já baixado será compartilhado entre esses aplicativos.

Várias fontes de catálogo

Seu aplicativo pode configurar várias fontes de catálogo, permitindo que você:

  • Usar modelos de vários fornecedores ou repositórios
  • Priorizar determinadas fontes em detrimento de outras
  • Inclua seus próprios catálogos de modelos privados ao lado de catálogos públicos

Como funciona

O sistema de Catálogo de Modelos consiste em vários componentes:

  1. Fontes de catálogo: defina onde os modelos podem ser encontrados (URLs para arquivos JSON de catálogo)
  2. Correspondência de modelos: filtra os modelos disponíveis com base na compatibilidade do provedor de execução
  3. Gerenciamento de download: lida com download e armazenamento de arquivos de modelo
  4. Gerenciamento de instâncias: fornece acesso a modelos baixados enquanto seu aplicativo está em execução

Identificação do modelo

Os modelos no catálogo têm dois tipos de identificadores:

  • Nome: Um nome comum como "gpt2" (várias variações de modelo podem compartilhar o mesmo nome)
  • Id: um identificador exclusivo no catálogo que normalmente inclui informações do provedor de execução, como "gpt2-cpu" ou "gpt2-npu"

Os aplicativos normalmente usam FindModelAsync com o Nome para simplificar, permitindo que o catálogo selecione a melhor variante de modelo disponível para o sistema atual com base na compatibilidade do provedor de execução.

Suporte ao provedor de execução

O Catálogo de Modelos suporta uma variedade de provedores de execução. Consulte os provedores de execução suportados nos documentos do Windows ML para obter mais informações.

Esquema de origem do catálogo

As fontes do catálogo de modelos usam um esquema JSON padronizado que define:

  • Metadados do modelo (nome, id, versão, editor)
  • Provedores de execução suportados
  • Baixar URLs e informações de arquivo
  • Informações de licença
  • Detalhes do tamanho do modelo

Para obter informações detalhadas sobre o esquema, consulte Origem do catálogo de modelos.

Como Começar

Para começar a usar o Catálogo de Modelos em seu aplicativo Windows ML:

  1. Configura as tuas fontes do catálogo
  2. Criar uma ModelCatalog instância
  3. Consultar e descarregar modelos
  4. Realize a inferência dos seus modelos no ambiente de runtime desejado!

Para obter um passo a passo completo, consulte Introdução ao catálogo de modelos.

Próximos passos

  • Last updated on