Compartir a través de

Descarga y uso compartido de modelos en el dispositivo con las API del catálogo de modelos de Windows ML

Las API del catálogo de modelos de Windows ML permiten a la aplicación o biblioteca descargar dinámicamente archivos de modelo de IA de gran tamaño en una ubicación compartida en el dispositivo desde sus propios catálogos de modelos en línea sin enviar esos archivos grandes directamente con la aplicación o biblioteca. Además, el catálogo de modelos ayudará a filtrar los modelos que son compatibles con el dispositivo Windows en el que se ejecuta, de modo que el modelo correcto se descargue en el dispositivo.

¿Qué son las API del catálogo de modelos?

Las API del catálogo de modelos son un conjunto de API que se pueden conectar a uno o varios catálogos de modelos en la nube para facilitar la descarga y el almacenamiento de esos modelos localmente en el dispositivo para que las aplicaciones de Windows puedan usarlas en el dispositivo. Las API tienen algunas características principales:

  • Agregar catálogos: agregar uno o varios catálogos en línea
  • Detectar modelos compatibles: busque automáticamente los modelos que funcionan con los proveedores de hardware y ejecución del usuario.
  • Descargar modelos: descargar y almacenar modelos de varios orígenes
  • Compartir modelos entre aplicaciones: si varias aplicaciones solicitan el mismo modelo (mismo hash SHA256), el modelo se compartirá en el disco sin duplicar las descargas.

Características clave

Coincidencia automática de compatibilidad

Catálogo de modelos asigna automáticamente los proveedores de procesamiento disponibles en el sistema (CPU, GPU, NPU, etc.) a los modelos. Cuando se solicita un modelo, el catálogo solo devuelve modelos compatibles con la configuración de hardware actual.

Almacenamiento de modelos

Los modelos descargados se almacenan en una ubicación específica del usuario. Si varias aplicaciones solicitan el mismo modelo (mismo hash SHA256), el modelo ya descargado se compartirá entre esas aplicaciones.

Varios orígenes de catálogo

La aplicación puede configurar varios orígenes de catálogo, lo que le permite:

  • Uso de modelos de varios proveedores o repositorios
  • Priorizar determinados orígenes sobre otros
  • Incluir sus propios catálogos de modelos privados junto con los públicos

Cómo funciona

El sistema catálogo de modelos consta de varios componentes:

  1. Orígenes del catálogo: defina dónde se pueden encontrar los modelos (direcciones URL para catalogar archivos JSON)
  2. Coincidencia de modelos: filtra los modelos disponibles en función de la compatibilidad del proveedor de ejecución
  3. Administración de descargas: controla la descarga y el almacenamiento de archivos de modelo
  4. Administración de instancias: proporciona acceso a los modelos descargados mientras se ejecuta la aplicación.

Identificación del modelo

Los modelos del catálogo tienen dos tipos de identificadores:

  • Nombre: un nombre común como "gpt2" (varias variaciones de modelo pueden compartir el mismo nombre)
  • Identificador: identificador único en el catálogo que normalmente incluye información del proveedor de ejecución, como "gpt2-cpu" o "gpt2-npu".

Las aplicaciones suelen usar FindModelAsync con el nombre para simplificar, lo que permite que el catálogo seleccione la mejor variante de modelo disponible para el sistema actual en función de la compatibilidad del proveedor de ejecución.

Compatibilidad con proveedores de ejecución

Model Catalog admite una variedad de proveedores de ejecución. Consulta los proveedores de ejecución admitidos en los documentos de Windows ML para obtener más información.

Esquema de origen del catálogo

Los orígenes del catálogo de modelos usan un esquema JSON estandarizado que define:

  • Metadatos del modelo (nombre, identificador, versión, publicador)
  • Proveedores de ejecución soportados
  • Descarga de direcciones URL e información de archivo
  • Información de licencia
  • Detalles del tamaño del modelo

Para obtener información detallada sobre el esquema, consulte Origen del catálogo de modelos.

Cómo empezar

Para empezar a usar el catálogo de modelos en la aplicación de Windows ML:

  1. Configura tus fuentes del catálogo
  2. Creación de una ModelCatalog instancia
  3. Consulta y descarga de modelos
  4. ¡Ejecuta inferencias en tus modelos con el entorno de ejecución deseado!

Para ver un tutorial completo, consulte Introducción al catálogo de modelos.

Pasos siguientes

  • Last updated on