Compartir a través de

Implementación de modelos de Microsoft Foundry en el portal de Foundry

Nota:

Este documento hace referencia al portal de Microsoft Foundry (clásico).

🔄 Cambie a la documentación de Microsoft Foundry (nueva) si usa el nuevo portal.

Nota:

Este documento hace referencia al portal de Microsoft Foundry (nuevo).

En este artículo, aprenderá a usar el portal de Foundry para implementar un modelo foundry en un recurso foundry para usarlo en tareas de inferencia. Los Foundry Models incluyen modelos como los modelos de Azure OpenAI, los Modelos Llama de Meta, y más. Una vez que implemente un modelo de Foundry, puede interactuar con él mediante Foundry Playground e inferir a partir de él mediante código.

En este artículo usa un modelo de fundición de asociados y comunidad Llama-3.2-90B-Vision-Instruct a modo de ilustración. Los modelos de asociados y comunidad requieren que se suscriba a Azure Marketplace antes de la implementación. Por otro lado, Foundry Models vendido directamente por Azure, como Azure Open AI en Foundry Models, no tiene este requisito. Para obtener más información sobre foundry Models, incluidas las regiones en las que están disponibles para la implementación, consulte Foundry Models sold directly by Azure and Foundry Models from partners and community (Modelos foundry vendidos directamente por Azure y Foundry Models de asociados y comunidad).

Prerrequisitos

Para completar este artículo, necesitará lo siguiente:

Implementar un modelo

Implemente un modelo siguiendo estos pasos en el portal de Foundry:

  1. Inicie sesión en Microsoft Foundry. Asegúrese de que el conmutador New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).

    Inicie sesión en Microsoft Foundry. Asegúrese de que el interruptor New Foundry está activado. Estos pasos hacen referencia a Foundry (nuevo).

  2. Vaya a la sección Catálogo de modelos en el portal de Foundry.

  3. Seleccione un modelo y revise sus detalles en la tarjeta del modelo. En este artículo se usa Llama-3.2-90B-Vision-Instruct para ilustrarlo.

  4. Seleccione Usar este modelo.

  5. Para instancias de Foundry Models de socios y de la comunidad, debe suscribirse a Azure Marketplace. Este requisito se aplica a Llama-3.2-90B-Vision-Instruct, por ejemplo. Lea los términos de uso y seleccione Aceptar y Continuar para aceptar los términos.

    Nota:

    En el caso de los Foundry Models vendidos directamente por Azure, como el modelo gpt-4o-minide Azure OpenAI, no se suscribe al Azure Marketplace.

  6. Configure las opciones de implementación. De forma predeterminada, la implementación recibe el nombre del modelo que va a implementar, pero puede modificar el nombre según sea necesario antes de implementar el modelo. Más adelante durante la inferencia, el nombre de implementación se usa en el model parámetro para enrutar las solicitudes a esta implementación de modelo determinada. Esta convención permite configurar nombres específicos para las implementaciones de modelos.

    Sugerencia

    Cada modelo admite diferentes tipos de implementación, lo que proporciona garantías de residencia o rendimiento de datos diferentes. Vea Tipos de implementación para más información. En este ejemplo, el modelo admite el tipo de implementación Global Standard.

  7. El portal de Foundry selecciona automáticamente el recurso Foundry asociado al proyecto como recurso de IA conectada. Seleccione Personalizar para cambiar la conexión si es necesario. Si va a utilizar el tipo de implementación API sin servidor, el proyecto y el recurso deben estar ubicados en una de las regiones admitidas para la implementación del modelo.

    Recorte de pantalla en el que se muestra cómo personalizar la implementación si es necesario.

  8. Seleccione Implementar. Se abre la página de detalles de implementación del modelo mientras se crea la implementación.

  9. Una vez completada la implementación, el modelo está listo para su uso. También puede usar foundry Playgrounds para probar interactivamente el modelo.

Implemente un modelo siguiendo estos pasos en el portal de Foundry:

  1. Inicie sesión en Microsoft Foundry. Asegúrese de que el conmutador New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).

    Inicie sesión en Microsoft Foundry. Asegúrese de que el interruptor New Foundry está activado. Estos pasos hacen referencia a Foundry (nuevo).

  2. En la página principal del portal de Foundry, seleccione Detectar en el panel superior derecho y, a continuación, Modelos en el panel izquierdo.

  3. Seleccione un modelo y revise sus detalles en la tarjeta del modelo. En este artículo se usa Llama-3.2-90B-Vision-Instruct para ilustrarlo.

  4. Seleccione Implementar>configuración personalizada para personalizar la implementación. Como alternativa, puede usar la configuración de implementación predeterminada seleccionando Implementar>configuración predeterminada.

  5. Para instancias de Foundry Models de socios y de la comunidad, debe suscribirse a Azure Marketplace. Este requisito se aplica a Llama-3.2-90B-Vision-Instruct, por ejemplo. Lea los términos de uso y seleccione Aceptar y Continuar para aceptar los términos.

    Nota:

    En el caso de los Foundry Models vendidos directamente por Azure, como el modelo gpt-4o-minide Azure OpenAI, no se suscribe al Azure Marketplace.

  6. Configure las opciones de implementación. De forma predeterminada, la implementación recibe el nombre del modelo que va a implementar, pero puede modificar el nombre según sea necesario antes de implementar el modelo. Más adelante durante la inferencia, el nombre de implementación se usa en el model parámetro para enrutar las solicitudes a esta implementación de modelo determinada. Esta convención permite configurar nombres específicos para las implementaciones de modelos. Seleccione Implementar para crear la implementación.

    Sugerencia

    Cada modelo admite diferentes tipos de implementación, lo que proporciona garantías de residencia o rendimiento de datos diferentes. Vea Tipos de implementación para más información. En este ejemplo, el modelo admite el tipo de implementación Global Standard.

  7. El portal de Foundry implementa automáticamente el modelo en el recurso Foundry asociado al proyecto. El proyecto y el recurso deben estar en una de las regiones de implementación admitidas para el modelo.

  8. Seleccione Implementar. Cuando se complete la implementación, llegará a Foundry Playgrounds , donde podrá probar interactivamente el modelo.

Administración de modelos

Puede administrar las implementaciones de modelos existentes en el recurso mediante el portal de Foundry.

  1. Vaya a la sección Modelos y puntos de conexión en el portal de Foundry.

  2. El portal agrupa y muestra implementaciones de modelos por recurso. Seleccione la implementación del modelo Llama-3.2-90B-Vision-Instruct en la sección del recurso Foundry. Esta acción abre la página de implementación del modelo.

    Recorte de pantalla que muestra la lista de modelos disponibles en una conexión determinada.

Puede administrar las implementaciones de modelos existentes en el recurso mediante el portal de Foundry.

  1. Seleccione Compilar en el panel de navegación superior derecho.

  2. Seleccione Modelos en el panel izquierdo para ver la lista de implementaciones en el recurso.

Prueba de la implementación en el área de juegos

Puede interactuar con el nuevo modelo en el portal de Foundry mediante el área de juegos. El área de juegos es una interfaz basada en web que le permite interactuar con el modelo en tiempo real. Use el área de juegos para probar el modelo con diferentes solicitudes y ver las respuestas del modelo.

  1. En la página de implementación del modelo, seleccione Abrir en el área de juegos. Esta acción abre el entorno de pruebas de chat con el nombre de su implementación ya seleccionado.

    Recorte de pantalla que muestra cómo seleccionar una implementación de modelo para usarla en el área de juegos.

  2. Escriba su mensaje y vea los resultados.

  3. Use Ver código para ver detalles sobre cómo acceder a la implementación del modelo programáticamente.

Puede interactuar con el nuevo modelo en el portal de Foundry mediante el área de juegos. El área de juegos es una interfaz basada en web que le permite interactuar con el modelo en tiempo real. Use el área de juegos para probar el modelo con diferentes solicitudes y ver las respuestas del modelo.

  1. En la lista de implementaciones, seleccione la implementación Llama-3.2-90B-Vision-Instruct para abrir la página del área de juegos.

  2. Escriba su mensaje y vea los resultados.

  3. Seleccione la pestaña Código para ver detalles sobre cómo acceder a la implementación del modelo mediante programación.

Inferencia del modelo con código

Para realizar la inferencia en el modelo implementado con ejemplos de código, consulte los ejemplos siguientes:

Límites de cuota y disponibilidad regional de un modelo

Para Foundry Models, la cuota predeterminada varía según el modelo y la región. Es posible que algunos modelos solo estén disponibles en algunas regiones. Para más información sobre la disponibilidad y los límites de cuota, consulte Azure OpenAI en las cuotas y los límites de Microsoft Foundry Models y las cuotas y los límites de Microsoft Foundry Models.

Cuota para la implementación e inferencia de un modelo

En el caso de los modelos de Foundry, el despliegue y la inferencia consumen la cuota que Azure asigna a la suscripción por región y por modelo en unidades de tokens por minuto (TPM). Al registrarse en Foundry, recibirá la cuota predeterminada para la mayoría de los modelos disponibles. A continuación, asigne TPM a cada implementación a medida que la cree, lo que reduce la cuota disponible para ese modelo. Puede seguir creando implementaciones y asignarlas a TPM hasta que alcance el límite de cuota.

Al alcanzar el límite de cuota, solo puede crear nuevas implementaciones de ese modelo si:

  • Solicitar más cuota mediante el envío de un formulario de aumento de cuota.
  • Ajusta la cuota asignada en otras implementaciones de modelos en el portal Foundry para liberar tokens para nuevas implementaciones.

Para más información sobre la cuota, consulte Cuotas y límites de Microsoft Foundry Models yAdministración de la cuota de Azure OpenAI.

Contenido relacionado

  • Last updated on