Compartir a través de

Referencia de la CLI local de Foundry

Importante

  • Foundry Local está disponible en versión preliminar. Las versiones preliminares públicas proporcionan acceso anticipado a las características que se encuentran en la implementación activa.
  • Las características, los enfoques y los procesos pueden cambiar o tener funcionalidades limitadas, antes de la disponibilidad general (GA).

En este artículo se proporciona una referencia completa para la interfaz de la línea de comandos local (CLI) de Foundry. La CLI organiza los comandos en categorías lógicas para ayudarle a administrar modelos, controlar el servicio y mantener la memoria caché local.

Prerrequisitos

  • Instale Foundry Local. Para conocer los pasos de configuración, consulte Introducción a Foundry Local.
  • Use un terminal local donde la foundry CLI esté disponible.
  • Asegúrese de que tiene acceso a Internet para las descargas por primera vez (proveedores de ejecución y modelos).
  • RBAC de Azure: no aplicable (se ejecuta localmente).
  • Si tiene una NPU de Intel en Windows, instale el controlador NPU de Intel para obtener una aceleración de NPU óptima.

Comprobación rápida

Ejecute estos comandos para confirmar que la CLI está instalada y el servicio es accesible.

  1. Mostrar ayuda de la CLI:

     foundry --help

    Este comando imprime información de uso y la lista de grupos de comandos disponibles.

    Referencia: Información general

  2. Compruebe el estado del servicio:

     foundry service status

    Este comando muestra si el servicio Foundry Local se está ejecutando e incluye su punto de conexión local.

    Referencia: Comandos de servicio

Información general

Use la ayuda integrada para explorar comandos y opciones.

La CLI organiza los comandos en tres categorías principales:

  • Modelo: comandos para administrar y ejecutar modelos de IA
  • Servicio: comandos para controlar el servicio Foundry Local
  • Caché: comandos para administrar el almacenamiento del modelo local

Comandos de modelo

En la tabla siguiente se resumen los comandos relacionados con la administración y ejecución de modelos:

Nota:

Puede especificar el model argumento por su alias o identificador de modelo. Uso de un alias:

  • Selecciona el mejor modelo para el hardware disponible automáticamente. Por ejemplo, si tiene una GPU de Nvidia disponible, Foundry Local selecciona el mejor modelo de GPU. Si tiene una NPU compatible disponible, Foundry Local selecciona el modelo de NPU.
  • Permite usar un nombre más corto sin necesidad de recordar el identificador del modelo.

Si desea ejecutar un modelo específico, use el identificador del modelo. Por ejemplo, para ejecutar el qwen2.5-0.5b en la CPU, independientemente de su hardware disponible, use: foundry model run qwen2.5-0.5b-instruct-generic-cpu.

Comando Descripción
foundry model --help Muestra todos los comandos disponibles relacionados con el modelo y su uso.
foundry model run <model> Ejecuta un modelo especificado, lo descarga si no se almacena en caché e inicia una interacción.
foundry model list Enumera todos los modelos disponibles para su uso local. En la primera ejecución, descarga proveedores de servicios de ejecución (EPs) para tu hardware.
foundry model list --filter <key>=<value> Enumera los modelos filtrados por los criterios especificados (dispositivo, tarea, alias, proveedor).
foundry model info <model> Muestra información detallada sobre un modelo específico.
foundry model info <model> --license Muestra la información de licencia de un modelo específico.
foundry model download <model> Descarga un modelo en la caché local sin ejecutarlo.
foundry model load <model> Carga un modelo en el servicio.
foundry model unload <model> Descarga un modelo del servicio.

Ordenación de listas de modelos

Cuando hay varias variantes de identificador de modelo disponibles para un alias, la lista de modelos muestra los modelos en orden de prioridad. El primer modelo de la lista es el modelo que se ejecuta al especificar el modelo por alias.

Filtrado de lista de modelos

El foundry model list comando admite el filtrado de modelos mediante la --filter opción . Puede filtrar modelos basados en un único atributo mediante pares clave-valor.

foundry model list --filter <key>=<value>

Este comando imprime modelos que coinciden con la clave de filtro y el valor.

Referencia: filtrado de lista de modelos

Nota:

Cuando se ejecuta foundry model list por primera vez después de la instalación, Foundry Local descarga automáticamente los proveedores de ejecución (EPs) pertinentes para la configuración de hardware de la máquina. Verá una barra de progreso que indica la finalización de la descarga antes de que aparezca la lista de modelos.

Claves de filtro admitidas:

device - Tipo de dispositivo de hardware

Filtra los modelos por el dispositivo de hardware en el que se ejecutan.

Valores posibles:

  • CPU - Modelos de unidad de procesamiento central
  • GPU - Modelos de unidad de procesamiento de gráficos
  • NPU - Modelos de unidad de procesamiento neuronal

proveedor: proveedor de ejecución

Filtra los modelos por su proveedor de ejecución o tiempo de ejecución.

Valores posibles:

  • CPUExecutionProvider - Ejecución basada en CPU
  • CUDAExecutionProvider - Ejecución de GPU de NVIDIA CUDA
  • WebGpuExecutionProvider - Ejecución de WebGPU
  • QNNExecutionProvider - Ejecución de red neuronal de Qualcomm (NPU)
  • OpenVINOExecutionProvider - Ejecución de Intel OpenVINO
  • NvTensorRTRTXExecutionProvider - Ejecución de NVIDIA TensorRT
  • VitisAIExecutionProvider - Ejecución de la inteligencia artificial de Vitis de AMD

task: tipo de tarea modelo

Filtra los modelos por su caso de uso o tarea previstos.

Valores comunes:

  • chat-completion: modelos de IA conversacional
  • text-generation: modelos de generación de texto

alias: alias de modelo

Filtra los modelos por su identificador de alias. Admite la coincidencia de caracteres comodín con el sufijo *.

Valores de ejemplo:

  • phi4-cpu
  • qwen2.5-coder-0.5b-instruct-generic-cpu
  • deepseek-r1-distill-qwen-1.5b-generic-cpu
  • phi-4-mini-instruct-generic-cpu

Características de filtro especiales

Compatibilidad con negación: Antepon cualquier valor con ! para excluir modelos coincidentes.

foundry model list --filter device=!GPU

Este comando excluye los modelos de GPU de los resultados.

Referencia: Características de filtro especiales

Coincidencia de caracteres comodín (solo alias): Anexe * para que coincida con los prefijos al filtrar por alias.

foundry model list --filter alias=qwen*

Este comando devuelve modelos cuyo alias comienza por qwen.

Referencia: Características de filtro especiales

Examples

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Estos ejemplos filtran la lista de modelos por dispositivo, tarea y proveedor de ejecución.

Referencia: filtrado de lista de modelos

Nota:

  • En las comparaciones se distingue entre mayúsculas y minúsculas.
  • Solo se puede usar un filtro por comando.
  • Las claves de filtro no reconocidas producen un error.

Comandos de servicio

En la tabla siguiente se resumen los comandos relacionados con la administración y ejecución del servicio local foundry:

Comando Descripción
foundry service --help Muestra todos los comandos disponibles relacionados con el servicio y su uso.
foundry service start Inicia el servicio Foundry Local.
foundry service stop Detiene el servicio local de Fundición.
foundry service restart Reinicia el servicio local de Fundición.
foundry service status Muestra el estado actual del servicio Foundry Local.
foundry service ps Enumera todos los modelos cargados actualmente en el servicio Foundry Local.
foundry service diag Muestra los registros del servicio local Foundry.
foundry service set <options> Establece la configuración del servicio local Foundry.

Comandos de caché

En la tabla siguiente se resumen los comandos para administrar la caché local donde se almacenan los modelos:

Comando Descripción
foundry cache --help Muestra todos los comandos relacionados con la caché disponibles y su uso.
foundry cache location Muestra el directorio de caché actual.
foundry cache list Enumera todos los modelos almacenados en la caché local.
foundry cache cd <path> Cambia el directorio de caché a la ruta de acceso especificada.
foundry cache remove <model> Elimina un modelo de la caché local.

Proveedores de ejecución

Los proveedores de ejecución son bibliotecas de aceleración específicas del hardware que ejecutan modelos lo más eficientemente posible en el dispositivo.

Proveedores de ejecución integrados

Foundry Local incluye el proveedor de ejecución de CPU, el proveedor de ejecución de WebGPU y el proveedor de ejecución CUDA.

El proveedor de ejecución para CPU usa subrutinas de álgebra lineal de Microsoft (MLAS) para funcionar en cualquier CPU y es la opción de reserva de CPU para Foundry Local.

El proveedor de ejecución de WebGPU utiliza Dawn, la implementación nativa de la API basada en la web, para la aceleración en cualquier GPU y es la alternativa de GPU para Foundry Local.

El proveedor de ejecución CUDA utiliza NVIDIA CUDA para la aceleración en las GPU NVIDIA. Requiere una serie NVIDIA GeForce RTX 30 y versiones posteriores con una versión mínima recomendada del controlador 32.0.15.5585 y CUDA versión 12.5. Está sujeto a los siguientes términos de licencia: Contrato de licencia para kits de desarrollo de software de NVIDIA: CLUF.

Proveedores de ejecución de complementos

Los proveedores de ejecución enumerados en la tabla siguiente están disponibles para la descarga dinámica y el registro en Windows, en función de la compatibilidad del dispositivo y del controlador. Están sujetos a los términos de licencia especificados.

Foundry Local descarga automáticamente estos proveedores de ejecución en la primera ejecución. Los proveedores de ejecución de complementos se actualizan automáticamente cuando hay nuevas versiones disponibles.

Nombre (proveedor) Requisitos Términos de licencia
NvTensorRTRTXExecutionProvider (NVIDIA) NVIDIA GeForce RTX 30XX y versiones posteriores con la versión mínima recomendada del controlador 32.0.15.5585 y CUDA versión 12.5 Contrato de licencia para kits de desarrollo de software de NVIDIA: CLUF
OpenVINOExecutionProvider (Intel) CPU: Intel TigerLake (11ª generación) y versiones posteriores con el controlador recomendado mínimo 32.0.100.9565
GPU: Intel AlderLake (12ª generación) y versiones posteriores con el controlador recomendado mínimo 32.0.101.1029
NPU: Intel ArrowLake (15ª generación) y versiones posteriores con el controlador recomendado mínimo 32.0.100.4239		 Contrato de licencia de uso comercial de distribución de Intel OBL v2025.02.12
QNNExecutionProvider (Qualcomm) Snapdragon(R) X Elite - X1Exxxxx - NPU Qualcomm(R) Hexagon(TM) con versión mínima del controlador 30.0.140.0 y versiones posteriores
Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU con la versión mínima del controlador 30.0.140.0 y versiones posteriores		 Para ver la licencia de QNN, descargue el SDK de procesamiento neuronal de Qualcomm®, extraiga el archivo ZIP y abra el archivo LICENSE.pdf.
VitisAIExecutionProvider (AMD) Min: Adrenalin Edition 25.6.3 con el controlador NPU 32.00.0203.280
Max: Adrenalin Edition 25.9.1 con el controlador NPU 32.00.0203.297		 No se requiere ninguna licencia adicional
  • Last updated on