Referentie voor Foundry Local CLI

Dit artikel bevat een uitgebreide naslaginformatie over de opdrachtregelinterface (CLI) van Foundry. De CLI organiseert opdrachten in logische categorieën om u te helpen bij het beheren van modellen, het beheren van de service en het onderhouden van uw lokale cache.

Vereiste voorwaarden

• Installeer Foundry Local. Zie Aan de slag met Foundry Local voor installatiestappen.
• Gebruik een lokale terminal waar de foundry CLI beschikbaar is.
• Zorg ervoor dat u internettoegang hebt voor downloads die voor het eerst worden gedownload (uitvoeringsproviders en -modellen).
• Azure RBAC: Niet van toepassing (lokaal uitgevoerd).
• Als u een Intel NPU in Windows hebt, installeert u het Intel NPU-stuurprogramma voor optimale NPU-versnelling.

Snelle verificatie

Voer deze opdrachten uit om te bevestigen dat de CLI is geïnstalleerd en de service bereikbaar is.

1. CLI-help bekijken:

    foundry --help
   

   Met deze opdracht worden gebruiksgegevens en de lijst met beschikbare opdrachtgroepen afgedrukt.

   Naslaginformatie: Overzicht

2. Controleer de servicestatus:

    foundry service status
   

   Met deze opdracht wordt weergegeven of de Foundry Local-service actief is en omvat daarbij het lokale eindpunt.

   Naslaginformatie: Serviceopdrachten

Overzicht

Gebruik de ingebouwde Help om opdrachten en opties te verkennen.

De CLI organiseert opdrachten in drie hoofdcategorieën:

• Model: Opdrachten voor het beheren en uitvoeren van AI-modellen
• Service: Opdrachten voor het beheren van de lokale foundry-service
• Cache: Opdrachten voor het beheren van uw lokale modelopslag

Modelopdrachten

De volgende tabel bevat een overzicht van de opdrachten met betrekking tot het beheren en uitvoeren van modellen:

Volgorde van modellijst

Wanneer er meerdere model-id-varianten beschikbaar zijn voor een alias, worden in de lijst met modellen de modellen in prioriteitsvolgorde weergegeven. Het eerste model in de lijst is het model dat wordt uitgevoerd wanneer u het model opgeeft door alias.

Filteren van modellijst

De foundry model list opdracht ondersteunt het filteren van modellen met behulp van de --filter optie. U kunt modellen filteren op basis van één kenmerk met behulp van sleutel-waardeparen.

foundry model list --filter <key>=<value>

Met deze opdracht worden modellen afgedrukt die overeenkomen met de filtersleutel en waarde.

Referentie: Modellijsten filteren

Ondersteunde filtersleutels:

apparaat - Hardwareapparaattype

Filtert modellen op het hardwareapparaat waarop ze worden uitgevoerd.

Mogelijke waarden:

• CPU - Modellen voor centrale verwerkingseenheden
• GPU - Grafische verwerkingseenheidmodellen
• NPU - Modellen voor neurale verwerkingseenheden

provider - Uitvoeringsprovider

Filtert modellen op basis van hun uitvoeringsprovider of runtime.

Mogelijke waarden:

• CPUExecutionProvider - Uitvoering op basis van CPU
• CUDAExecutionProvider - UITVOERING VAN NVIDIA CUDA GPU
• WebGpuExecutionProvider - WebGPU-uitvoering
• QNNExecutionProvider - Qualcomm Neural Network verwerking (NPU)
• OpenVINOExecutionProvider - Intel OpenVINO-uitvoering
• NvTensorRTRTXExecutionProvider - NVIDIA TensorRT-uitvoering
• VitisAIExecutionProvider - AMD Vitis AI-uitvoering

taak - Taaktype model

Filtert modellen op basis van hun beoogde use-case of taak.

Algemene waarden:

• chat-completion: Ai-modellen voor gesprekken
• text-generation: Modellen voor het genereren van tekst

alias - Modelalias

Filtert modellen op basis van hun alias-id. Ondersteunt jokertekens die overeenkomen met * achtervoegsel.

Voorbeeldwaarden:

• phi4-cpu
• qwen2.5-coder-0.5b-instruct-generic-cpu
• deepseek-r1-distill-qwen-1.5b-generic-cpu
• phi-4-mini-instruct-generic-cpu

Speciale filterfuncties

Ondersteuning voor negatie: Voorvoegsel van een waarde waarmee ! overeenkomende modellen worden uitgesloten.

foundry model list --filter device=!GPU

Met deze opdracht worden GPU-modellen uitgesloten van de resultaten.

Naslaginformatie: Speciale filterfuncties

Overeenkomende jokertekens (alleen alias): Toevoegen * aan overeenkomende voorvoegsels bij het filteren op alias.

foundry model list --filter alias=qwen*

Met deze opdracht worden modellen geretourneerd waarvan de alias begint met qwen.

Referentie: Speciale filterfuncties

Voorbeelden

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Deze voorbeelden filteren de modellijst op apparaat, taak en uitvoeringsprovider.

Naslaginformatie: Filteren van modellijsten

Serviceopdrachten

De volgende tabel bevat een overzicht van de opdrachten die betrekking hebben op het beheren en uitvoeren van de Foundry Local-service:

Cacheopdrachten

De volgende tabel bevat een overzicht van de opdrachten voor het beheren van de lokale cache waarin modellen worden opgeslagen:

Uitvoeringsproviders

Uitvoeringsproviders zijn hardwarespecifieke versnellingsbibliotheken die modellen zo efficiënt mogelijk op uw apparaat uitvoeren.

Ingebouwde uitvoeringsproviders

Foundry Local bevat de CPU-uitvoeringsprovider, de WebGPU-uitvoeringsprovider en de CUDA-uitvoeringsprovider.

De CPU-uitvoeringsprovider gebruikt Microsoft Linear Algebra Subroutines (MLAS) om op elke CPU te draaien en is de CPU-terugval voor Foundry Local.

De WebGPU-uitvoeringsprovider maakt gebruik van Dawn, de systeemeigen implementatie van de web-API, voor versnelling op elke GPU en is de GPU-terugval voor Foundry Local.

De CUDA-uitvoeringsprovider gebruikt NVIDIA CUDA voor versnelling op NVIDIA GPU's. Het vereist een NVIDIA GeForce RTX 30-serie en hoger met minimaal aanbevolen stuurprogrammaversie 32.0.15.5585 en CUDA versie 12.5. Het is onderhevig aan de volgende licentievoorwaarden: Licentieovereenkomst voor NVIDIA Software Development Kits- EULA.

Providers voor het uitvoeren van invoegtoepassingen

De uitvoeringsproviders die in de volgende tabel worden vermeld, zijn beschikbaar voor dynamische download en registratie in Windows, afhankelijk van de compatibiliteit van apparaten en stuurprogramma's. Ze zijn onderworpen aan de opgegeven licentievoorwaarden.

Foundry Local downloadt deze uitvoeringsproviders automatisch bij de eerste uitvoering. De uitvoeringsproviders van de plug-in worden automatisch bijgewerkt wanneer er nieuwe versies beschikbaar zijn.