Foundry Local CLI-Referenz

Dieser Artikel enthält eine umfassende Referenz für die Befehlszeilenschnittstelle "Foundry Local" (CLI). Die CLI organisiert Befehle in logische Kategorien, um Modelle zu verwalten, den Dienst zu steuern und den lokalen Cache zu verwalten.

Voraussetzungen

• Installieren Sie Foundry Local. Schritte zum Einrichten finden Sie unter "Erste Schritte mit Foundry Local".
• Verwenden Sie ein lokales Terminal, in dem die foundry CLI verfügbar ist.
• Stellen Sie sicher, dass Sie zum ersten Mal über Internetzugriff verfügen (Ausführungsanbieter und Modelle).
• Azure RBAC: Nicht anwendbar (lokal ausgeführt).
• Wenn Sie über eine Intel NPU unter Windows verfügen, installieren Sie den Intel NPU-Treiber für eine optimale NPU-Beschleunigung.

Schnelle Überprüfung

Führen Sie diese Befehle aus, um zu bestätigen, dass die CLI installiert ist und der Dienst erreichbar ist.

1. CLI-Hilfe anzeigen:

    foundry --help
   

   Dieser Befehl druckt Nutzungsinformationen und die Liste der verfügbaren Befehlsgruppen.

   Referenz: Übersicht

2. Überprüfen Sie den Dienststatus:

    foundry service status
   

   Dieser Befehl gibt an, ob der lokale Foundry-Dienst ausgeführt wird und seinen lokalen Endpunkt enthält.

   Referenz: Dienstbefehle

Überblick

Verwenden Sie die integrierte Hilfe, um Befehle und Optionen zu erkunden.

Die CLI organisiert Befehle in drei Hauptkategorien:

• Modell: Befehle zum Verwalten und Ausführen von KI-Modellen
• Dienst: Befehle zum Steuern des lokalen Foundry-Diensts
• Cache: Befehle zum Verwalten des lokalen Modellspeichers

Modellbefehle

In der folgenden Tabelle sind die Befehle im Zusammenhang mit der Verwaltung und Ausführung von Modellen zusammengefasst:

Modelllistenbestellung

Wenn mehrere Modell-ID-Varianten für einen Alias verfügbar sind, zeigt die Modellliste die Modelle in der Prioritätsreihenfolge an. Das erste Modell in der Liste ist das Modell, das ausgeführt wird, wenn Sie das Modell nach alias angeben.

Filtern in der Modellliste

Der foundry model list Befehl unterstützt Filtermodelle mithilfe der --filter Option. Sie können Modelle anhand eines einzelnen Attributs mithilfe von Schlüsselwertpaaren filtern.

foundry model list --filter <key>=<value>

Mit diesem Befehl werden Modelle gedruckt, die mit dem Filterschlüssel und -wert übereinstimmen.

Referenz: Filterung der Modellliste

Unterstützte Filterschlüssel:

gerät – Hardwaregerätetyp

Filtert Modelle nach dem Hardwaregerät, auf dem sie ausgeführt werden.

Mögliche Werte:

• CPU - Zentrale Verarbeitungseinheitsmodelle
• GPU - Grafikverarbeitungseinheitsmodelle
• NPU - Neurale Verarbeitungseinheitsmodelle

Provider – Ausführungs-Provider

Filtert Modelle nach ihrem Ausführungsanbieter oder ihrer Laufzeit.

Mögliche Werte:

• CPUExecutionProvider - CPU-basierte Ausführung
• CUDAExecutionProvider - NVIDIA CUDA GPU-Ausführung
• WebGpuExecutionProvider - WebGPU-Ausführung
• QNNExecutionProvider - Neurale Netzwerkausführung von Qualcomm (NPU)
• OpenVINOExecutionProvider - Intel OpenVINO-Ausführung
• NvTensorRTRTXExecutionProvider - NVIDIA TensorRT-Ausführung
• VitisAIExecutionProvider: AMD Vitis AI-Ausführung

task - Modellaufgabentyp

Filtert Modelle nach dem beabsichtigten Anwendungsfall oder der beabsichtigten Aufgabe.

Allgemeine Werte:

• chat-completion: Konversationelle KI-Modelle
• text-generation: Modelle der Textgenerierung

Alias – Modellalias

Filtert Modelle anhand ihres Aliasbezeichners. Unterstützt den Platzhalterabgleich mit dem Suffix *.

Beispielwerte:

• phi4-cpu
• qwen2.5-coder-0.5b-instruct-generic-cpu
• deepseek-r1-distill-qwen-1.5b-generic-cpu
• phi-4-mini-instruct-generic-cpu

Spezielle Filterfeatures

Negation-Unterstützung: Präfixen Sie jeden beliebigen Wert mit !, um übereinstimmende Modelle auszuschließen.

foundry model list --filter device=!GPU

Dieser Befehl schließt GPU-Modelle aus den Ergebnissen aus.

Referenz: Spezielle Filterfeatures

Platzhalterabgleich (nur Alias): Fügen Sie * an, um Präfixe beim Filtern nach Alias abzugleichen.

foundry model list --filter alias=qwen*

Dieser Befehl gibt Modelle zurück, deren Alias mit qwen beginnt.

Referenz: Spezielle Filterfeatures

Examples

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

In diesen Beispielen wird die Modellliste nach Geräte-, Aufgaben- und Ausführungsanbietern gefiltert.

Referenz: Modelllistenfilterung

Dienstbefehle

In der folgenden Tabelle sind die Befehle im Zusammenhang mit der Verwaltung und Ausführung des lokalen Foundry-Diensts zusammengefasst:

Cachebefehle

In der folgenden Tabelle sind die Befehle zum Verwalten des lokalen Caches zusammengefasst, in dem Modelle gespeichert sind:

Ausführungsanbieter

Ausführungsanbieter sind hardwarespezifische Beschleunigungsbibliotheken, die Modelle so effizient wie möglich auf Ihrem Gerät ausführen.

Integrierte Ausführungsanbieter

Foundry Local umfasst den CPU-Ausführungsanbieter, den WebGPU-Ausführungsanbieter und den CUDA-Ausführungsanbieter.

Der CPU-Ausführungsanbieter verwendet Microsoft Linear Algebra Subroutines (MLAS), um auf einer beliebigen CPU ausgeführt zu werden und ist der CPU-Fallback für Foundry Local.

Der WebGPU-Ausführungsanbieter verwendet Dawn, die native Implementierung der webbasierten API, für die Beschleunigung auf jeder GPU und ist der GPU-Fallback für Foundry Local.

Der CUDA-Ausführungsanbieter verwendet NVIDIA CUDA für beschleunigung auf NVIDIA GPUs. Es erfordert eine NVIDIA GeForce RTX 30-Serie und höher mit mindestens empfohlener Treiberversion 32.0.15.5585 und CUDA Version 12.5. Es unterliegt den folgenden Lizenzbedingungen: Lizenzvertrag für NVIDIA Software Development Kits – EULA.

Plug-In-Ausführungsanbieter

Die in der folgenden Tabelle aufgeführten Ausführungsanbieter stehen je nach Geräte- und Treiberkompatibilität für den dynamischen Download und die Registrierung unter Windows zur Verfügung. Sie unterliegen den angegebenen Lizenzbedingungen.

Foundry Local lädt diese Ausführungsanbieter automatisch bei der ersten Ausführung herunter. Die Plugin-Ausführungsanbieter werden automatisch aktualisiert, wenn neue Versionen verfügbar sind.