Foundry CLI Local - odniesienie

Ten artykuł zawiera kompleksowe informacje dotyczące lokalnego interfejsu wiersza polecenia (CLI, Foundry Local). Interfejs wiersza polecenia organizuje polecenia w kategorie logiczne, aby ułatwić zarządzanie modelami, kontrolowanie usługi i konserwowanie lokalnej pamięci podręcznej.

Wymagania wstępne

• Zainstaluj lokalnie program Foundry. Aby uzyskać instrukcje konfiguracji, zobacz Wprowadzenie do rozwiązania Foundry Local.
• Użyj lokalnego terminala, gdzie dostępny jest foundry interfejs wiersza polecenia.
• Upewnij się, że masz dostęp do Internetu podczas pobierania po raz pierwszy (dostawcy i modele wykonywania).
• Azure RBAC: nie dotyczy (działa lokalnie).
• Jeśli masz procesor NPU firmy Intel w systemie Windows, zainstaluj sterownik NPU firmy Intel , aby uzyskać optymalne przyspieszenie NPU.

Szybka weryfikacja

Uruchom te polecenia, aby potwierdzić, że CLI (interfejs wiersza polecenia) jest zainstalowane i usługa jest dostępna.

1. Pokaż pomoc CLI (interfejsu wiersza polecenia):

    foundry --help
   

   To polecenie wyświetla informacje o użyciu i listę dostępnych grup poleceń.

   Dokumentacja: Omówienie

2. Sprawdź stan usługi:

    foundry service status
   

   To polecenie wyświetla, czy usługa lokalna Foundry jest uruchomiona i zawiera lokalny punkt końcowy.

   Dokumentacja: Polecenia usługi

Przegląd

Skorzystaj z wbudowanej pomocy, aby zapoznać się z poleceniami i opcjami.

Interfejs wiersza polecenia organizuje polecenia w trzech głównych kategoriach:

• Model: polecenia do zarządzania i uruchamiania modeli sztucznej inteligencji
• Usługa: polecenia do kontrolowania lokalnej usługi Foundry
• Pamięć podręczna: polecenia do zarządzania lokalnym magazynem modeli

Polecenia modelu

Poniższa tabela zawiera podsumowanie poleceń związanych z zarządzaniem i uruchamianiem modeli:

Porządkowanie listy modeli

Jeśli dla aliasu jest dostępnych wiele wariantów identyfikatorów modelu, lista modeli jest wyświetlana w kolejności priorytetów. Pierwszy model na liście to model uruchamiany podczas określania modelu za pomocą polecenia alias.

Filtrowanie listy modeli

Polecenie foundry model list obsługuje filtrowanie modeli przy użyciu --filter opcji . Modele można filtrować na podstawie pojedynczego atrybutu przy użyciu par klucz-wartość.

foundry model list --filter <key>=<value>

To polecenie wyświetla modele zgodne z kluczem i wartością filtru.

Dokumentacja: Filtrowanie listy modeli

Obsługiwane klucze filtru:

urządzenie — typ urządzenia sprzętowego

Filtruje modele według urządzenia sprzętowego, na których działają.

Możliwe wartości:

• CPU - Centralne modele jednostek przetwarzania
• GPU - Modele jednostek przetwarzania graficznego
• NPU - Modele jednostek przetwarzania neuronowego

dostawca — dostawca usług wykonawczych

Filtruje modele według dostawcy wykonywania lub środowiska uruchomieniowego.

Możliwe wartości:

• CPUExecutionProvider - Wykonywanie oparte na procesorze
• CUDAExecutionProvider - Wykonywanie procesora GPU NVIDIA CUDA
• WebGpuExecutionProvider - Wykonywanie protokołu WebGPU
• QNNExecutionProvider - Przetwarzanie sieci neuronowej Qualcomm (NPU)
• OpenVINOExecutionProvider - Wykonanie Intel OpenVINO
• NvTensorRTRTXExecutionProvider - Wykonywanie NVIDIA TensorRT
• VitisAIExecutionProvider — Wykonywanie sztucznej inteligencji przez oprogramowanie AMD Vitis

zadanie — typ zadania modelu

Filtruje modele według zamierzonego przypadku użycia lub zadania.

Typowe wartości:

• chat-completion: Modele konwersacyjnej sztucznej inteligencji
• text-generation: Modele generowania tekstu

alias — alias modelowy

Filtruje modele według identyfikatora aliasu. Obsługuje dopasowanie symboli wieloznacznych z sufiksem *.

Przykładowe wartości:

• phi4-cpu
• qwen2.5-coder-0.5b-instruct-generic-cpu
• deepseek-r1-distill-qwen-1.5b-generic-cpu
• phi-4-mini-instruct-generic-cpu

Specjalne funkcje filtru

Obsługa negacji: Poprzedź dowolną wartość prefiksem !, aby wykluczyć pasujące modele.

foundry model list --filter device=!GPU

To polecenie wyklucza modele procesora GPU z wyników.

Dokumentacja: Specjalne funkcje filtru

Dopasowywanie symboli wieloznacznych (tylko dla aliasów): Dołącz * do dopasowywania prefiksów przy filtrowaniu według aliasu.

foundry model list --filter alias=qwen*

To polecenie zwraca modele, których alias zaczyna się od qwen.

Dokumentacja: Specjalne funkcje filtru

Przykłady

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Te przykłady filtrują listę modeli według urządzenia, zadania i dostawcy usług wykonawczych.

Dokumentacja: Filtrowanie listy modeli

Polecenia serwisowe

W poniższej tabeli przedstawiono podsumowanie poleceń związanych z zarządzaniem i uruchamianiem lokalnej usługi Foundry:

Komendy pamięci podręcznej

Poniższa tabela zawiera podsumowanie poleceń zarządzania lokalną pamięcią podręczną, w której są przechowywane modele:

Dostawcy wykonywania

Dostawcy akceleracji to biblioteki przyspieszania specyficzne dla sprzętu, które uruchamiają modele tak wydajnie, jak to możliwe na Twoim urządzeniu.

Dostawcy wbudowanych usług wykonawczych

Foundry Local obejmuje moduł wykonawczy CPU, moduł wykonawczy WebGPU i moduł wykonawczy CUDA.

Dostawca wykonawczy CPU używa biblioteki Microsoft Linear Algebra Subroutines (MLAS) do uruchamiania na dowolnym CPU i stanowi zapas dla usługi Foundry Local.

Dostawca wykonawczy WebGPU używa Dawn, natywnej implementacji internetowego API, do przyspieszania na dowolnym GPU i jest alternatywą dla GPU w usłudze Foundry Local.

Dostawca wykonywania CUDA używa NVIDIA CUDA do przyspieszania obliczeń na procesorach GPU firmy NVIDIA. Wymaga to serii NVIDIA GeForce RTX 30 i nowszych z minimalną zalecaną wersją sterownika 32.0.15.5585 i CUDA w wersji 12.5. Podlega ona następującym postanowieniom licencyjnym: Umowa licencyjna dla zestawów NVIDIA Software Development Kit — EULA.

Dostawcy wykonywania wtyczek

Dostawcy wykonywania wymienioni w poniższej tabeli są dostępni do dynamicznego pobierania i rejestracji w systemie Windows, w zależności od zgodności urządzeń i sterowników. Podlegają one określonym postanowieniom licencyjnym.

Usługa Foundry Local automatycznie pobiera tych dostawców wykonywania podczas pierwszego uruchomienia. Dostawcy wykonywania wtyczki są automatycznie aktualizowani, gdy są dostępne nowe wersje.