Wprowadzenie do lokalnego programu Foundry

W tym przewodniku pokazano, jak skonfigurować aplikację Foundry Local do uruchamiania modeli sztucznej inteligencji na urządzeniu.

Prerequisites

System musi spełniać następujące wymagania, aby uruchomić program Foundry Local:

• System operacyjny: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
• Sprzęt: minimalnie 8 GB pamięci RAM i 3 GB wolnego miejsca na dysku. Zalecane 16 GB pamięci RAM i 15 GB wolnego miejsca na dysku.
• Sieć: połączenie internetowe do pobierania modeli i dostawców realizacji. Po pobraniu modelu można uruchamiać modele buforowane w trybie offline.
• Przyspieszanie (opcjonalnie): procesor GPU firmy NVIDIA (seria 2000 lub nowsza), procesor GPU AMD (seria 6000 lub nowsza), procesor AMD NPU, Intel iGPU, Intel NPU (32 GB lub więcej pamięci), Qualcomm Snapdragon X Elite (8 GB lub więcej pamięci), Qualcomm NPU lub Apple silicon.

Aby zainstalować Foundry Local przy użyciu poleceń w krótkim przewodniku wprowadzającym:

• W systemie Windows upewnij się, że winget jest dostępna.
• W systemie macOS zainstaluj Homebrew, jeśli używasz opcji brew.

Upewnij się, że masz uprawnienia administratora do instalowania oprogramowania.

Szybki start

Szybko rozpocznij pracę z lokalną aplikacją Foundry:

Opcja 1. Szybka konfiguracja interfejsu wiersza polecenia

1. Zainstaluj lokalnie program Foundry.

   • Windows: otwórz terminal i uruchom następujące polecenie.

     winget install Microsoft.FoundryLocal
     

   • macOS: otwórz terminal i uruchom następujące polecenie.

     brew tap microsoft/foundrylocal
     brew install foundrylocal
     

     Możesz też pobrać instalator z lokalnego repozytorium GitHub Foundry.

   Dokumentacja lokalna Foundry

2. Sprawdź instalację. Run:

   foundry --version
   

   Powinien zostać wyświetlony zainstalowany numer wersji.

   Dokumentacja: Dokumentacja lokalnego interfejsu wiersza polecenia programu Foundry

3. Uruchamianie pierwszego modelu. Otwórz terminal i uruchom następujące polecenie:

   foundry model run qwen2.5-0.5b
   

   Usługa Foundry Local pobiera model, który może potrwać kilka minut w zależności od szybkości Internetu, a następnie uruchomi go. Po uruchomieniu modelu należy wchodzić z nim w interakcje przy użyciu interfejsu wiersza polecenia (CLI). Możesz na przykład zapytać:

   Why is the sky blue?
   

   W terminalu zostanie wyświetlona odpowiedź z modelu:

Dokumentacja: Dokumentacja lokalnego interfejsu wiersza polecenia programu Foundry

Opcja 2. Pobieranie projektów startowych

Aby nauczyć się w sposób praktyczny, pobierz jeden z projektów startowych, które przedstawiają rzeczywiste scenariusze.

• Szablon startowy aplikacji czatu: utwórz lokalny interfejs czatu z obsługą wielu modeli.
• Narzędzie do podsumowania: narzędzie działające w wierszu poleceń, które generuje podsumowania plików tekstowych lub bezpośredniego wpisywania tekstu.
• Przykład wywoływania funkcji: włączanie i używanie wywoływania funkcji za pomocą funkcji Phi-4 mini.

Każdy projekt obejmuje:

• Instrukcje dotyczące konfiguracji krok po kroku
• Kompletny kod źródłowy
• Przykłady konfiguracji
• Najlepsze rozwiązania

Dokumentacja: Dokumentacja lokalnego interfejsu wiersza polecenia programu Foundry

Eksplorowanie poleceń

Foundry CLI organizuje polecenia w głównych kategoriach:

• Model: polecenia do zarządzania i uruchamiania modeli.
• Usługa: polecenia do zarządzania usługą lokalną Foundry.
• Pamięć podręczna: polecenia do zarządzania lokalną pamięcią podręczną modelu (pobrane modele na dysku lokalnym).

Aby wyświetlić wszystkie polecenia, użyj:

foundry --help

```bash
foundry model --help

Polecenie 'foundry --help' jest używane do uzyskania pomocy dla programu foundry.

foundry service --help

Wyświetl polecenia pamięci podręcznej :

foundry cache --help

Dokumentacja: Dokumentacja lokalnego interfejsu wiersza polecenia programu Foundry

Opcjonalnie: uruchamianie najnowszego modelu GPT OSS 20B

Uruchom model gpt-oss-20b.

foundry model run gpt-oss-20b

foundry --version

Dokumentacja: Dokumentacja lokalnego interfejsu wiersza polecenia programu Foundry

Uaktualnij Foundry Local

Uruchom polecenie systemu operacyjnego, aby uaktualnić program Foundry Local.

• Windows: w terminalu uruchom polecenie:

  winget upgrade --id Microsoft.FoundryLocal
  

• macOS: w terminalu wykonaj:

  brew upgrade foundrylocal
  

Odinstaluj Foundry Local

Aby odinstalować program Foundry Local, uruchom polecenie dla systemu operacyjnego:

• Windows: otwórz terminal i uruchom polecenie:

  winget uninstall Microsoft.FoundryLocal
  

• macOS: otwórz terminal i uruchom polecenie:

  brew rm foundrylocal
  brew untap microsoft/foundrylocal
  brew cleanup --scrub
  

Rozwiązywanie problemów

Problemy z połączeniem z usługą

Jeśli ten błąd zostanie wyświetlony podczas uruchamiania foundry model list lub podobnego polecenia:

foundry model list

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Uruchom to polecenie, aby ponownie uruchomić usługę:

foundry service restart

To polecenie naprawia przypadki, w których usługa jest uruchomiona, ale nie jest dostępna z powodu problemu z powiązaniem portu.

Dokumentacja: Najlepsze rozwiązania i rozwiązywanie problemów

Treści powiązane

• Integrowanie zestawów SDK wnioskowania z usługą Foundry Local
• Dokumentacja lokalna usługi Foundry
• Najlepsze rozwiązania i rozwiązywanie problemów
• Dokumentacja lokalnego interfejsu API usługi Foundry
• Kompilowanie modeli Hugging Face
• Foundry Local na Windows Server 2025