Freigeben über

Erste Schritte mit Foundry Local

Important

  • Foundry Local ist in der Vorschau verfügbar. Öffentliche Vorschauversionen bieten frühzeitigen Zugriff auf Features, die sich in der aktiven Bereitstellung befinden.
  • Features, Ansätze und Prozesse können sich vor der allgemeinen Verfügbarkeit (General Availability, GA) noch ändern oder eine eingeschränkte Funktionalität aufweisen.

In diesem Handbuch erfahren Sie, wie Sie Foundry Local einrichten, um KI-Modelle auf Ihrem Gerät auszuführen.

Prerequisites

Ihr System muss die folgenden Anforderungen erfüllen, um Foundry Local auszuführen:

  • Betriebssystem: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Hardware: Mindestens 8 GB RAM und 3 GB freier Speicherplatz. Empfohlene 16 GB RAM und 15 GB freier Festplattenspeicher.
  • Netzwerk: Internetverbindung zum Herunterladen von Modellen und Ausführungsanbietern. Nachdem Sie ein Modell heruntergeladen haben, können Sie zwischengespeicherte Modelle offline ausführen.
  • Beschleunigung (optional): NVIDIA GPU (2000 Serie oder höher), AMD GPU (6000 Serie oder höher), AMD NPU, Intel iGPU, Intel NPU (32 GB oder mehr Arbeitsspeicher), Qualcomm Snapdragon X Elite (8 GB oder mehr Arbeitsspeicher), Qualcomm NPU oder Apple Silicon.

So installieren Sie Foundry Local mithilfe der Befehle in dieser Schnellstartanleitung:

  • Stellen Sie unter Windows sicher, dass winget verfügbar ist.
  • Installieren Sie auf macOS Homebrew, wenn Sie die brew Option verwenden.

Hinweis

Neue NPUs werden nur auf Systemen unterstützt, auf denen Windows 24H2 oder höher ausgeführt wird. Wenn Sie eine Intel NPU unter Windows verwenden, installieren Sie den Intel NPU-Treiber , um die NPU-Beschleunigung in Foundry Local zu aktivieren.

Stellen Sie sicher, dass Sie über Administratorrechte zum Installieren von Software verfügen.

Tip

Wenn nach der Installation ein Dienstverbindungsfehler angezeigt wird (z. B. "Fehler bei der Anforderung an den lokalen Dienst"), führen Sie den Vorgang aus foundry service restart.

Quickstart

Erste Schritte mit Foundry Local:

Option 1: Schnelles CLI-Setup

  1. Installieren Sie Foundry Local.

    • Windows: Öffnen Sie ein Terminal, und führen Sie den folgenden Befehl aus. 
      winget install Microsoft.FoundryLocal
    • macOS: Öffnen Sie ein Terminal, und führen Sie den folgenden Befehl aus. 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Alternativ können Sie das Installationsprogramm aus dem GitHub-Repository "Foundry Local" herunterladen.

    Referenz: Foundry Local documentation

  2. Überprüfen Sie die Installation. Laufen:

    foundry --version

    Die installierte Versionsnummer sollte angezeigt werden.

    Referenz: Foundry Local CLI-Referenz

  3. Führen Sie Ihr erstes Modell aus. Öffnen Sie ein Terminal, und führen Sie diesen Befehl aus:

    foundry model run qwen2.5-0.5b

    Foundry Local lädt das Modell herunter, das je nach Internetgeschwindigkeit ein paar Minuten dauern kann, und führt es dann aus. Nachdem das Modell gestartet wurde, interagieren Sie mit dem Modell mithilfe der Befehlszeilenschnittstelle (COMMAND-Line Interface, CLI). Sie können z. B. Folgendes fragen:

    Why is the sky blue?

    Im Terminal wird eine Antwort des Modells angezeigt: Screenshot der Ausgabe des Befehls

Referenz: Foundry Local CLI-Referenz

Option 2: Herunterladen von Startprojekten

Laden Sie für praktisches, praktisches Lernen eines der Startprojekte herunter, die reale Szenarien demonstrieren:

Jedes Projekt umfasst Folgendes:

  • Schrittweise Anleitungen zum Einrichten
  • Vollständigen Quellcode
  • Konfigurationsbeispiele
  • Bewährte Methoden

Tip

Diese Startprojekte richten sich an Szenarien in den Anleitungen und bieten sofortigen praktischen Nutzen.

Tip

Ersetzen Sie qwen2.5-0.5b durch einen beliebigen Modellnamen aus dem Katalog (ausführen foundry model list , um verfügbare Modelle anzuzeigen). Foundry Local lädt die Variante herunter, die am besten mit der Hardware- und Softwarekonfiguration Ihres Systems übereinstimmt. Wenn Sie beispielsweise über eine NVIDIA GPU verfügen, lädt Foundry Local die CUDA-Version herunter. Wenn Sie über einen Qualcomm NPU verfügen, lädt Foundry Local die NPU-Variante herunter. Wenn Sie keine GPU oder NPU haben, lädt Foundry Local die CPU-Version herunter.

Wenn Sie das erste Mal ausführen foundry model list , wird eine Download-Statusleiste angezeigt, während Foundry Local die Ausführungsanbieter für Ihre Hardware herunterlädt.

Referenz: Foundry Local CLI-Referenz

Erkunden der Befehle

Die Foundry CLI organisiert Befehle in den folgenden Hauptkategorien:

  • Modell: Befehle zum Verwalten und Ausführen von Modellen.
  • Dienst: Befehle zum Verwalten des lokalen Foundry-Diensts.
  • Cache: Befehle zum Verwalten des lokalen Modellcaches (heruntergeladene Modelle auf einem lokalen Datenträger).

Verwenden Sie folgendes, um alle Befehle anzuzeigen:

foundry --help


```bash
foundry model --help

Foundry --help

foundry service --help

Cachebefehle anzeigen:

foundry cache --help

Referenz: Foundry Local CLI-Referenz

Optional: Ausführen des neuesten GPT OSS 20B-Modells

Führen Sie das gpt-oss-20b Modell aus:

foundry model run gpt-oss-20b

Important

Wenn das Modell für Ihr Gerät nicht verfügbar ist, führen Sie ein kleineres Modell aus (z. B qwen2.5-0.5b. ).

Für die CUDA-Variante benötigen Sie in der Regel eine NVIDIA GPU mit 16 GB VRAM oder mehr.

Foundry Local Version 0.6.87 oder höher fügt Unterstützung für dieses Modell hinzu. Überprüfen Sie Ihre Version mit:

foundry --version

Referenz: Foundry Local CLI-Referenz

Tip

Ausführliche Informationen zu allen CLI-Befehlen finden Sie unter Foundry Local CLI reference.

Foundry Local-Upgrade

Führen Sie den Befehl für Ihr Betriebssystem aus, um foundry Local zu aktualisieren.

  • Windows: Führen Sie in einem Terminal Folgendes aus: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: Führen Sie in einem Terminal Folgendes aus: 
    brew upgrade foundrylocal

Foundry Local deinstallieren

Um Foundry Local zu deinstallieren, führen Sie den Befehl für Ihr Betriebssystem aus:

  • Windows: Öffnen Sie ein Terminal, und führen Sie Folgendes aus: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Öffnen Sie ein Terminal, und führen Sie Folgendes aus: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Problembehandlung

Dienstverbindungsprobleme

Wenn dieser Fehler beim Ausführen von foundry model list oder einem ähnlichen Befehl angezeigt wird:

foundry model list

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Führen Sie diesen Befehl aus, um den Dienst neu zu starten:

foundry service restart

Dieser Befehl behebt Fälle, in denen der Dienst ausgeführt wird, aber aufgrund eines Portbindungsproblems nicht zugänglich ist.

Referenz: Bewährte Methoden und Problembehandlung

Verwandte Inhalte

  • Last updated on