Foundry 로컬 명령줄 인터페이스(CLI) 참조

이 문서에서는 Foundry CLI(로컬 명령줄 인터페이스)에 대한 포괄적인 참조를 제공합니다. CLI는 모델을 관리하고, 서비스를 제어하고, 로컬 캐시를 유지 관리하는 데 도움이 되도록 명령을 논리적 범주로 구성합니다.

필수 조건

• Foundry Local을 설치합니다. 설치 단계는 Foundry Local 시작을 참조하세요.
• foundry CLI가 사용 가능한 로컬 터미널을 사용하세요.
• 처음 다운로드(실행 공급자 및 모델)에 대한 인터넷 액세스 권한이 있는지 확인합니다.
• Azure RBAC: 해당 없음(로컬로 실행).
• Windows에 Intel NPU가 있는 경우 최적의 NPU 가속을 위해 Intel NPU 드라이버를 설치합니다.

빠른 확인

다음 명령을 실행하여 CLI가 설치되고 서비스에 연결할 수 있는지 확인합니다.

1. CLI 도움말 표시:

    foundry --help
   

   이 명령은 사용량 정보와 사용 가능한 명령 그룹 목록을 출력합니다.

   참조: 개요

2. 서비스 상태를 확인합니다.

    foundry service status
   

   이 명령은 Foundry 로컬 서비스가 실행 중인지 여부를 출력하고 로컬 엔드포인트를 포함합니다.

   참조: 서비스 명령

개요

기본 제공 도움말을 사용하여 명령 및 옵션을 탐색합니다.

CLI는 다음 세 가지 주요 범주로 명령을 구성합니다.

• 모델: AI 모델을 관리하고 실행하기 위한 명령
• 서비스: Foundry 로컬 서비스를 제어하기 위한 명령
• 캐시: 로컬 모델 스토리지를 관리하기 위한 명령

모델 명령

다음 표에는 모델 관리 및 실행과 관련된 명령이 요약되어 있습니다.

모델 목록 순서 지정

별칭에 대해 여러 모델 ID 변형을 사용할 수 있는 경우 모델 목록에 우선 순위가 지정된 모델이 표시됩니다. 목록의 첫 번째 모델은 모델을 지정하는 경우 실행되는 모델 alias입니다.

모델 목록 필터링

이 명령은 옵션을 foundry model list 사용하여 모델 필터링을 지원합니다 --filter . 키-값 쌍을 사용하여 단일 특성에 따라 모델을 필터링할 수 있습니다.

foundry model list --filter <key>=<value>

이 명령은 필터 키 및 값과 일치하는 모델을 출력합니다.

참조: 모델 목록 필터링

지원되는 필터 키:

디바이스 - 하드웨어 디바이스 유형

실행 중인 하드웨어 디바이스를 기준으로 모델을 필터링합니다.

가능한 값:

• CPU - 중앙 처리 단위 모델
• GPU - 그래픽 처리 단위 모델
• NPU - 신경망 처리 단위 모델

공급자 - 실행 공급자

실행 공급자 또는 런타임별로 모델을 필터링합니다.

가능한 값:

• CPUExecutionProvider - CPU 기반 실행
• CUDAExecutionProvider - NVIDIA CUDA GPU 실행
• WebGpuExecutionProvider - WebGPU 실행
• QNNExecutionProvider - Qualcomm 신경망 실행(NPU)
• OpenVINOExecutionProvider - Intel OpenVINO 실행
• NvTensorRTRTXExecutionProvider - NVIDIA TensorRT 실행
• VitisAIExecutionProvider - AMD Vitis AI 실행

작업 - 모델 작업 유형

모델을 의도한 사용 사례 또는 작업으로 필터링합니다.

공통 값:

• chat-completion: 대화형 AI 모델
• text-generation: 텍스트 생성 모델

별칭 - 모델 별칭

별칭 식별자를 사용하여 모델을 필터링합니다. * 접미사를 사용한 와일드카드 일치를 지원합니다.

샘플 값:

• phi4-cpu
• qwen2.5-coder-0.5b-instruct-generic-cpu
• deepseek-r1-distill-qwen-1.5b-generic-cpu
• phi-4-mini-instruct-generic-cpu

특수 필터 기능

부정 지원: 일치하는 모델을 제외할 값을 접두사로 ! 지정합니다.

foundry model list --filter device=!GPU

이 명령은 결과에서 GPU 모델을 제외합니다.

참조: 특수 필터 기능

와일드카드 일치(별칭만 해당): 별칭으로 필터링할 때 접두사를 일치하도록 추가 * 합니다.

foundry model list --filter alias=qwen*

이 명령은 별칭이 .로 qwen시작하는 모델을 반환합니다.

참조: 특수 필터 기능

예시

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

이러한 예제에서는 디바이스, 작업 및 실행 공급자별로 모델 목록을 필터링합니다.

참조: 모델 목록 필터링

서비스 명령

다음 표에는 Foundry 로컬 서비스 관리 및 실행과 관련된 명령이 요약되어 있습니다.

캐시 명령

다음 표에는 모델이 저장되는 로컬 캐시를 관리하기 위한 명령이 요약되어 있습니다.

실행 공급자

실행 공급자는 디바이스에서 가능한 한 효율적으로 모델을 실행하는 하드웨어별 가속 라이브러리입니다.

기본 제공 실행 공급자

Foundry Local에는 CPU 실행 공급자, WebGPU 실행 공급자 및 CUDA 실행 공급자가 포함됩니다.

CPU 실행 공급자는 Microsoft MLAS(선형 대수 서브루틴) 를 사용하여 모든 CPU에서 실행하며 Foundry Local의 CPU 대체입니다.

WebGPU 실행 공급자는 GPU의 가속을 위해 웹 기반 API의 네이티브 구현인 Dawn을 사용하며 Foundry Local의 GPU 대체입니다.

CUDA 실행 공급자는 NVIDIA GPU에서 가속을 위해 NVIDIA CUDA를 사용합니다. 최소 권장 드라이버 버전 32.0.15.5585 및 CUDA 버전 12.5를 사용하는 NVIDIA GeForce RTX 30 시리즈 이상이 필요합니다. NVIDIA 소프트웨어 개발 키트에 대한 사용권 계약(EULA)의 사용 조건의 적용을 받습니다.

플러그 인 실행 공급자

다음 표에 나열된 실행 공급자는 디바이스 및 드라이버 호환성에 따라 Windows에서 동적 다운로드 및 등록에 사용할 수 있습니다. 지정된 사용 조건의 적용을 받습니다.

Foundry Local은 처음 실행 시 이러한 실행 공급자를 자동으로 다운로드합니다. 플러그 인 실행 공급자는 새 버전을 사용할 수 있을 때 자동으로 업데이트됩니다.