모델 성능 최적화

엔드포인트에 모델을 배포한 후에는 모델과 상호 작용을 시작하여 작동 방식을 확인할 수 있습니다. 프롬프트 엔지니어링 기술을 사용하여 모델의 성능을 최적화하는 방법을 살펴보겠습니다.

프롬프트 패턴을 적용하여 모델의 출력 최적화

언어 모델에 보내는 질문의 질은 다시 받는 응답의 질에 직접적인 영향을 미칩니다. 질문이나 프롬프트를 신중하게 구성하여 더 낫고 더 흥미로운 응답을 받을 수 있습니다. 모델의 성능을 향상하기 위해 프롬프트를 디자인하고 최적화하는 프로세스를 프롬프트 엔지니어링이라고도 합니다.

프롬프트 엔지니어링을 사용하려면 사용자가 관련적이고 명확하며 잘 구성된 질문을 하고 모델에 보다 정확한 응답을 생성하도록 지시해야 합니다. 잘 정의된 프롬프트를 만드는 방법을 이해하려면 모델의 출력을 개선하는 데 도움이 되는 몇 가지 패턴을 살펴보겠습니다.

• 모델에 페르소나 역할을 하도록 지시합니다.
• 모델을 안내하여 더 나은 질문을 제안합니다.
• 특정 형식으로 출력을 생성하는 템플릿을 제공합니다.
• 모델에게 반성하도록 요청하여 모델의 작동 방식을 이해합니다.
• 컨텍스트를 추가하여 모델 출력의 정확도를 향상시킵니다.

개발자로서 효과적인 방법은 시스템 프롬프트의 형태로 배포된 모델에 지침을 추가하는 것입니다. 시스템 프롬프트는 모델의 동작을 설정하고 최종 사용자를 지침에 노출하지 않고 모델을 안내할 수 있도록 합니다. 최상의 결과는 사용자가 여기에 설명된 패턴을 반영하는 프롬프트를 제출하는 데 도움이 되는 명시적 시스템 프롬프트 및 지침(또는 템플릿)을 할당하여 달성되는 경우가 많습니다.

모델에 가상 사용자의 역할을 하도록 지시

질문에 대답할 때 모델이 특정 관점이나 관점을 취하도록 하려면 가상 사용자 역할을 하도록 요청할 수 있습니다.

예를 들어 판매 작업을 하고 있고 새 CRM 소프트웨어에 대한 인사이트를 필요로 하는 경우 모델에게 양념된 마케팅 전문가인 것처럼 응답하도록 요청할 수 있습니다.

다양한 비즈니스 역할에 대해 다른 가상 사용자를 만들 수 있습니다. 제품 관리자, 데이터 분석가, 고객 서비스 전문가 또는 교사와 같은 역할을 생각해 보세요. 가상 사용자를 정의하고, 상황에 맞는 맞춤형 응답을 얻기 위해 해당 가상 사용자가 알고 있거나 수행할 것으로 예상되는 사항에 더 자세히 추가합니다.

더 나은 질문 제안 요청

모델이 질문을 구체화하는 데 도움이 되도록 하려면 쿼리를 구하는 더 나은 방법을 제안하도록 요청할 수 있습니다. 추가 컨텍스트를 제공하도록 요청할 수도 있습니다.

예를 들어 식사 요리에 대한 조언을 구하는 경우 모델에 보다 타겟팅된 답변을 얻을 수 있도록 명확한 질문을 제안하라는 메시지를 표시할 수 있습니다.

모델에서 설명 또는 추가 세부 정보를 제안하도록 권장하면 올바른 질문을 하고 더 적은 상호 작용에서 더 나은 정확한 답변을 얻을 수 있습니다.

응답에 원하는 형식 지정

모델이 특정 형식으로 출력을 생성하도록 하려면 프롬프트에 템플릿 또는 구조를 제공할 수 있습니다.

예를 들어 기록 문서를 작성하는 스포츠 리포터인 경우 모델이 제목, 글머리 기호 및 데이터 분석을 포함하는 특정 템플릿을 따르도록 요청할 수 있습니다.

이메일, 요약, 제안 또는 코드 및 스크립트 생성과 같은 특정 형식이 필요한 다른 시나리오에 이 접근 방식을 적용할 수 있습니다. 형식 템플릿을 명확하게 정의하고 출력을 구조화하여 일관되고 조직화된 응답을 얻는 방법에 대한 세부 정보를 제공합니다.

모델이 원하는 패턴을 식별하는 데 도움이 되는 예제를 하나 이상 제공하여 원샷 또는 몇 샷 접근 방식을 사용할 수도 있습니다.

추론에 대한 설명 요청

모델이 답변 뒤에 있는 추론을 설명하도록 하려면 응답을 제공한 후 모델에 해당 근거 및 가정을 자동으로 반영하도록 요청할 수 있습니다.

예를 들어 수학 문제를 해결하는 경우 모델에 특정 계산의 추론을 설명하도록 요청할 수 있습니다.

데이터 분석, 마케팅 전략 또는 기술 문제 해결에 대한 설명을 원하는 경우 이 방법을 적용할 수 있습니다. 모델에 추론을 정의하도록 요청할 때는 사고 체인 이라는 기술을 사용하여 단계별로 생각하게 합니다.

컨텍스트 추가

모델이 특정 항목에 집중하도록 하려면 고려할 컨텍스트를 지정할 수 있습니다. 관련 없는 정보를 무시하도록 모델에 지시할 수도 있습니다.

예를 들어 여행을 계획하는 경우 모델에 응답의 관련성을 개선하는 데 도움이 되는 더 많은 컨텍스트를 제공할 수 있습니다.

모델이 집중하거나 무시해야 하는 항목을 정의하여 대화가 계속 진행되도록 하고 보다 관련성이 높고 맞춤형 응답을 생성할 수 있습니다.

포함해야 하거나 포함하지 않아야 하는 항목을 설명하고, 모델을 데이터 원본에 연결하여 답변을 생성하기 전에 컨텍스트를 검색해야 하는 컨텍스트를 지정할 수 있습니다.

모델 최적화 전략 적용

프롬프트 엔지니어링은 모델 응답을 최적화하는 효과적인 방법이 될 수 있지만, 경우에 따라 정확한 요구 사항을 항상 충족할 수 있는 충분한 컨텍스트나 지침을 제공하지 못할 수도 있습니다. 개발자는 다음과 같은 추가 최적화 전략을 고려하여 생성 AI 애플리케이션 응답의 관련성을 개선할 수 있습니다.

• RAG(검색 기반 생성)은 데이터 원본을 사용하여 프롬프트에 기반 컨텍스트를 제공하는 기술입니다. RAG는 모델이 특정 지식 도메인을 기반으로 하는 질문에 답변해야 하거나 모델이 기반이 되는 학습 데이터 이후에 발생한 이벤트와 관련된 정보를 고려하도록 모델이 필요할 때 유용한 방법이 될 수 있습니다.
• 미세 조정: 원하는 출력 형식과 스타일을 반영하는 예제 프롬프트 및 응답을 제공하여 기본 모델의 학습을 확장하는 기술입니다.

이러한 두 방법 모두 추가 비용, 복잡성 및 유지 관리 과제가 포함되므로 일반적으로 프롬프트 엔지니어링을 통해 최적화 작업을 시작한 다음 필요한 경우 추가 전략을 고려하는 것이 가장 좋습니다.

개발자로 선택해야 하는 전략은 요구 사항에 따라 달라집니다.

• 컨텍스트 최적화: 모델에 컨텍스트 지식이 부족할 때 응답 정확도를 최대화하고 싶은 경우.
• 모델 최적화: 동작의 일관성을 최대화하여 응답 형식, 스타일, 어조를 개선하고 싶은 경우.

컨텍스트를 최적화하기 위해 검색 증강 생성(RAG) 패턴을 적용할 수 있습니다. RAG를 사용하면 응답을 생성하기 전에 먼저 데이터 원본에서 컨텍스트를 검색하여 데이터를 기반으로 삼습니다. 예를 들어 직원이 회사의 비용 정책 설명서에 따라 비용 청구 프로세스 및 한도에 대해 질문하도록 할 수 있습니다.

모델이 특정 스타일이나 형식으로 응답하도록 하려면 시스템 메시지에 지침을 추가하여 지시할 수 있습니다. 모델의 동작이 일관되지 않은 경우 모델을 미세 조정하여 동작에서 일관성을 추가로 적용할 수 있습니다. 미세 조정을 사용하면 애플리케이션에 통합하기 전에 예제 프롬프트 및 응답의 데이터 세트에 대한 기본 언어 모델을 학습하고, 미세 조정된 모델은 미세 조정 학습 데이터 세트의 예제와 일치하는 응답을 생성합니다.

프롬프트 엔지니어링, RAG 및 미세 조정된 모델 과 같은 최적화 전략의 조합을 사용하여 언어 애플리케이션을 개선할 수 있습니다.