Azure OpenAI에 대한 투명도 참고 사항

완전 관리형 Azure OpenAI 서비스의 일부로 GPT-3 모델은 자연어를 분석 및 생성하고, Codex 모델은 코드 및 일반 텍스트 코드 설명을 분석 및 생성하며, GPT-4 및 추론 모델 (o 시리즈 모델 및 GPT-5 포함)은 자연어 및 코드를 이해하고 생성할 수 있습니다. 이러한 모델은 자동 회귀 아키텍처를 사용합니다. 즉, 이전 관찰의 데이터를 사용하여 가장 가능성이 큰 다음 단어를 예측합니다. 그런 다음, 새로 생성된 콘텐츠를 원본 텍스트에 추가하여 생성된 전체 응답을 생성하여 이 프로세스를 반복합니다. 응답은 입력 텍스트에 대해 조건화되므로 입력 텍스트를 변경하기만 하면 이러한 모델을 다양한 작업에 적용할 수 있습니다.

GPT-3 시리즈 모델들은 다양한 공용 텍스트 데이터에 사전 훈련됩니다. 이 데이터는 웹 크롤링(특히 인터넷의 광범위한 텍스트를 포함하고 가중치 사전 학습 데이터 세트의 60%로 구성된 필터링된 버전의 Common Crawl)과 확장된 버전의 WebText 데이터 세트, 2개의 인터넷 기반 책 corpora 및 영어 Wikipedia를 포함한 고품질 데이터 세트의 조합에서 제공됩니다. GPT-4 기본 모델은 공개적으로 사용 가능한 데이터(예: 인터넷 데이터) 및 OpenAI에서 허가한 데이터를 사용하여 학습되었습니다. 이 모델은 RLHF(사용자 피드백)와 함께 보충 학습을 사용하여 미세 조정되었습니다.

컴퓨터 사용(미리 보기) 모델은 첫 번째 턴에 텍스트 입력을 허용하고, 두 번째 및 다음 턴의 스크린샷 이미지를 허용하고 명령을 키보드와 마우스로 출력합니다. 컴퓨터 사용 모델 및 컴퓨터 사용 도구를 사용하면 개발자가 에이전트 AI 시스템을 빌드할 수 있습니다.

OpenAI의 GPT-3, GPT-4 및 Codex 연구 논문에서 학습 및 모델링 기술에 대해 자세히 알아봅니다.

미세 조정 은 감독된 미세 조정을 사용하여 기본 모델의 가중치를 조정하여 제공된 학습 집합에 따라 더 나은 응답을 제공하는 것을 의미합니다. 큰 언어 모델에 대한 모든 사용 사례 및 고려 사항은 미세 조정된 모델에 적용되지만 추가 고려 사항도 있습니다.

주요 용어

완전 관리형 서비스는 Azure OpenAI DALL·E 2, DALL·E 3, GPT-image-1, GPT-4 Turbo with Vision, GPT-4o 및 o1 API에 대한 API 액세스를 제공합니다.

Azure OpenAI DALL· E API 를 사용하면 애플리케이션의 텍스트 프롬프트 및 이미지 입력에서 풍부한 이미지를 생성할 수 있습니다. 이 강력한 멀티모달 AI 모델은 OpenAI 에서 개발되었으며 텍스트 입력의 의미 체계와 스타일을 모두 캡처하는 이미지를 생성할 수 있습니다.

DALL·E의 학습 및 모델링 기술에 대해 더 자세히 알고 싶다면 OpenAI DALL·E 연구 논문을, DALL·E 3의 안전성에 관해서는 OpenAI DALL·E 3 시스템 카드를 참조하십시오.

Azure OpenAI GPT-4 Turbo with Vision 은 멀티모달(이미지 및 텍스트) 입력을 수락하고 자연어 및 코드 응답을 생성할 수 있습니다. 이 API를 사용하면 이미지 및 비디오 입력을 보다 풍부하고 포괄적으로 이해할 수 있습니다.

OpenAI GPT-4 연구 논문과 시스템 카드에서 안내하는 비전 기능을 갖춘 GPT-4 Turbo의 안전성 관련 정보를 통해 학습 및 모델링 기술에 대해 더 알아볼 수 있습니다.

Azure OpenAI GPT-4o 는 다중 모드(이미지 및 텍스트) 입력을 수락하고 Azure OpenAI GPT-4 Turbo with Vision과 유사한 자연어 및 코드 응답을 생성할 수 있습니다.

Azure OpenAI 컴퓨터 사용(미리 보기)은 첫 번째 턴에 텍스트 입력을 허용하고, 두 번째 및 다음 턴의 스크린샷 이미지를 허용하고, 명령을 키보드와 마우스로 출력합니다. 컴퓨터 사용 모델 및 컴퓨터 사용 도구를 사용하면 개발자가 에이전트 AI 시스템을 빌드할 수 있습니다.

다음 지침은 책임 있는 AI에 대한 Microsoft 연구 인사이트 및 모범 사례에서 가져옵니다.

주요 용어

gpt-4o-realtime-preview Azure OpenAI 서비스의 모델을 사용하면 강력한 음성 대 음성 변환 및 텍스트 음성 변환 상호 작용이 가능합니다. 이 모델은 고급 음성 인식 및 합성 기능을 통합하여 음성 입력을 이해하고, 정확한 전사를 생성하고, 대상 언어로 유창한 음성 출력을 생성할 수 있습니다. 실시간으로 gpt-4o-realtime-preview 음성을 번역하는 기능을 통해 언어 간 동적 대화를 용이하게 합니다.

Azure OpenAI 서비스의 위스퍼 모델을 사용하면 강력한 음성 인식 및 번역 작업을 수행하는 모델에 액세스할 수 있습니다. 위스퍼 모델은 OpenAI 에서 개발한 ASR(자동 음성 인식) 모델이며 음성 오디오 파일을 음성 및 영어로 번역된 언어로 전사할 수 있습니다.

OpenAI Whisper 연구 논문에서 위스퍼 모델에 대한 학습 및 모델링 기술에 대해 자세히 알아볼 수 있습니다. 위스퍼 모델은 Foundry Tools 서비스의 Azure Speech에서도 사용됩니다. Azure Speech 통합에 대해 자세히 알아보고 여기에서 평가하여 사용해 보십시오.

주요 용어

추론 모델, GPT-4, GPT-3, Codex 모델 및 Azure OpenAI 평가는 프롬프트의 자연어 지침과 예제를 사용하여 작업을 식별합니다. 그런 다음, 모델은 가장 가능성이 큰 다음 텍스트를 예측하여 작업을 완료합니다. 이 기술을 "컨텍스트 내" 학습이라고 합니다. 이러한 모델은 이 단계에서 재학습되지 않고 프롬프트에 포함된 컨텍스트에 따라 예측을 제공합니다.

컨텍스트 내 학습을 위한 세 가지 주요 방법이 있습니다. 이러한 방법은 모델에 지정된 작업별 데이터의 양에 따라 달라집니다.

Few-shot : 이 경우 사용자는 프롬프트에 기대되는 응답 형식과 내용을 보여주는 여러 예제를 포함합니다. 다음 예제에서는 여러 예제를 제공하는 몇 번의 프롬프트를 보여 줍니다.

Convert the questions to a command: 
Q: Ask Constance if we need some bread 
A: send-msg `find constance` Do we need some bread? 
Q: Send a message to Greg to figure out if things are ready for Wednesday. 
A: send-msg `find greg` Is everything ready forWednesday? 
Q: Ask Ilya if we're still having our meeting thisevening 
A: send-msg `find ilya` Are we still having a meetingthis evening? 
Q: Contact the ski store and figure out if I can getmy skis fixed before I leave on Thursday 
A: send-msg `find ski store` Would it be possible toget my skis fixed before I leave on Thursday? 
Q: Thank Nicolas for lunch 
A: send-msg `find nicolas` Thank you for lunch! 
Q: Tell Constance that I won't be home before 19:30tonight — unmovable meeting. 
A: send-msg `find constance` I won't be home before19:30 tonight. I have a meeting I can't move. 
Q: Tell John that I need to book an appointment at10:30 
A:  

예제 수는 일반적으로 단일 프롬프트의 최대 입력 길이에 맞출 수 있는 수에 따라 0에서 100 사이입니다. 몇 번의 학습을 통해 정확한 예측에 필요한 작업별 데이터의 양을 크게 절감할 수 있습니다.

원샷 : 이 사례는 단 하나의 예제만 제공된 경우를 제외하고 몇 번의 샷 접근 방식과 동일합니다. 다음 예제에서는 일회성 프롬프트를 보여줍니다.

Convert the questions to a command:
Q: Ask Constance if we need some bread
A: send-msg `find constance` Do we need some bread?
Q: Send a message to Greg to figure out if things are ready for Wednesday.
A:

제로샷: 이 경우 모델에 예제가 제공되지 않으며 작업 요청만 제공됩니다. 다음 예제에서는 제로샷 프롬프트를 보여줍니다.

Convert the question to a command:
Q: Ask Constance if we need some bread
A:

사고 체인 : Azure OpenAI의 추론 모델에는 CoT(체인 오브 사상) 기술을 사용하는 고급 추론 기능이 있습니다. CoT 기술은 응답을 제공하기 전에 중간 추론 단계를 생성하여 단계별 문제 해결을 통해 더 복잡한 문제를 해결할 수 있도록 합니다. o1은 연구, 전략, 과학, 코딩 및 수학과 같은 추론이 많은 도메인에 대한 벤치마크 개선 사항을 보여줍니다. 이러한 모델에는 고급 추론 기능의 안전성이 향상되었으며 안전 규칙을 추론하고 보다 효과적으로 적용할 수 있습니다. 이를 통해 불법적인 조언 생성, 고정관념적인 응답 선택, 알려진 탈옥에 굴복하는 등의 안전 벤치마크와 함께 더 나은 성과를 얻을 수 있습니다.

이 모델 제품군의 기능에 대한 자세한 내용은 OpenAI o1 시스템 카드, o3-mini 시스템 카드, o3/o4-mini 시스템 카드, 심층 연구 시스템 카드 및 GPT-5 시스템 카드를 참조하세요.

Azure OpenAI 평가

큰 언어 모델의 평가는 다양한 작업 및 차원에서 성능을 측정하는 중요한 단계입니다. 이 작업은 학습에서 성능 향상(또는 손실)을 평가하는 것이 중요한 미세 조정된 모델에 특히 중요합니다. 철저한 평가가 없으면 다양한 버전의 모델이 특정 애플리케이션에 어떤 영향을 미칠 수 있는지 이해하기 어려울 수 있습니다.

Azure OpenAI 평가는 Azure OpenAI 배포에서 생성된 데이터 세트 또는 기타 수동으로 큐레이팅된 파일을 포함하여 데이터를 평가하는 UI 기반 환경입니다.

Azure OpenAI 평가에는 응답을 생성하는 선택적 단계가 있습니다. 사용자가 이 단계를 옵트인하는 경우 모델에 응답을 생성하는 방법을 지시하는 프롬프트(시스템/사용자 메시지)를 제공합니다.

Azure OpenAI 평가에는 결과의 점수를 매기는 9가지 테스트 범주가 포함되어 있습니다. 일부는 근거리 데이터(예: 팩트)가 필요하지만 다른 데이터는 그렇지 않습니다(스키마 유효성 검사). 채점자는 CPU 기반 및 모델 기반의 혼합입니다. 다음은 테스트 조건 목록입니다. 팩트성, 감정, 유효한 JSON 또는 XML, 조건 일치, 사용자 지정 프롬프트, 의미 체계 유사성, 문자열 포함, 일치 스키마 및 텍스트 품질.

Text-to-action

컴퓨터 사용(미리 보기) 모델을 사용하면 텍스트 작업 기능을 사용할 수 있으므로 사용자는 모델이 그래픽 사용자 인터페이스 내에서 실행 가능한 단계로 변환되는 자연어 지침을 제공할 수 있습니다. "이 정보로 고객 지원 양식 작성"과 같은 명령이 제공되면 모델은 관련 필드를 식별하고 올바른 데이터를 입력하고 양식을 제출합니다. 웹 인터페이스를 탐색하고, 구조화되거나 구조화되지 않은 데이터를 추출 및 입력하고, 워크플로를 자동화하고, 보안 정책 준수를 적용할 수 있습니다. 의도를 이해하고 그에 따라 작업을 실행하면 비즈니스 운영이 간소화되어 자동화가 보다 액세스 가능하고 효율적입니다.

Azure OpenAI Service의 이미지 생성 API

더 DALL· E 2, DALL· E 3 및 GPT-image-1 API는 자연어 프롬프트를 사용하여 새 콘텐츠를 생성합니다. 이러한 모델은 공개적으로 사용 가능한 원본 및 OpenAI가 라이선스를 부여한 기타 원본에서 가져온 이미지 쌍 및 해당 캡션에 대해 학습되었습니다.

이러한 생성 AI 모델은 개발자, 예술가, 디자이너, 교육자 등에게 무수한 기회를 제공합니다. 모델은 상상할 수 있는 것과 만들 수 있는 것 사이의 격차를 해소할 수 있습니다. 도메인 간, 일반적인 이해 및 텍스트 프롬프트와 이미지 간의 제로샷 번역을 허용하며, 종종 높은 수준의 리얼리즘을 제공합니다.

Azure OpenAI 이미지 생성 API의 주요 기능은 다음과 같습니다.

• 텍스트-이미지: 모델은 텍스트 프롬프트를 사용하여 이미지를 생성합니다.

  예제 텍스트 프롬프트	생성된 이미지 예제
  "시애틀 스카이라인의 수채화 그림"

  Tip

  자신의 묘사가 생성되지 않기를 원하는 공용은 support@openai.com으로 이메일을 보내 옵트 아웃할 수 있습니다.

• 프롬프트 변환: DALL의 경우 E 3 모델: 이미지를 생성하기 위해 프롬프트를 모델에 보내기 전에 프롬프트에 안전 및 품질 완화가 적용됩니다. 프롬프트 변환은 보다 다양하고 고품질의 이미지를 생성하도록 프롬프트를 향상시킵니다.

  프롬프트 변형은 모든 Azure OpenAI DALL·E 3 생성에 적용됩니다.

  프롬프트 변환이 원래 프롬프트에 적용되면 이미지 생성 전에 Guardrails(이전의 콘텐츠 필터)가 보조 단계로 적용됩니다. 자세한 내용은 Guardrails(이전의 콘텐츠 필터) 를 참조하세요.

  OpenAI의 설명서에서 이미지 생성 프롬프트에 대해 자세히 알아봅니다.

  예제 텍스트 프롬프트	프롬프트 변환 없이 생성된 이미지 예제	프롬프트 변환을 사용하여 생성된 이미지 예제
  "시애틀 스카이라인의 수채화 그림"

• 이미지-이미지: GPT-image-1 모델의 경우: 모델은 이미지 및 텍스트 프롬프트를 사용하고 텍스트 지침에 따라 새 이미지 또는 변경된 이미지를 반환합니다.

• 인페인팅: GPT-image-1 모델의 경우: 모델은 텍스트 지침과 함께 이미지와 마스크(투명 픽셀을 사용하여 포커스 영역을 정의하는 이미지)를 사용하고 표시된 영역 내에서만 새 콘텐츠를 생성합니다. 이는 이미지를 수정하거나 완료하거나 주변 컨텍스트를 일관되게 유지하면서 창의적으로 변경하는 작업과 같은 작업에 사용됩니다.

Azure OpenAI Service의 비전 지원 채팅 API

GpT-4 Turbo with Vision 및 GPT-4o는 자연어 및 이미지 프롬프트를 사용하여 자연어 또는 코드 응답을 생성합니다. 모델은 텍스트 전용, 이미지 전용 및 인터리브된 텍스트 및 이미지 입력을 허용합니다. 이러한 모델은 GPT 제품군의 일부이며 GPT-4의 확장입니다.

Foundry Tools Service의 Azure Vision은 GPT-4 Turbo with Vision(미리 보기)에 대한 향상된 비디오 기능을 제공하며, 비디오 입력을 수락하여 자연어 또는 코드 응답을 생성할 수도 있습니다. 이 기능은 최신 GPT-4 Turbo with Vision 모델 릴리스에서는 사용할 수 없습니다.

예제 프롬프트	예제 완성
"이 용도는 무엇인가요?"	이들은 토마토입니다. 다양한 요리에서 음식 재료로 흔히 사용되며, 생으로도 요리하여도 사용할 수 있습니다. 토마토는 샐러드, 샌드위치, 소스, 수프, 주스 및 기타 많은 요리 응용 프로그램에서 사용할 수 있습니다. 비타민, 미네랄, 항산화제 등 풍부한 영양 성분으로도 알려져 있습니다.
어떻게 사용할 수 있나요? 이 작업을 수행하시겠어요?	다음 일반적인 단계에 따라 토마토를 사용하여 토마토 수프를 만들 수 있습니다. Ingredients: Tomatoes Onion Garlic 올리브 오일 또는 버터 닭고기 또는 채소 국물 Salt Pepper 선택 사항: 바질, 오레가노 또는 백리향과 같은 허브 Instructions: Preparation: 토마토를 철저히 씻습니다. 토마토를 반으로 또는 4등분으로 자릅니다. 껍질을 벗기고 양파와 마늘을 잘라 ...

Azure OpenAI 서비스에서 컴퓨터 사용(미리 보기)

컴퓨터 사용 모델은 스크린샷을 통해 UI(그래픽 사용자 인터페이스)를 해석하고 상호 작용할 수 있는 GPT-4o의 비전 기능의 미세 조정된 버전을 기반으로 합니다. 단추, 텍스트 필드 및 메뉴와 같은 시각적 요소를 분석하여 애플리케이션 레이아웃을 이해하고, 관련 인터페이스 구성 요소를 검색하고, 그에 따라 작업을 실행할 수 있습니다. 이를 통해 웹 및 소프트웨어 상호 작용을 정확하게 자동화할 수 있으므로 실시간 시각적 컨텍스트에 따라 데이터 추출, 양식 완성 및 워크플로 실행과 같은 작업을 수행할 수 있습니다.

얼굴 흐림

사람들의 이미지 또는 비디오가 포함된 GPT-4 Turbo with Vision, GPT-4o, 및 GPT-4o mini에 대한 입력의 경우, 시스템은 요청된 결과를 제공하기 위해 처리 전에 얼굴을 먼저 흐리게 합니다.

흐리게 표시는 관련된 개인 및 그룹의 개인 정보를 보호하고 제한된 사용 사례로부터 보호하는 데 도움이 됩니다. 얼굴을 흐리게 처리해도 완료된 결과물의 품질에는 영향을 미치지 않지만, 어떤 경우에는 시스템이 얼굴을 흐리게 처리하는 것을 볼 수 있습니다.

Azure OpenAI 서비스에서 컴퓨터 사용(미리 보기)

컴퓨터 사용 모델은 스크린샷을 통해 UI(그래픽 사용자 인터페이스)를 해석하고 상호 작용할 수 있는 GPT-4o의 비전 기능의 미세 조정된 버전을 기반으로 합니다. 단추, 텍스트 필드 및 메뉴와 같은 시각적 요소를 분석하여 애플리케이션 레이아웃을 이해하고, 관련 인터페이스 구성 요소를 검색하고, 그에 따라 작업을 실행할 수 있습니다. 이를 통해 웹 및 소프트웨어 상호 작용을 정확하게 자동화할 수 있으므로 실시간 시각적 컨텍스트에 따라 데이터 추출, 양식 완성 및 워크플로 실행과 같은 작업을 수행할 수 있습니다.

gpt-4o-realtime-preview Azure OpenAI 서비스의 모델은 고급 음성 변환 기능을 지원하여 실시간 음성 인식, 번역 및 합성을 제공합니다. GPT-4o를 사용하면 음성 입력을 대상 언어의 일관된 출력으로 변환하여 유동 통신을 할 수 있습니다.

Azure OpenAI 서비스는 실시간 API를 통해 다음과 같은 기능을 제공합니다.

• 음성 입력을 처리하여 음성 출력 생성
• 음성 입력을 다른 언어로 번역
• 입력 및 출력 음성 기록

이 서비스는 음성 상호 작용의 신속한 음성 음성 변환 처리를 위해 설계되었으며, 짧은 대기 시간으로 실시간 대화를 용이하게 합니다.

Azure OpenAI 서비스의 위스퍼 모델을 사용하면 음성 텍스트 변환 전사 및 오디오 파일 번역이 가능합니다. 이 모델은 인터넷에서 수집된 다국어 및 다중 작업 감독 데이터에 대해 훈련되었습니다. 이러한 크고 다양한 데이터 세트를 사용하면 악센트, 배경 노이즈 및 기술 언어와 같은 특성에 대한 견고성을 향상하는 동시에 여러 언어로 전사하고 영어로 번역할 수 있습니다.

Azure OpenAI 서비스는 다음 두 개의 REST API를 통해 이러한 기능을 제공합니다.

• 제공된 오디오 파일 기록
• 제공된 오디오 파일을 영어로 번역

이 서비스는 단일 오디오 파일을 최대한 빨리 동기적으로 처리하는 기능을 제공합니다. 오디오 압축에 따라 15~30분 미만의 오디오로 제한됩니다.

이 서비스는 비유창함을 제거하고 읽기 쉬운 대본을 제공하며, 보다 정확한 문장 경계, 문장 부호 및 대문자를 제공합니다. 프롬프트를 활용하여 시나리오에 맞게 모델 출력의 품질을 향상시킬 수도 있습니다. 자세한 내용은 시스템 정보 개선 모범 사례를 참조하세요.

4o 모델의 기능에 대한 자세한 내용은 OpenAI 4o 시스템 카드를 참조하세요.

올바른 사용법

텍스트 모델은 여러 시나리오에서 사용할 수 있습니다. 다음 목록은 포괄적이지는 않지만 적절한 완화 기능이 있는 모델에 대해 지원될 수 있는 작업의 다양성을 보여 줍니다.

• 채팅 및 대화 상호 작용 : 사용자는 내부 회사 설명서 또는 기술 지원 설명서와 같은 신뢰할 수 있는 문서에서 가져온 응답으로 응답하는 대화형 에이전트와 상호 작용할 수 있습니다. 대화는 범위가 지정된 질문에 답변하는 것으로 제한되어야 합니다.
• 채팅 및 대화 만들기 : 사용자는 내부 회사 설명서 또는 기술 지원 설명서와 같은 신뢰할 수 있는 문서에서 가져온 응답으로 응답하는 대화형 에이전트를 만들 수 있습니다. 대화는 범위가 지정된 질문에 답변하는 것으로 제한되어야 합니다.
• 코드 생성 또는 변환 시나리오 : 예를 들어 한 프로그래밍 언어를 다른 프로그래밍 언어로 변환하고, 함수에 대한 문서 문자열을 생성하고, 자연어를 SQL로 변환합니다.
• 기자 콘텐츠 : 새로운 기자 콘텐츠를 만들거나 사용자가 미리 정의 된 주제에 대한 쓰기 보조로 제출 한 기자 콘텐츠를 다시 작성하는 데 사용합니다. 사용자는 애플리케이션을 모든 항목에 대한 일반 콘텐츠 만들기 도구로 사용할 수 없습니다.
• 질문 답변 : 사용자는 내부 회사 설명서와 같은 신뢰할 수 있는 원본 문서에서 질문을 하고 답변을 받을 수 있습니다. 애플리케이션은 신뢰할 수 있는 원본 설명서에서 포그라운드되지 않은 답변을 생성하지 않습니다.
• 구조화 및 비정형 데이터에 대한 이유 : 사용자는 분류, 텍스트의 감정 분석 또는 엔터티 추출을 사용하여 입력을 분석할 수 있습니다. 예를 들어, 제품 피드백의 감정 분석, 지원 통화 및 대본에 대한 분석, 그리고 임베딩을 활용하여 텍스트 기반 검색을 구체화하는 것이 포함됩니다.
• 검색 : 사용자는 내부 회사 설명서와 같은 신뢰할 수 있는 원본 문서를 검색할 수 있습니다. 애플리케이션은 신뢰할 수 있는 원본 설명서에 표시되지 않은 결과를 생성하지 않습니다.
• 요약 : 사용자는 애플리케이션에 기본 제공되는 미리 정의된 항목에 대해 요약할 콘텐츠를 제출할 수 있으며 애플리케이션을 개방형 요약 도우미로 사용할 수 없습니다. 예를 들어 내부 회사 설명서 요약, 콜 센터 기록, 기술 보고서 및 제품 검토가 있습니다.
• 특정 항목에 대한 쓰기 지원 : 사용자는 비즈니스 콘텐츠 또는 미리 정의된 토픽에 대한 쓰기 지원으로 사용자가 제출한 새 콘텐츠를 만들거나 콘텐츠를 다시 작성할 수 있습니다. 사용자는 특정 비즈니스 목적 또는 미리 정의된 항목에 대해서만 콘텐츠를 다시 작성하거나 만들 수 있으며 모든 토픽에 대한 일반 콘텐츠 만들기 도구로 애플리케이션을 사용할 수 없습니다. 비즈니스 콘텐츠의 예로는 제안 및 보고서가 포함됩니다. 기자 사용에 대한 자세한 내용은 위의 기자 콘텐츠 사용 사례를 참조하세요.
• 미세 조정을 위한 데이터 생성: 사용자는 Azure OpenAI의 모델을 사용하여 (i) 다른 Azure OpenAI 모델을 미세 조정하는 데만 사용되는 데이터를 생성하고, (ii) Foundry 도구의 미세 조정 기능을 사용하여 다른 Azure AI 사용자 지정 모델을 사용할 수 있습니다. 데이터 생성 및 모델 미세 조정은 내부 사용자로만 제한됩니다. 미세 조정된 모델은 해당 Foundry 도구의 추론에만 사용할 수 있으며, Azure OpenAI 서비스의 경우 이 양식에 따라 고객이 허용한 사용 사례에만 사용할 수 있습니다.

미세 조정된 사용 사례

다음은 미세 조정된 모델에 권장되는 추가 사용 사례입니다. 미세 조정은 다음 작업에 가장 적합합니다.

• 원하는 응답의 예를 통해 응답의 스타일, 형식, 톤 또는 질적 측면을 조정합니다.
• 모델이 특정 형식으로 응답을 제공하거나 프롬프트의 정보에 의해 응답이 접지되도록 하는 등 원하는 출력을 안정적으로 생성하도록 합니다.
• 프롬프트 예제 내에서 다룰 수 없는 여러 특이 사례를 가진 사용 사례, 예를 들어 복잡한 자연어를 코드로 변환하는 예제와 같은 경우입니다.
• 프롬프트 내에서 설명하기 어려울 수 있는 분류, 요약 또는 서식 지정과 같은 특정 기술 또는 작업에서 성능을 향상합니다.
• 더 짧은 프롬프트를 활용하거나 보다 범용 모델(예: GPT-4의 경우 미세 조정된 GPT-3.5-Turbo)을 위해 더 작고 빠른 모델의 미세 조정된 버전을 교환하여 비용 또는 대기 시간을 줄입니다.

기본 모델과 마찬가지로 Azure OpenAI 행동 강령 에 설명된 사용 사례 금지는 미세 조정된 모델에도 적용됩니다.

도메인 외부 정보를 포함하도록 모델을 확장하려는 시나리오, 설명 가능성 또는 접지가 중요하거나 기본 데이터가 자주 업데이트되는 시나리오에서는 미세 조정만으로는 권장되지 않습니다.

추론 모델 사용 사례

추론 모델의 고급 추론 기능은 과학, 코딩, 수학 및 유사한 분야에서 추론이 많은 용도에 가장 적합할 수 있습니다. 특정 사용 사례에는 다음이 포함될 수 있습니다.

• 복잡한 코드 생성, 분석 및 최적화: 개발자가 다단계 워크플로를 실행하는 데 도움이 되는 알고리즘 생성 및 고급 코딩 작업으로 코드 개발에서 수행된 단계를 더 잘 이해할 수 있습니다.
• 고급 문제 해결: 포괄적인 브레인스토밍 세션, 전략 개발 및 다각적인 문제 분석
• 복잡한 문서 비교: 계약, 사례 파일 또는 법적 문서를 분석하여 문서 내용의 미묘한 차이를 식별합니다.
• 지침 다음 및 워크플로 관리: 더 짧은 컨텍스트가 필요한 워크플로 처리

용도에 대한 자세한 내용은 OpenAI o1 시스템 카드, o3-mini 시스템 카드, o3/o4-mini 시스템 카드 및 GPT-5 시스템 카드를 방문하세요.

심층 연구 사용 사례

심층 연구 모델은 고급 쿼리를 사용하고 구조화되고 인용이 풍부한 보고서를 반환하도록 설계된 O 시리즈 추론 모델의 미세 조정된 버전입니다. 모델은 최종 응답을 반환하기 전에 여러 반복으로 하위 쿼리를 만들고 웹 검색에서 정보를 수집합니다. 사용 사례에는 적절한 사용자 감독과 함께 다음이 포함될 수 있습니다.

• 복잡한 연구 및 문학 검토: 수백 개의 논문에 걸쳐 연구 결과를 합성하고, 연구의 격차 또는 모순을 식별하고, 새로운 가설 또는 연구 방향을 제안합니다.
• 과학적 발견 및 가설 생성: 여러 분야의 연구 결과 간의 연결을 탐색하고, 테스트 가능한 가설 또는 실험적 디자인을 생성하며, 원시 실험 데이터의 해석을 지원합니다.
• 고급 기술 문제 해결: 복잡한 시스템 디버깅(예: 분산 소프트웨어, 로봇 공학), 새로운 알고리즘 또는 아키텍처 설계, 고급 수학 또는 물리학 문제 해결
• 장기 계획 강화: 임원 또는 연구원이 10년 기술 로드맵을 계획하고, AI 안전, 생물 보안 또는 기후에서 장거리 시나리오를 모델링하고, 의사 결정의 2차 및 3차 효과를 평가할 수 있도록 지원합니다.

심층 연구 모델은 Azure AI 에이전트 서비스에서 도구로 사용할 수 있습니다. 의도한 용도에 대한 자세한 내용은 OpenAI Deep Research 시스템 카드를 참조하세요.

Azure OpenAI 평가 사용 사례

Azure OpenAI 평가는 텍스트 전용 기능이며 텍스트가 아닌 입력을 지원하는 모델에서는 사용할 수 없습니다. 다음을 포함하지만 제한되지 않는 여러 시나리오에서 Evals를 사용할 수 있습니다.

• 텍스트 일치/비교 평가: 사용자가 출력이 예상 문자열과 일치하는지 확인하려는 시나리오에 유용합니다. 또한 사용자는 두 값 집합을 비교하고 관계를 채점할 수 있습니다. 예를 들어 답변이 답변 키와 비교되는 객관식 질문과 문자열 유효성 검사를 포함하지만 이에 국한되지 않습니다.
• 텍스트 품질: 텍스트 품질은 Bleu, Rouge 또는 코사인 알고리즘과 같은 메서드를 사용하여 응답 품질을 평가하며 기계 번역, 텍스트 요약 및 텍스트 생성과 같은 다양한 자연어 처리 작업에 널리 사용됩니다.
• 분류 기반 평가: 분류 기반 평가는 미리 정의된 범주 또는 레이블에 응답을 할당하거나 모델의 출력을 올바른 답변의 참조 집합과 비교하여 모델의 성능을 평가합니다. 자동화된 채점, 감정 분석 및 제품 분류는 몇 가지 일반적인 사용 사례 중 하나입니다.
• 대화형 품질 평가: 대화형 품질 평가에는 CoT(자세한 생각 체인) 프롬프트를 사용하여 미리 정의된 기준과 응답을 비교하는 작업이 포함됩니다. 일반적인 사용 사례로는 고객 지원, 챗봇 개발 및 교육 평가 등이 있습니다.
• 조건 기반 평가: 조건 기반 평가에 대한 일반적인 시나리오 중 하나는 사실입니다. 사실 정확도를 평가하려면 제출된 답변을 전문가 답변과 비교하여 사실 콘텐츠에만 집중해야 합니다. 이는 교육 도구에서 LLM에서 제공하는 답변의 정확도를 향상시키거나 연구 지원 도구에서 학문 설정에서 LLM에 의해 생성된 응답의 사실 정확도를 평가하는 데 유용할 수 있습니다.
• 문자열 유효성 평가: 한 가지 일반적인 시나리오는 모델의 응답이 특정 스키마를 따르는지 유효한 JSON 또는 XML 콘텐츠인지 확인하는 것입니다.

컴퓨터 사용(미리 보기) 사용 사례

컴퓨터 사용 기능은 UI와 자율적으로 상호 작용할 수 있는 에이전트 AI 시스템을 개발하는 데 가장 적합합니다. 특정 사용 사례에는 다음이 포함될 수 있습니다.

• 자동화된 웹 탐색 및 상호 작용: 웹 기반 인터페이스의 탐색을 자율적으로 탐색하여 내부 회사 리소스 또는 구조화된 데이터베이스와 같은 신뢰할 수 있는 원본에서 정보를 검색하고 표시합니다. 모델은 미리 정의된 탐색 규칙을 따라 보안 정책을 준수하면서 관련 데이터를 추출합니다.

• Web-Based 작업 자동화: 양식 작성, 데이터 제출 또는 웹 애플리케이션 조작과 같은 반복적인 웹 기반 작업을 자동화합니다. 컴퓨터 사용은 단추를 클릭하고, 텍스트를 입력하고, 구조화된 데이터를 처리할 수 있지만 권한 있는 워크플로 및 도메인 내에서만 작동합니다.

• 구조적 데이터 추출 및 비정형 데이터 추출: 테이블 및 스프레드시트와 같은 구조화된 원본과 PDF, 스캔된 문서 또는 전자 메일과 같은 구조화되지 않은 원본에서 관련 데이터를 추출합니다. 이 기능은 재무 데이터 처리, 계약 분석 또는 고객 지원 티켓 분류와 같은 작업에 유용합니다.

• 자동화된 양식 채우기 및 데이터 항목: 구조화된 데이터베이스 또는 사용자 입력에서 정보를 추출하고 이를 사용하여 웹 기반 양식을 채웁니다. 이는 데이터 처리의 정확성과 일관성을 보장하면서 고객 서비스 요청, HR 프로세스 또는 CRM 업데이트를 자동화하는 데 유용합니다.

• Web-Based 이미지 분석: 웹 페이지에서 찾은 이미지를 분석하여 개체, 장면 또는 관련 패턴을 검색하고 태그를 지정합니다. 컴퓨터 사용은 인벤토리 관리, 문서 처리 또는 개체 분류와 같은 애플리케이션을 지원하기 위해 시각적 정보를 추출할 수 있습니다.

• 대화형 시각적 검색 및 식별: 사용자가 구조화된 검색을 통해 관련 시각적 콘텐츠를 찾을 수 있도록 지원합니다. 예를 들어 컴퓨터 사용은 전자 상거래 카탈로그에서 제품을 식별하거나, 여행 애플리케이션에서 랜드마크를 인식하거나, 미리 정의된 기준에 따라 디지털 아카이브에서 특정 이미지를 검색할 수 있습니다.

• 자동화된 준수 및 정책 검사: 미리 정의된 규정 준수 규칙을 준수하기 위해 업로드된 파일, 계약 또는 내부 설명서와 같은 웹 기반 콘텐츠를 검사합니다. 컴퓨터 사용은 누락된 정보, 불일치 또는 잠재적 위반에 플래그를 지정하여 조직 내에서 규제 표준을 적용하는 데 도움이 될 수 있습니다.

• 비즈니스 애플리케이션에 대한 자동화된 워크플로 실행: 보고서 생성, 레코드 업데이트 또는 분석 검색과 같은 엔터프라이즈 애플리케이션 탐색을 위한 다단계 워크플로 정의 컴퓨터 사용은 비즈니스 도구 내에서 미리 정의된 단계를 따르고 보안 실행을 보장하기 위해 액세스 제어 정책을 준수합니다.

사용 사례 선택 시 고려 사항

고객은 제한된 액세스 등록 양식에서 승인된 혁신적인 솔루션 또는 애플리케이션에서 Azure OpenAI GPT-4, o 시리즈, GPT-3, Codex 및 Computer Use 모델을 사용하는 것이 좋습니다. 하지만 사용 사례를 선택할 때 다음과 같은 몇 가지 고려 사항이 있습니다.

• 비제한 오픈 엔드 콘텐츠 생성에는 적합하지 않습니다. 사용자가 모든 토픽에서 콘텐츠를 생성할 수 있는 시나리오는 불쾌하거나 유해한 텍스트를 생성할 가능성이 높습니다. 더 긴 세대도 마찬가지입니다.
• 사용자 검토자가 있거나 모델을 사용하여 사용자 고유의 문서를 검색하고 시나리오에 적합한지 확인하지 않는 한 up-to-date, 실제로 정확한 정보가 중요한 시나리오에는 적합하지 않습니다. 서비스에는 학습 날짜 이후에 발생하는 이벤트에 대한 정보가 없으며 일부 항목에 대한 지식이 누락되었을 수 있으며 항상 정확한 정보를 생성하지 못할 수 있습니다.
• 시스템의 사용 또는 오용으로 인해 개인에게 심각한 신체적 또는 심리적 상해가 발생할 수 있는 시나리오를 방지합니다. 예를 들어, 환자를 진단하거나 약을 처방하는 시나리오는 심각한 피해를 초래할 가능성이 있습니다. 의미 있는 사용자 검토 및 감독을 시나리오에 통합하면 유해한 결과의 위험을 줄이는 데 도움이 될 수 있습니다.
• 시스템의 사용 또는 오용이 삶의 기회 또는 법적 상태에 영향을 미칠 수 있는 시나리오를 방지합니다. AI 시스템이 개인의 법적 지위, 법적 권리 또는 크레딧, 교육, 고용, 의료, 주택, 보험, 사회 복지 이점, 서비스, 기회 또는 제공 사용 약관에 대한 접근성에 영향을 미칠 수 있는 시나리오를 예로 들 수 있습니다. 의미 있는 사용자 검토 및 감독을 시나리오에 통합하면 유해한 결과의 위험을 줄이는 데 도움이 될 수 있습니다.
• 위험성이 높은 상황을 피하십시오. Azure OpenAI 서비스에서 호스트하는 모델은 학습 데이터 또는 프롬프트에 제공된 예제에 있는 특정 사회 보기, 바이어스 및 기타 바람직하지 않은 콘텐츠를 반영합니다. 따라서 불공정하거나 신뢰할 수 없거나 공격적인 동작이 매우 비용이 많이 들거나 해를 입힐 수 있는 고액 시나리오에서 모델을 사용하지 않도록 주의합니다. 의미 있는 사용자 검토 및 감독을 시나리오에 통합하면 유해한 결과의 위험을 줄이는 데 도움이 될 수 있습니다.
• 높은 지분 도메인 또는 업계에서 사용 사례를 신중하게 고려합니다 . 예를 들면 의료, 의학, 금융 또는 법률이 포함되나 제한되지 않습니다.
• 범위가 잘 지정된 챗봇 시나리오를 신중하게 고려합니다. 챗봇에서 서비스를 좁은 도메인으로 제한하면 의도하지 않거나 바람직하지 않은 응답을 생성할 위험이 줄어듭니다.
• 모든 생성 사용 사례를 신중하게 고려합니다. 콘텐츠 생성 시나리오는 의도하지 않은 출력을 생성할 가능성이 더 높으며 이러한 시나리오에서는 신중하게 고려하고 완화해야 합니다.
• 법률 및 규제 고려 사항: 조직은 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 Foundry 도구 및 솔루션을 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 또한 Foundry 도구 또는 솔루션은 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용할 수 없습니다.

컴퓨터 사용에 대한 사용 사례를 선택할 때 사용자는 위에 나열된 고려 사항 외에도 다음 고려 사항을 고려해야 합니다.

• 작업이 돌이킬 수 없거나 매우 결과적인 시나리오를 방지합니다. 여기에는 전자 메일을 보내는 기능(예: 잘못된 받는 사람에게)을 보내는 기능, 사용자에게 중요한 파일을 수정 또는 삭제하는 기능, 재무 트랜잭션을 만들거나 외부 서비스와 직접 상호 작용하는 기능, 중요한 정보를 공개적으로 공유, 중요한 시스템에 대한 액세스 권한 부여 등이 포함됩니다. 또는 시스템 기능 또는 보안을 변경할 수 있는 명령을 실행합니다.
• 고급 사용 시 성능 저하: 컴퓨터 사용은 웹 사이트 및 컴퓨터 데스크톱 액세스와 같은 UI로 작업을 완료하는 사용 사례에 가장 적합합니다. 코드 편집, 광범위한 텍스트 작성, 복잡한 의사 결정과 같은 고급 작업을 잘 수행하지 못할 수 있습니다.
• 적절한 인간의 감독과 제어를 보장합니다. 사용자가 적시에 작업을 확인, 검토 및/또는 승인하는 데 도움이 되는 컨트롤을 포함하는 것이 좋습니다. 여기에는 계획된 작업 또는 외부 데이터 원본에 대한 호출(예: 시스템에 적합한 경우)을 검토하는 작업이 포함될 수 있습니다. 특히 위험 수준이 높은 시나리오 및 사용 사례에서 시스템 오류에 대한 적절한 사용자 수정을 위한 컨트롤을 포함하는 것이 좋습니다.
• 작업 및 관련 요구 사항을 명확하게 정의합니다. 허용되는 작업(작업 경계), 금지 또는 명시적 권한 부여가 필요한 작업을 명확하게 정의하면 컴퓨터 사용이 예상대로 적절한 수준의 사용자 감독으로 작동하는 데 도움이 될 수 있습니다.
• 의도한 운영 환경을 명확하게 정의합니다. 컴퓨터 사용이 효과적으로 수행되도록 설계된 의도된 운영 환경(도메인 경계)을 명확하게 정의합니다.
• 의사 결정에서 적절한 이해력을 보장합니다. 조치를 취하기 전, 도중 및 후에 사용자에게 정보를 제공하면 작업 근거 또는 특정 작업이 수행된 이유 또는 애플리케이션이 특정 방식으로 동작하는 이유, 개입할 위치 및 문제 해결 방법을 이해하는 데 도움이 될 수 있습니다.
• 자세한 내용은 생성 AI에 적절하게 의존하는 방법 가이드를 참조하세요.

심층 연구를 위한 사용 사례를 선택할 때 사용자는 위에 나열된 고려 사항 외에도 다음 고려 사항을 고려해야 합니다.

• 적절한 사용자 감독 및 제어 보장: 사용자가 심층 연구 보고서를 검토하고 인용된 원본 및 콘텐츠의 유효성을 검사하는 데 도움이 되는 메커니즘을 제공합니다.
• 저작권이 있는 콘텐츠에 대한 인용 확인: 심층 연구 도구는 응답을 준비할 때 웹 검색을 수행하며 저작권이 있는 자료를 인용할 수 있습니다. 보고서에 포함된 원본 인용을 확인하고 저작권이 있는 자료를 적절하게 사용하고 특성을 지정하는지 확인합니다.

의도한 사용 사례

Azure OpenAI의 DALL·E 및 GPT-image-1

Azure OpenAI 서비스의 DALL·E 및 GPT-image-1 API는 다양한 이미지 생성 시나리오에서 사용할 수 있습니다. 다음 목록은 포괄적이지는 않지만 적절한 완화를 통해 지원될 수 있는 작업의 다양성을 보여 줍니다.

• 접근성 기능: 이미지 기반 시각적 설명을 생성하는 데 사용합니다.
• 예술 및 디자인: 디자인, 예술적 영감, 무드 보드 또는 디자인 레이아웃에 대해서만 이미지를 생성하는 데 사용합니다.
• 통신: 비즈니스 관련 커뮤니케이션, 설명서, 에세이, 뉴스레터, 블로그 게시물, 소셜 미디어 또는 메모에 대한 이미지를 만드는 데 사용합니다.
• 교육: 교육 기관에서 사용하거나 전문 교육을 위해 향상된 또는 대화형 학습 자료에 대한 이미지를 만드는 데 사용합니다.
• 오락: 이미지를 만들어 비디오 게임, 영화, TV, 비디오, 녹음된 음악, 팟캐스트, 오디오북 또는 증강 또는 가상 현실과 같은 엔터테인먼트 콘텐츠를 향상시킬 수 있습니다.
• 기자 콘텐츠: 기자 콘텐츠를 향상시키기 위해 이미지를 만드는 데 사용합니다.
• 마케팅: 제품 또는 서비스 미디어, 제품 지침, 비즈니스 홍보 또는 광고에 대한 마케팅 자료를 만드는 데 사용합니다. 개인 설정 또는 개인을 대상으로 하는 광고를 만드는 데 사용하면 안 됩니다.
• 프로토타입 생성 및 개념 개발: 제품 또는 서비스의 아이디어 또는 시각화를 위한 이미지를 생성하는 데 사용합니다. 이 사용은 위의 시나리오 컨텍스트에서만 적용됩니다.

Azure OpenAI의 GPT-4 Turbo with Vision 및 GPT-4o

• 채팅 및 대화 상호 작용: 사용자는 내부 회사 설명서 또는 기술 지원 설명서와 같은 신뢰할 수 있는 설명서에서 가져온 정보로 응답하는 대화형 에이전트와 상호 작용할 수 있습니다. 대화는 범위가 지정된 질문에 답변하는 것으로 제한되어야 합니다.
• 챗봇 및 대화형 에이전트 만들기: 사용자는 내부 회사 설명서 또는 기술 지원 문서와 같은 신뢰할 수 있는 문서에서 가져온 정보로 응답하는 대화형 에이전트를 만들 수 있습니다. 예를 들어 기술 설명서의 다이어그램, 차트 및 기타 관련 이미지는 이해를 높이고 보다 정확한 응답을 제공할 수 있습니다. 대화는 범위가 지정된 질문에 답변하는 것으로 제한되어야 합니다.
• 코드 생성 또는 변환 시나리오: 한 프로그래밍 언어를 다른 언어로 변환하거나 사용자가 자연어 또는 시각적 입력을 사용하여 코드를 생성할 수 있도록 합니다. 예를 들어 사용자는 코딩 개념을 보여 주는 필기 의사 코드 또는 다이어그램의 사진을 찍고 애플리케이션을 사용하여 해당 자료를 기반으로 코드를 생성할 수 있습니다.
• 구조화 및 비정형 데이터에 대한 이유: 사용자는 분류, 텍스트의 감정 분석 또는 엔터티 추출을 사용하여 입력을 분석할 수 있습니다. 사용자는 분석을 위해 텍스트 쿼리와 함께 이미지를 제공할 수 있습니다.
• 요약: 사용자는 애플리케이션에 기본 제공되는 미리 정의된 항목에 대해 요약할 콘텐츠를 제출할 수 있으며 애플리케이션을 개방형 요약 도우미로 사용할 수 없습니다. 예를 들어 내부 회사 설명서 요약, 콜 센터 기록, 기술 보고서 및 제품 검토가 있습니다.
• 특정 항목에 대한 쓰기 지원: 사용자는 비즈니스 콘텐츠 또는 미리 정의된 항목에 대한 쓰기 지원으로 사용자가 제출한 새 콘텐츠를 만들거나 콘텐츠를 다시 작성할 수 있습니다. 사용자는 특정 비즈니스 목적 또는 미리 정의된 항목에 대해서만 콘텐츠를 다시 작성하거나 만들 수 있으며 모든 토픽에 대한 일반 콘텐츠 만들기 도구로 애플리케이션을 사용할 수 없습니다. 비즈니스 콘텐츠의 예로는 제안 및 보고서가 포함됩니다.
• 이미지 태그 지정: 사용자는 이미지 내의 개체, 살아있는 존재, 풍경 및 작업을 비롯한 시각적 요소를 감지하고 태그를 지정할 수 있습니다. 이 서비스는 의도된 것이 아니며 개인을 식별하거나 개별 ID를 확인하는 데 사용할 수 없습니다.
• 이미지 캡션: 사용자는 시각적 개체에 대한 설명이 포함된 자연어 캡션을 생성할 수 있습니다. 애플리케이션은 간단한 설명 외에도 사진 내의 특정 주제 또는 랜드마크에 대한 텍스트 인사이트를 식별하고 제공할 수 있습니다. 에펠탑의 이미지를 보여주는 경우, 시스템은 간결한 설명을 제공하거나 기념비에 대한 흥미로운 사실을 강조 할 수 있습니다. 개별 ID를 식별하거나 확인하는 데 서비스를 사용할 수 없습니다.
• 개체 감지: 특정 좌표를 제공하여 이미지에서 개별 또는 여러 개체의 위치를 식별하는 데 사용합니다. 예를 들어 사과가 흩어져 있는 이미지에서 애플리케이션은 각 사과의 위치를 식별하고 나타낼 수 있습니다. 이 애플리케이션을 통해 사용자는 이미지에 캡처된 개체에 대한 공간 인사이트를 얻을 수 있습니다. 개별 ID를 식별하거나 확인하는 데 서비스를 사용할 수 없습니다.
• 시각적 질문 답변: 사용자는 이미지에 대해 질문하고 상황에 맞는 응답을 받을 수 있습니다. 예를 들어, 새의 사진을 표시할 때 사용자는 "이 새의 종류는 무엇입니까?"라고 묻고 "유럽 로빈입니다"와 같은 응답을 받을 수 있습니다. 애플리케이션은 이미지 내에서 컨텍스트를 식별하고 해석하여 쿼리에 응답할 수 있습니다. 예를 들어, 붐비는 마켓플레이스의 이미지와 함께 제공되는 경우 사용자는 "얼마나 많은 사람들이 모자를 쓰고 있습니까?" 또는 "공급업체가 판매하는 과일은 무엇인가?"라고 물어볼 수 있으며 애플리케이션에서 답변을 제공할 수 있습니다. 시스템은 사람에 대한 식별 질문에 대답하는 데 사용해서는 안됩니다.
• 브랜드 및 랜드마크 인식: 이 애플리케이션을 사용하여 수천 개의 글로벌 로고와 랜드마크가 미리 설정된 데이터베이스의 이미지 또는 비디오에서 상업용 브랜드와 인기 있는 랜드마크를 식별할 수 있습니다.

컴퓨터 사용(미리 보기) 사용 사례

컴퓨터 사용 기능은 UI와 자율적으로 상호 작용할 수 있는 에이전트 AI 시스템을 개발하는 데 가장 적합합니다. 특정 사용 사례에는 다음이 포함될 수 있습니다.

• 자동화된 웹 탐색 및 상호 작용: 웹 기반 인터페이스의 탐색을 자율적으로 탐색하여 내부 회사 리소스 또는 구조화된 데이터베이스와 같은 신뢰할 수 있는 원본에서 정보를 검색하고 표시합니다. 모델은 미리 정의된 탐색 규칙을 따라 보안 정책을 준수하면서 관련 데이터를 추출합니다.

• Web-Based 작업 자동화: 양식 작성, 데이터 제출 또는 웹 애플리케이션 조작과 같은 반복적인 웹 기반 작업을 자동화합니다. 컴퓨터 사용은 단추를 클릭하고, 텍스트를 입력하고, 구조화된 데이터를 처리할 수 있지만 권한 있는 워크플로 및 도메인 내에서만 작동합니다.

• 구조적 데이터 추출 및 비정형 데이터 추출: 테이블 및 스프레드시트와 같은 구조화된 원본과 PDF, 스캔된 문서 또는 전자 메일과 같은 구조화되지 않은 원본에서 관련 데이터를 추출합니다. 이 기능은 재무 데이터 처리, 계약 분석 또는 고객 지원 티켓 분류와 같은 작업에 유용합니다.

• 자동화된 양식 채우기 및 데이터 항목: 구조화된 데이터베이스 또는 사용자 입력에서 정보를 추출하고 이를 사용하여 웹 기반 양식을 채웁니다. 이는 데이터 처리의 정확성과 일관성을 보장하면서 고객 서비스 요청, HR 프로세스 또는 CRM 업데이트를 자동화하는 데 유용합니다.

• Web-Based 이미지 분석: 웹 페이지에서 찾은 이미지를 분석하여 개체, 장면 또는 관련 패턴을 검색하고 태그를 지정합니다. 컴퓨터 사용은 인벤토리 관리, 문서 처리 또는 개체 분류와 같은 애플리케이션을 지원하기 위해 시각적 정보를 추출할 수 있습니다.

• 대화형 시각적 검색 및 식별: 사용자가 구조화된 검색을 통해 관련 시각적 콘텐츠를 찾을 수 있도록 지원합니다. 예를 들어 컴퓨터 사용은 전자 상거래 카탈로그에서 제품을 식별하거나, 여행 애플리케이션에서 랜드마크를 인식하거나, 미리 정의된 기준에 따라 디지털 아카이브에서 특정 이미지를 검색할 수 있습니다.

• 자동화된 준수 및 정책 검사: 미리 정의된 규정 준수 규칙을 준수하기 위해 업로드된 파일, 계약 또는 내부 설명서와 같은 웹 기반 콘텐츠를 검사합니다. 컴퓨터 사용은 누락된 정보, 불일치 또는 잠재적 위반에 플래그를 지정하여 조직 내에서 규제 표준을 적용하는 데 도움이 될 수 있습니다.

• 비즈니스 애플리케이션에 대한 자동화된 워크플로 실행: 보고서 생성, 레코드 업데이트 또는 분석 검색과 같은 엔터프라이즈 애플리케이션 탐색을 위한 다단계 워크플로 정의 컴퓨터 사용은 비즈니스 도구 내에서 미리 정의된 단계를 따르고 보안 실행을 보장하기 위해 액세스 제어 정책을 준수합니다.

사용 사례 선택 시 고려 사항

고객께서는 Azure OpenAI DALL·E 2, DALL·E 3, GPT-4 Turbo with Vision, GPT-4o 및 Computer Use 모델을 제한된 액세스 등록 양식에서 승인된 혁신적인 솔루션이나 애플리케이션에 사용하는 것을 권장합니다. 하지만 사용 사례를 선택할 때 다음과 같은 몇 가지 고려 사항이 있습니다.

• 추적 또는 얼굴 인식, 식별 또는 확인 용도로는 사용하지 마세요. 예를 들어 개인을 감시하기 위해 모델을 사용하고 모델을 사용하여 두 개의 별도 위치에 있는 두 명의 개인이 동일한 사람인지 확인하는 것이 포함됩니다.
• 사용자 검토자가 있거나 모델을 사용하여 사용자 고유의 문서를 검색하고 시나리오에 적합한지 확인하지 않는 한 up-to-date, 실제로 정확한 정보가 중요한 시나리오에는 적합하지 않습니다. 서비스에는 학습 날짜 이후에 발생하는 이벤트에 대한 정보가 없으며 일부 항목에 대한 지식이 누락되었을 수 있으며 항상 정확한 정보를 생성하지 않을 수 있습니다.
• 시스템의 사용 또는 오용이 삶의 기회 또는 법적 상태에 영향을 미칠 수 있는 시나리오를 방지합니다. 예를 들어 AI 시스템이 개인의 법적 지위, 법적 권리 또는 신용, 교육, 고용, 의료, 주택, 보험, 사회복지 혜택, 서비스, 기회 또는 이러한 권리와 서비스를 사용할 수 있는 조건에 대한 액세스에 영향을 줄 수 있는 시나리오가 있습니다.
• 피해를 입을 수 있는 위험한 상황은 방지합니다. Azure OpenAI 서비스에서 호스트하는 모델은 학습 데이터 또는 프롬프트에 제공된 예제에 있는 특정 사회 보기, 바이어스 및 기타 바람직하지 않은 콘텐츠를 반영할 수 있습니다. 결과적으로 불공정하거나 신뢰할 수 없거나 공격적인 동작이 매우 비용이 많이 들거나 해를 입힐 수 있는 고액 시나리오에서 모델을 사용하지 않도록 주의합니다.
• 시스템의 사용 또는 오용이 중요한 주제나 사람에 대한 거짓 설명을 퍼뜨리면 되는 시나리오를 방지합니다. 예를 들어 심층 합성 미디어의 생성 및 배포, 매우 민감한 사건에 대한 잘못된 정보, 거짓 이야기를 반영하는 상황에서 실제 사람들의 사진 이미지 생성 등이 있습니다.
• 비제한 개방형 콘텐츠 생성이 허용되는 시나리오를 신중하게 고려합니다. 사용자가 모든 토픽에서 콘텐츠를 생성할 수 있는 시나리오는 공격적이거나 유해하거나 오해의 소지가 있는 콘텐츠를 생성할 가능성이 높습니다.
• 게시된 작품을 사용하여 알려진 아티스트의 스타일로 미디어를 생성하는 시나리오를 신중하게 고려합니다. 예를 들어 사용자가 원본 아트에서 IP(지적 재산권) 권한을 유지하는 예술가의 스타일로 생성된 콘텐츠를 배포하는 시나리오가 있을 수 있습니다. 이러한 경우는 예술가의 기회에 법적 결과 또는 결과적 영향을 미칠 수 있습니다. 아티스트가 제품 또는 서비스에서 자신의 이름과 연결된 이미지 생성을 제한하는 프로세스를 만드는 것이 좋습니다.
• 실제 사용자가 포함된 이미지를 생성하는 시나리오를 신중하게 고려합니다. 실제 사람들의 이미지를 포함하는 콘텐츠는 삶의 기회 나 법적 지위뿐만 아니라 대중의 인식과 신뢰에 부정적인 영향을 미치는 방식으로 오용 될 수 있습니다. 실제 사람, 살아 있거나 죽은 사람 또는 유사한 유사성의 이미지를 생성할 때 주의해야 합니다.
• 높은 지분 도메인 또는 업계의 모든 사용 사례를 신중하게 고려합니다. 예를 들면 의료, 교육, 재무 및 법률이 포함되나 제한되지 않습니다.
• 법률 및 규제 고려 사항: 조직은 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 Foundry 도구 및 솔루션을 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 또한 Foundry 도구 또는 솔루션은 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용할 수 없습니다.

컴퓨터 사용에 대한 사용 사례를 선택할 때 사용자는 위에 나열된 고려 사항 외에도 다음 고려 사항을 고려해야 합니다.

• 작업이 돌이킬 수 없거나 매우 결과적인 시나리오를 방지합니다. 여기에는 전자 메일을 보내는 기능(예: 잘못된 받는 사람에게)을 보내는 기능, 사용자에게 중요한 파일을 수정 또는 삭제하는 기능, 재무 트랜잭션을 만들거나 외부 서비스와 직접 상호 작용하는 기능, 중요한 정보를 공개적으로 공유, 중요한 시스템에 대한 액세스 권한 부여 등이 포함됩니다. 또는 시스템 기능 또는 보안을 변경할 수 있는 명령을 실행합니다.

• 고급 사용 시 성능 저하: 컴퓨터 사용은 웹 사이트 및 컴퓨터 데스크톱 액세스와 같은 UI로 작업을 완료하는 사용 사례에 가장 적합합니다. 코드 편집, 광범위한 텍스트 작성, 복잡한 의사 결정과 같은 고급 작업을 잘 수행하지 못할 수 있습니다.

• 적절한 인간의 감독과 제어를 보장합니다. 사용자가 적시에 작업을 확인, 검토 및/또는 승인하는 데 도움이 되는 컨트롤을 포함하는 것이 좋습니다. 여기에는 계획된 작업 또는 외부 데이터 원본에 대한 호출(예: 시스템에 적합한 경우)을 검토하는 작업이 포함될 수 있습니다. 특히 위험 수준이 높은 시나리오 및 사용 사례에서 시스템 오류에 대한 적절한 사용자 수정을 위한 컨트롤을 포함하는 것이 좋습니다.

• 작업 및 관련 요구 사항을 명확하게 정의합니다. 허용되는 작업(작업 경계), 금지 또는 명시적 권한 부여가 필요한 작업을 명확하게 정의하면 컴퓨터 사용이 예상대로 적절한 수준의 사용자 감독으로 작동하는 데 도움이 될 수 있습니다.

• 의도한 운영 환경을 명확하게 정의합니다. 컴퓨터 사용이 효과적으로 수행되도록 설계된 의도된 운영 환경(도메인 경계)을 명확하게 정의합니다.

• 의사 결정에서 적절한 이해력을 보장합니다. 조치를 취하기 전, 도중 및 후에 사용자에게 정보를 제공하면 작업 근거 또는 특정 작업이 수행된 이유 또는 애플리케이션이 특정 방식으로 동작하는 이유, 개입할 위치 및 문제 해결 방법을 이해하는 데 도움이 될 수 있습니다.

올바른 사용법

이 gpt-4o-realtime-preview 모델은 기존 GPT 모델과 비슷한 방식으로 다양한 자연어 처리 작업에 사용할 수 있습니다. 그러나 이 모델은 특히 음성 및 오디오 사용 사례를 대상으로 합니다. 이 모델에서 지원하는 작업의 예는 다음과 같습니다.

• 음성 채팅 만들기 및 상호 작용: 사용자는 음성 기능으로 응답하는 대화형 에이전트를 사용하여 음성 채팅을 만들고 음성 채팅할 수 있습니다.
• 언어 번역: 사용자는 대화 중에 실시간으로 언어 간에 번역할 수 있습니다. 실시간 입력 및 출력 오디오 전사를 통해 자막을 지원할 수 있습니다. 언어 지원 가능성은 기존 gpt-4o 모델 버전과 일치합니다.
• 질문 답변: 사용자는 서면 및/또는 음성 질문을 하고 모델에서 음성 답변을 받을 수 있습니다.
• 콘텐츠 생성: 사용자는 사용자 정의 입력에서 새 오디오 콘텐츠를 만들 수 있습니다. 모델은 저작권 보호 자료의 생성과 음성 모방을 확인하고 방지합니다.

4o 모델의 기능에 대한 자세한 내용은 OpenAI 4o 시스템 카드를 참조하세요.

Azure OpenAI 서비스의 위스퍼 모델은 다양한 음성 인식 및 음성 번역 작업에 사용할 수 있습니다. 다음 목록은 포괄적이지는 않지만 적절한 완화를 통해 지원될 수 있는 작업의 다양성을 보여 줍니다.

• 받아쓰기: 사용자는 음성 단어를 오디오 파일 형식으로 텍스트로 기록할 수 있습니다. 예를 들어 사용자는 이 서비스를 사용하여 콜 센터 녹음/녹화를 보고서로 기록할 수 있습니다.
• 캡션 또는 전사: 사용자는 자연어 이해 또는 요약 및 감정 분석과 같은 분석 작업을 위해 오디오 파일을 텍스트로 전사할 수 있습니다. 예를 들어 음성을 대화 시스템에 입력으로 입력하거나, 오디오 콘텐츠에 더 쉽게 액세스할 수 있도록 하거나, 분석할 텍스트 번역을 만드는 것이 있습니다.
• 번역: 사용자는 다국어 오디오 파일을 영어로 번역할 수 있습니다. 다국어 시나리오에서 특히 매력적일 수 있습니다.

사용 사례 선택 시 고려 사항

고객이 혁신적인 솔루션 또는 애플리케이션에서 Azure OpenAI 서비스의 gpt-4o-realtime-preview 및 위스퍼 모델을 사용하도록 권장합니다. 사용 사례를 선택할 때 몇 가지 고려 사항은 다음과 같습니다.

• 시스템의 사용 또는 오용이 삶의 기회 또는 법적 지위에 영향을 미칠 수 있는 시나리오를 방지합니다. 예를 들어 AI 시스템이 개인의 법적 지위, 법적 권리 또는 신용, 교육, 고용, 의료, 주거, 보험, 사회복지 혜택, 서비스, 기회 또는 이러한 항목을 사용할 수 있는 조건에 대한 액세스에 영향을 줄 수 있는 시나리오가 있습니다.
• 높은 지분 도메인 또는 산업의 모든 사용 사례를 신중하게 고려합니다. 예를 들면 의료, 교육, 재무 및 법률이 포함되나 제한되지 않습니다.
• Azure Speech Service의 위스퍼: OpenAI Whisper 모델은 Azure Speech Services 내에서도 사용할 수 있으며, 다국어 인식 및 가독성과 같은 고급 기능을 사용하여 환경을 향상합니다. 시나리오에 따라 Azure Speech Services 및 서비스 추가 기능(예: 다이어리화, 사용자 지정 또는 요청당 여러 오디오 파일 처리)을 탐색할 수 있습니다.
• 법률 및 규제 고려 사항: 조직은 모든 산업 또는 시나리오에서 사용하기에 적합하지 않을 수 있는 Foundry 도구 및 솔루션을 사용할 때 잠재적인 특정 법률 및 규제 의무를 평가해야 합니다. 또한 Foundry 도구 또는 솔루션은 해당 서비스 약관 및 관련 행동 강령에서 금지된 방식으로 설계되지 않았으며 사용할 수 없습니다.

• 프롬프트를 설계할 때 보여주고 설명하기. 자연어 모델 및 음성 모델을 사용하면 지침, 예제 또는 둘의 조합을 통해 어떤 종류의 출력이 예상되는지 모델에 명확하게 알 수 있습니다. 모델에서 항목 목록의 순위를 사전순으로 지정하거나 감정별로 단락을 분류하려면 원하는 모델을 표시합니다.
• 귀하의 애플리케이션을 주제에 맞추세요. 사용자가 이 용도로 사용하려고 하더라도 원치 않는 콘텐츠를 생성할 가능성을 줄이기 위해 프롬프트 및 이미지 입력을 신중하게 구조화합니다. 예를 들어, 당신의 프롬프트에서 챗봇이 수학에 대한 대화에만 참여하고, 그렇지 않으면 "죄송합니다."라고 응답한다고 표시할 수 있습니다. 대답할 수 없을까 봐 두렵다"고 말했다. 프롬프트에 "예의"와 같은 형용사 및 원하는 음색의 예제를 추가하면 출력을 조정하는 데 도움이 될 수 있습니다.
• 품질 데이터를 제공합니다. 텍스트 및 코드 모델을 사용하여 분류자를 빌드하거나 패턴을 따르도록 모델을 가져오려는 경우 충분한 예제가 있는지 확인합니다. 예제를 교정해야 합니다. 모델은 일반적으로 기본 맞춤법 오류를 처리하고 응답을 제공할 수 있지만 오류가 응답에 영향을 줄 수 있는 의도적인 오류라고 가정할 수도 있습니다. 품질 데이터 제공에는 채팅 및 질문 답변 시스템에서 응답을 그릴 수 있는 신뢰할 수 있는 데이터 모델 제공도 포함됩니다.
• 신뢰할 수 있는 데이터를 제공합니다. 신뢰할 수 없는 데이터를 시스템에 검색하거나 업로드하면 시스템 또는 애플리케이션의 보안이 손상될 수 있습니다. 어시스턴트 API를 사용하는 애플리케이션을 포함하여 해당 애플리케이션에서 이러한 위험을 완화하려면 잠재적인 프롬프트 주입을 감지하고 분석하기 위해 LLM 상호 작용(입력/출력)을 로깅 및 모니터링하고, 사용자 입력을 명확하게 구분하여 프롬프트 주입 위험을 최소화하고, 중요한 리소스에 대한 LLM의 액세스를 제한하고, 해당 기능을 필요한 최소로 제한하고, 중요한 시스템 및 리소스에서 격리하는 것이 좋습니다. 대규모 언어 모델에 대한 보안 지침의 추가 완화 방법에 대해 알아보기 | Microsoft Learn.
• 응답의 정확도 또는 접지성을 향상하도록 매개 변수를 구성합니다. Azure OpenAI "데이터" 기능을 사용하는 등 신뢰할 수 있는 원본에서 검색된 데이터로 프롬프트를 보강하면 부정확한 응답 또는 거짓 정보를 생성할 가능성을 줄일 수 있지만 완전히 제거할 수는 없습니다. 응답의 정확도를 높이기 위해 수행할 수 있는 단계에는 신뢰할 수 있는 관련 데이터 원본을 신중하게 선택하고 사용 사례 또는 시나리오에 적절하게 "엄격성", "데이터 콘텐츠에 대한 응답 제한" 및 "고려할 검색된 문서 수"와 같은 사용자 지정 매개 변수를 구성하는 것이 포함됩니다. 데이터에서 Azure OpenAI에 대한 이러한 설정을 구성하는 방법에 대해 자세히 알아봅니다.
• 입력 및 출력의 길이, 구조 및 속도를 제한합니다. 입력 및 출력의 길이 또는 구조를 제한하면 애플리케이션이 작업을 계속 수행하고 적어도 부분적으로는 잠재적으로 불공평하거나 신뢰할 수 없거나 공격적인 동작을 완화할 가능성이 높아질 수 있습니다. 오용 위험을 줄이기 위한 다른 옵션으로는 (i) 입력 원본을 제한하고(예: 인터넷의 모든 사용자에게 개방되지 않고 특정 도메인 또는 인증된 사용자로 입력 제한) 및 (ii) 사용률 제한을 구현하는 옵션이 있습니다.
• 게시 또는 보급 전에 출력에 대한 사용자 검토를 권장합니다. 생성 AI를 사용하면 완화가 있더라도 공격적이거나 현재 작업과 관련이 없는 콘텐츠를 생성할 수 있습니다. 생성된 출력이 사용자의 작업을 충족하는지 확인하려면 널리 공유하기 전에 사용자에게 품질에 대한 출력을 검토하도록 상기시키는 방법을 빌드하는 것이 좋습니다. 이러한 관행은 공격 자료, 잘못된 정보 등을 포함하여 다양한 피해를 줄일 수 있습니다.
• 추가 시나리오 관련 완화를 구현합니다. 콘텐츠 조정 전략을 포함하여 사용하기 위해 Azure OpenAI 평가 및 통합에 설명된 완화 방법을 참조하세요. 이러한 권장 사항이 애플리케이션에 필요한 모든 완화를 나타내는 것은 아닙니다. GPT-4o 및 추론 모델과 같은 최신 모델은 민감한 시나리오에서 응답을 제공할 수 있으며 응답을 완전히 거부하기보다는 응답에서 잠재적으로 유해한 출력을 줄이려고 시도할 가능성이 더 높습니다. 사용 사례에 대한 콘텐츠 조정을 평가하고 통합할 때 이 동작을 이해하는 것이 중요합니다. 사용 사례에 따라 필터링 심각도 조정이 필요할 수 있습니다.
• 의무적인 세이프가드가 트리거되지 않도록 하십시오. Azure Direct Models에는 원시 CoT 및 biosecurity 콘텐츠의 출력을 포함하여 보안 악용을 방지하기 위한 안전 장치가 있을 수 있습니다. 보안상의 악용을 발생시키거나 모델에 대한 보호 조치를 회피하거나 회피를 시도하는 방식으로 모델을 사용하는 경우(이러한 보호 조치를 우회하는 경우 포함) 온라인 서비스에 대한 사용 제한 정책을 위반하며 일시 중단될 수 있습니다. 모범 사례에 대한 자세한 내용은 OpenAI o1 시스템 카드, o3-mini 시스템 카드, o3/o4-mini 시스템 카드 및 GPT-5 시스템 카드를 방문하세요.

미세 조정을 위한 모범 사례 및 권장 사항

Azure OpenAI에서 모델 미세 조정의 위험과 제한을 완화하려면 고객이 다음과 같은 몇 가지 모범 사례 및 지침을 따르는 것이 좋습니다.

• 데이터 선택 및 전처리: 고객은 데이터를 신중하게 선택하고 사전 처리하여 의도한 작업 및 도메인에 대해 관련성이 있고 다양하며 균형이 조정되도록 해야 합니다. 또한 고객은 데이터 주체의 개인 정보 보호 및 보안을 보호하기 위해 이름, 주소 또는 이메일 주소와 같은 중요한 개인 정보를 데이터에서 제거하거나 익명화해야 합니다. 또한 고객은 데이터 품질 및 가독성을 개선하기 위해 맞춤법, 문법 또는 서식 지정과 같은 데이터의 오류 또는 불일치를 확인하고 수정해야 합니다.
• 채팅 완성 형식의 모델에 대한 시스템 메시지를 학습 데이터에 포함하고, 응답을 조정하고, 추론을 위해 미세 조정된 모델을 사용할 때 동일한 시스템 메시지를 사용합니다. 시스템 메시지를 비워 두면 정확도가 낮은 미세 조정된 모델이 생성되고, 추론으로 인해 미세 조정된 모델이 기본 모델의 동작으로 되돌아갈 수 있는 경우 동일한 시스템 메시지를 포함하는 것을 잊어버리는 경향이 있습니다.
• 모델 평가 및 테스트: 고객은 다양한 입력 및 시나리오에서 미세 조정된 모델의 성능 과 견고성을 평가 및 테스트하고 원래 모델 및 기타 기준과 비교해야 합니다. 또한 고객은 적절한 메트릭과 기준을 사용하여 모델의 정확도, 안정성 및 공정성을 측정하고 모델의 출력 및 동작에서 잠재적인 오류 또는 바이어스를 식별해야 합니다.
• 모델 설명서 및 통신: 고객은 모델의 목적, 범위, 제한 사항 및 가정을 문서화 및 전달하고 모델의 최종 사용자에게 명확하고 정확한 정보 및 지침을 제공해야 합니다.

• 귀하의 애플리케이션을 주제에 맞추세요. 이미지 생성 모델을 사용하면 프롬프트 또는 이미지 입력에서 애플리케이션이 개념적 이미지만 생성함을 나타낼 수 있습니다. 그렇지 않으면 애플리케이션이 광실적 사용이나 현실을 묘사하기 위한 것이 아니라는 것을 설명하는 팝업 알림을 생성할 수 있습니다. 이러한 예제를 앞에 나열하거나 오프 토픽 요청을 받을 때 제안으로 제공하여 사용자를 허용 가능한 쿼리 및 이미지 입력으로 전환하는 것이 좋습니다. 분류자를 학습시켜 입력(프롬프트 또는 이미지)이 토픽에 속하는지 여부를 판단하는 것을 고려하세요.
• 응답의 정확도 또는 접지성을 향상하도록 매개 변수를 구성합니다. Azure OpenAI "데이터" 기능을 사용하는 등 신뢰할 수 있는 원본에서 검색된 데이터로 프롬프트를 보강하면 부정확한 응답 또는 거짓 정보를 생성할 가능성을 줄일 수 있지만 완전히 제거할 수는 없습니다. 응답의 정확도를 높이기 위해 수행할 수 있는 단계에는 신뢰할 수 있는 관련 데이터 원본을 신중하게 선택하고 사용 사례 또는 시나리오에 적절하게 "엄격성", "데이터 콘텐츠에 대한 응답 제한" 및 "고려할 검색된 문서 수"와 같은 사용자 지정 매개 변수를 구성하는 것이 포함됩니다. 데이터에서 Azure OpenAI에 대한 이러한 설정을 구성하는 방법에 대해 자세히 알아봅니다.
• 입력 및 출력의 길이, 구조 및 속도를 제한합니다. 입력 및 출력의 길이 또는 구조를 제한하면 애플리케이션이 작업을 계속 수행하고 적어도 부분적으로는 잠재적으로 불공평하거나 신뢰할 수 없거나 공격적인 동작을 완화할 가능성이 높아질 수 있습니다. 오용 위험을 줄이기 위한 다른 옵션으로는 (i) 입력 원본을 제한하고(예: 인터넷의 모든 사용자에게 개방되지 않고 특정 도메인 또는 인증된 사용자로 입력 제한) 및 (ii) 사용률 제한을 구현하는 옵션이 있습니다.
• 게시 또는 보급 전에 출력에 대한 사용자 검토를 권장합니다. 생성 AI를 사용하면 완화가 있더라도 공격적이거나 현재 작업과 관련이 없는 콘텐츠를 생성할 수 있습니다. 생성된 출력이 사용자의 작업을 충족하는지 확인하려면 널리 공유하기 전에 사용자에게 품질에 대한 출력을 검토하도록 상기시키는 방법을 빌드하는 것이 좋습니다. 이러한 관행은 공격 자료, 잘못된 정보 등을 포함하여 다양한 피해를 줄일 수 있습니다.
• 추가 시나리오 관련 완화를 구현합니다. 콘텐츠 조정 전략을 포함하여 사용하기 위해 Azure OpenAI 평가 및 통합에 설명된 완화 방법을 참조하세요. 이러한 권장 사항이 애플리케이션에 필요한 모든 완화를 나타내는 것은 아닙니다. GPT-4o 및 추론 모델과 같은 최신 모델은 민감한 시나리오에서 응답을 제공할 수 있으며 응답을 완전히 거부하기보다는 응답에서 잠재적으로 유해한 출력을 줄이려고 시도할 가능성이 더 높습니다. 사용 사례에 대한 콘텐츠 조정을 평가하고 통합할 때 이 동작을 이해하는 것이 중요합니다. 사용 사례에 따라 필터링 심각도 조정이 필요할 수 있습니다.

• 프롬프트를 설계할 때 보여주고 설명하기. 자연어 모델 및 음성 모델을 사용하면 지침, 예제 또는 둘의 조합을 통해 어떤 종류의 출력이 예상되는지 모델에 명확하게 알 수 있습니다. 모델에서 항목 목록의 순위를 사전순으로 지정하거나 감정별로 단락을 분류하려면 원하는 모델을 표시합니다.
  • Azure OpenAI 서비스의 Whisper 모델에 대한 프롬프트 는 모델 출력을 개선하는 데 도움이 될 수 있습니다. 다음 모범 사례는 시나리오 및 요구에 가장 적합한 프롬프트를 만드는 데 도움이 됩니다.
    • 모델이 오디오에서 잘못 인식되는 특정 단어 또는 약어를 수정하도록 모델에 지시하는 프롬프트를 포함하는 것이 좋습니다.
    • 세그먼트로 분할된 파일의 컨텍스트를 유지하려면 이전 세그먼트의 대본을 사용하여 모델에 메시지를 표시할 수 있습니다. 이 프롬프트는 모델이 이전 오디오의 관련 정보를 사용하기 때문에 대본을 보다 정확하게 만듭니다. 모델은 프롬프트의 마지막 224개 토큰만 고려하고 이전의 모든 토큰을 무시합니다.
    • 모델은 대본의 문장 부호를 건너뛸 수 있습니다. 모델에 문장 부호를 포함하도록 지시하는 간단한 프롬프트를 사용하는 것이 좋습니다.
    • 모델은 오디오에서 일반적인 필러 단어(예: hmmm, um 등)를 제외할 수도 있습니다. 필러 단어를 대본에 유지하려는 경우 해당 단어가 포함된 프롬프트를 포함할 수 있습니다.
    • 일부 언어는 간체 또는 중국어 번체와 같은 다양한 방법으로 작성할 수 있습니다. 모델은 사용자가 기본적으로 자신의 대본에 대해 원하는 쓰기 스타일을 항상 사용하지 않을 수 있습니다. 프롬프트를 사용하여 선호하는 쓰기 스타일을 설명하는 것이 좋습니다.
• 귀하의 애플리케이션을 주제에 맞추세요. 사용자가 이 용도로 사용하려고 하더라도 원치 않는 콘텐츠를 생성할 가능성을 줄이기 위해 프롬프트 및 이미지 입력을 신중하게 구조화합니다. 예를 들어, 당신의 프롬프트에서 챗봇이 수학에 대한 대화에만 참여하고, 그렇지 않으면 "죄송합니다."라고 응답한다고 표시할 수 있습니다. 대답할 수 없을까 봐 두렵다"고 말했다. 프롬프트에 "예의"와 같은 형용사 및 원하는 음색의 예제를 추가하면 출력을 조정하는 데 도움이 될 수 있습니다.
• 응답의 정확도 또는 접지성을 향상하도록 매개 변수를 구성합니다. Azure OpenAI "데이터" 기능을 사용하는 등 신뢰할 수 있는 원본에서 검색된 데이터로 프롬프트를 보강하면 부정확한 응답 또는 거짓 정보를 생성할 가능성을 줄일 수 있지만 완전히 제거할 수는 없습니다. 응답의 정확도를 높이기 위해 수행할 수 있는 단계에는 신뢰할 수 있는 관련 데이터 원본을 신중하게 선택하고 사용 사례 또는 시나리오에 적절하게 "엄격성", "데이터 콘텐츠에 대한 응답 제한" 및 "고려할 검색된 문서 수"와 같은 사용자 지정 매개 변수를 구성하는 것이 포함됩니다. 데이터에서 Azure OpenAI에 대한 이러한 설정을 구성하는 방법에 대해 자세히 알아봅니다.
• 모델 품질을 측정합니다. 일반적인 모델 품질의 일환으로 시나리오에 대한 기존의 정확도 측정 외에도 책임 있는 AI와 관련된 공정성 관련 메트릭 및 기타 메트릭을 측정하고 개선하는 것이 좋습니다. 시스템의 공정성을 측정할 때 이 검사 목록과 같은 리소스를 고려합니다. 이러한 측정에는 평가 결과와 함께 이해 관계자에게 인정하고 의사 소통해야 하는 제한 사항이 있습니다.
• 입력 및 출력의 길이, 구조 및 속도를 제한합니다. 입력 및 출력의 길이 또는 구조를 제한하면 애플리케이션이 작업을 계속 수행하고 적어도 부분적으로는 잠재적으로 불공평하거나 신뢰할 수 없거나 공격적인 동작을 완화할 가능성이 높아질 수 있습니다. 오용 위험을 줄이기 위한 다른 옵션으로는 (i) 입력 원본을 제한하고(예: 인터넷의 모든 사용자에게 개방되지 않고 특정 도메인 또는 인증된 사용자로 입력 제한) 및 (ii) 사용률 제한을 구현하는 옵션이 있습니다.
• 게시 또는 보급 전에 출력에 대한 사용자 검토를 권장합니다. 생성 AI를 사용하면 완화가 있더라도 공격적이거나 현재 작업과 관련이 없는 콘텐츠를 생성할 수 있습니다. 생성된 출력이 사용자의 작업을 충족하는지 확인하려면 널리 공유하기 전에 사용자에게 품질에 대한 출력을 검토하도록 상기시키는 방법을 빌드하는 것이 좋습니다. 이러한 관행은 공격 자료, 잘못된 정보 등을 포함하여 다양한 피해를 줄일 수 있습니다.

Azure OpenAI 평가를 수행하는 단계는 다음과 같습니다.

1. 평가를 위한 데이터 제공: JSONL 형식으로 업로드된 플랫 파일 또는 일련의 프롬프트에 따라 생성된 데이터.
2. 데이터를 평가할 테스트 사례를 지정합니다. 하나 이상의 테스트 사례를 선택하여 제공된 데이터를 통과/실패 성적으로 채점합니다.
3. 결과 검토 및 필터링: 각 테스트에는 점수 통과 및 실패에 대한 정의가 포함됩니다. 평가가 실행된 후 사용자는 행별 결과를 검토하여 개별 테스트 결과를 확인하거나 통과/실패를 필터링할 수 있습니다.

이러한 모델을 책임감 있게 평가하고 통합하는 방법에 대한 자세한 내용은 RAI 개요 문서를 참조하세요.

이러한 모델을 책임감 있게 평가하고 통합하는 방법에 대한 자세한 내용은 RAI 개요 문서를 참조하세요.

OpenAI Whisper 모델은 Azure Speech Services 내에서도 사용할 수 있으며, 다국어 인식 및 가독성과 같은 고급 기능을 사용하여 환경을 향상합니다. 시나리오에 따라 Azure Speech Services 및 서비스 추가 기능(예: 다이어리화, 사용자 지정, 실시간 스트리밍 또는 요청당 여러 오디오 파일 처리)을 탐색할 수 있습니다. 위스퍼 모델을 책임감 있게 평가하고 통합하는 방법에 대한 자세한 내용은 Azure Speech Services 투명성 참고를 참조하세요.