[이 문서는 시험판 문서이며 변경될 수 있습니다.]
사용자 감독 기능을 사용하면 컴퓨터 사용 도구가 현재 악의적인 명령 범주 내에서 잠재적인 안전 문제를 감지할 때 인적 감독 설정에서 구성하는 검토자에게 에스컬레이션할 수 있습니다 .
참고
이 기능은 미국 지역의 초기 릴리스 주기 환경에 점진적으로 롤아웃되고 있으며 사용자 환경에서는 아직 사용할 수 없습니다.
중요
이 문서는 Microsoft Copilot Studio 프리뷰 설명서를 포함하며 변경될 수 있습니다.
프리뷰 기능은 생산용으로 만들어진 것이 아니므로 기능이 제한될 수 있습니다. 이러한 기능은 공식 릴리스 이전에 제공되므로 사용자가 조기에 액세스하고 피드백을 제공할 수 있습니다.
프로덕션이 가능한 에이전트를 빌드하는 경우 Microsoft Copilot Studio 개요를 참조하세요.
AI 모델은 모델의 동작을 변경할 수 있는 악의적 콘텐츠에 대한 스크린샷 이미지를 평가하여 검색을 수행합니다. 모델에서 실행 중에 이러한 지침에 플래그를 지정하면(이전에는 즉시 중지됨) 이제 유효성 검사를 위해 사용자에게 요청을 전달합니다. 사람 검토자는 플래그가 지정된 안전 문제가 진짜인지, 실행을 중단해야 하는지 또는 모델이 잘못 플래그를 지정하고 프로세스를 안전하게 계속할 수 있는지 여부를 결정합니다. 이러한 이벤트에서 시스템은 이메일(Outlook)을 통해 구성된 사람 검토자에게 검토 요청을 제기합니다. 지정된 시간 제한 기간 내에 응답을 받지 못하면 해당 시간 제한에 도달하면 컴퓨터 사용 실행이 중지됩니다.
중요
- 컴퓨터 사용 에이전트는 스크린샷, 웹 페이지 또는 기타 입력의 숨겨진 지침이 의도하지 않은 방식으로 작업에 영향을 미치려고 하는 프롬프트 주입 공격이 발생할 수 있습니다. 이러한 위험을 최소화하려면 지침을 실행하기 전에 신뢰할 수 있는 격리된 환경 내에서 이러한 에이전트를 작동하고 강력한 유효성 검사를 적용합니다. 인적 감독을 사용하도록 설정하면 모델이 잠재적으로 유해하거나 악의적인 명령을 감지할 때 권한이 있는 사람 검토자가 플래그가 지정된 작업의 유효성을 검사할 수 있도록 하여 추가적인 가시성과 제어를 추가하여 의도하지 않은 동작의 가능성을 줄일 수 있습니다.
- 컴퓨터 사용 에이전트에서 수행하는 안전 검사는 하나의 응답, 입력 또는 스크린샷 또는 이러한 컨텍스트의 여러 부분에 의해 트리거될 수 있습니다. 안전 검사는 컴퓨터 사용 에이전트가 잠재적으로 돌이킬 수 없거나 허용되지 않는 작업을 수행하기 전에 인적 검토를 요청하기 위한 것이지만, 컴퓨터 사용 에이전트는 검사를 수행할 때 실수를 할 수 있습니다. 예를 들어 컴퓨터 사용 에이전트가 특정 작업을 감지하지 못하거나 안전이 중요하지 않은 경우 검토를 요청하는 메시지가 표시될 수 있습니다. 안전 검사는 에이전트의 책임 있는 설계 및 지침을 대체하는 것이 아닙니다.
- 인적 감독 기능은 잠재적으로 되돌릴 수 없거나 허용되지 않는 작업을 검토하라는 메시지를 표시하지만 현재 일반 확인 요청, 누락된 정보 또는 기타 유형의 안전 검사를 지원하지 않습니다.
에이전트 및 컴퓨터 사용 활동 검토
컴퓨터 사용 에이전트가 잠재적으로 악의적이거나 유해한 명령을 감지하면 구성된 검토자는 Outlook 이메일을 받습니다. 응답하기 전에 에이전트 활동과 요청이 관련된 컴퓨터 사용 활동을 확인하는 것이 중요합니다.
참고
각 에이전트가 실행되고 해당 작업은 활동을 시작하는 사용자와 연결됩니다. 컴퓨터 사용 에이전트를 실행하는 사용자 이외의 검토자를 선택하는 경우 실행을 시작하지 않았기 때문에 활동이 표시되지 않을 수 있습니다. 여러 사람 검토자를 구성하는 경우 각각 이메일을 수신하지만 실행의 개시자만 활동 세부 정보에 액세스할 수 있습니다.
다음 표에서는 인적 검토 이메일 요청에 포함되는 주요 정보를 보여줍니다.
| 필드 | 설명 |
|---|---|
| 도구를 사용하는 에이전트 | Copilot Studio 에이전트의 이름입니다. |
| 컴퓨터 사용 도구 | 요청을 트리거한 컴퓨터 사용 도구의 이름입니다. |
| 대화 ID | 특정 활동을 찾는 데 사용할 수 있는 대화 ID입니다. |
| 요청 시간 초과 | 요청 시간 제한 날짜 및 시간입니다. |
| 요청자 | 컴퓨터 사용 도구의 제작자(연결 소유자)입니다. |
| 제출(옵션 포함) | 최종 검토자 예 또는 아니요로 컴퓨터 사용 실행을 진행하거나 중지하기로 결정했습니다. |
컴퓨터 사용 사용자 검토 요청 검토
참고
에이전트의 작업 맵에서 컴퓨터 사용 작업 쪽 패널에서 인적 검토 요청을 검토하려면 사용자 환경에서 고급 컴퓨터 사용 활동 기능을 사용하도록 설정해야 합니다. 고급 컴퓨터 사용 활동 환경이 활동 맵에 표시되지 않으면 관리자가 사용자 환경에 대해 이 기능을 해제했을 수 있습니다. 고급 컴퓨터 사용 활동에서 자세히 알아보세요.
인적 검토 요청을 검토하려면 다음을 수행합니다.
- 인적 검토 요청 이메일 본문에서 대화 ID(GUID)를 복사합니다.
- Microsoft Copilot Studio에서 에이전트 개요 페이지를 열려면 이메일에서 도구를 사용하는 에이전트 링크를 선택하세요.
- 활동으로 이동합니다.
- 활동 목록 맨 위에서 ID로 실행 찾기를 선택하고 복사한 대화 ID를 입력합니다.
- 구성된 컴퓨터 사용 도구의 이름으로 컴퓨터 사용 작업을 찾아 측면 패널을 엽니다.
- 사이드 패널의 활동 섹션에서 활동 목록을 검토합니다. 인적 검토를 기다리는 활동에는 모델 응답 텍스트 옆에 대기 기호가 표시됩니다. 컴퓨터 사용 에이전트에서 수행하는 안전 검사는 단일 응답, 입력 또는 스크린샷 또는 이러한 컨텍스트의 여러 부분에 의해 트리거될 수 있습니다. 따라서 인적 검토 요청에 표시된 스크린샷 자체에 잠재적으로 악의적인 콘텐츠가 포함되지 않을 수 있습니다.
- 작업 기록 및 스크린샷을 주의 깊게 검토하여 컴퓨터 사용 모델 안전 확인이 유효한지 확인합니다.
- 완료되면 Outlook의 이메일 알림으로 돌아가서 결과에 따라 적절한 조치를 취합니다.