컴퓨터 사용 도구에 대한 FAQ

컴퓨터 사용 도구란?

컴퓨터 사용 은 웹 사이트 및 애플리케이션에서 작업을 자동화하도록 설계된 Copilot Studio 에이전트에 추가할 수 있는 도구입니다. 사용자는 자연어로 작업 설명을 제공하고, 도구는 그에 따라 마우스 클릭 및 키보드 작업을 자동화합니다. 예를 들어 도구에 PDF를 열고 해당 내용을 사용하여 웹 양식을 작성하도록 지시할 수 있습니다. 이 도구는 화면을 시각적으로 해석하고 필요한 클릭 및 키 입력을 실행하여 사람의 상호 작용을 에뮬레이트합니다.

컴퓨터에서 도구를 사용할 수 있는 작업은 무엇인가요?

컴퓨터 사용 도구는 화면 픽셀 데이터를 처리하여 화면 콘텐츠를 이해하고 가상 마우스 클릭 및 키보드 입력을 사용하여 작업을 수행합니다. 이 도구는 다단계 워크플로를 관리하고, 예기치 않은 시나리오를 처리하고, 화면 변경 내용에 동적으로 적응할 수 있으므로 특수 API 없이 웹 사이트 탐색 및 양식 채우기와 같은 다양한 디지털 작업을 수행할 수 있습니다.

컴퓨터 사용 도구는 다음 세 단계를 기반으로 반복 루프를 따릅니다.

• 지각: 스크린샷을 캡처하여 컴퓨터 화면의 현재 상태를 시각적으로 이해합니다.

• 추론: 생각의 사슬 접근 방식을 통해 현재 상태, 이전 작업 및 스크린샷을 평가하여 작업을 효과적으로 조정할 수 있습니다.

• 작업: 작업이 완료되거나 추가 사용자 입력이 필요할 때까지 클릭, 입력 또는 스크롤과 같은 작업을 수행합니다.

컴퓨터 사용 도구의 용도는 무엇인가요?

컴퓨터 사용 도구는 가상 마우스 및 키보드를 통해 웹 사이트 및 애플리케이션과의 사용자 상호 작용을 자동화하기 위한 것이며, 특히 API를 사용할 수 없는 시나리오에서 유용합니다.

컴퓨터 사용 도구는 어떻게 평가되었나요? 성능을 측정하는 데 사용되는 메트릭은 무엇인가요?

컴퓨터 사용 도구는 디자인, 개발 및 배포 단계 전반에 걸쳐 실제 시나리오를 사용하여 엄격하게 평가되었습니다. 평가 방법에는 정확도, 사용자 신뢰 및 유용성을 측정하기 위한 다양한 시나리오의 연구, 영향 연구 및 테스트가 포함되었습니다. 정성적 메트릭과 양적 메트릭은 모두 고성능 및 긍정적인 사용자 환경을 유지하기 위해 정기적으로 모니터링됩니다. 또한 도구의 가용성은 설정된 SLA를 준수하여 보장됩니다.

컴퓨터 사용 도구의 제한 사항은 무엇인가요? 사용자는 시스템을 사용할 때 컴퓨터 사용 도구의 제한으로 인한 영향을 최소화할 수 있습니까?

컴퓨터 사용은 알려진 보안 위험 및 기능 제한 사항이 있는 새로운 기술입니다. 여러분이 이를 실험해볼 수 있도록 지원합니다. 이 초기 단계 기능을 사용하면 특정 컴퓨터 기반 작업을 자동화할 수 있지만 성능은 사용 사례에 따라 크게 달라집니다. 효과적이고 책임감 있게 사용하려면 현재 제한 사항을 이해합니다.

알려진 제한 사항

• 성공률은 작업에 따라 다름: 이 도구는 웹 기반 작업(약 80% 성공)에서 가장 잘 수행되지만 데스크톱 앱에서 크게 떨어집니다(약 35% 성공).
• 일관되지 않은 성능: 동일한 작업은 시각적 또는 타이밍 변경에 따라 다른 결과를 얻을 수 있습니다.
• 특정 UI 컨트롤의 어려움: 컴퓨터 사용은 드롭다운, 날짜 선택기 또는 사용자 지정 위젯과 같은 비표준 또는 동적 인터페이스 요소와 상호 작용하는 데 어려움이 있을 수 있습니다.
• 루프 및 정지 상태: 경우에 따라 화면이 예상과 일치하지 않거나 예측 불가능하게 변경될 때 에이전트가 루프에 들어가거나 중단됩니다.
• 복잡한 작업의 과제: 간단한 작업에는 효과적이지만 이 도구는 복잡한 텍스트 조작과 관련된 자세한 그래픽 인터페이스 또는 작업으로 어려움을 겪을 수 있습니다.
• 중요하거나 위험 수준이 높은 사용 사례용이 아님: 이 도구는 다음을 위한 것이 아닙니다.
  • 채용, 의료 또는 재무와 같은 중요한 도메인에서 추천 또는 채점
  • 금융 거래 만들기
  • 스팸 또는 잘못된 정보와 같은 유해한 작업
  • 적절한 권한 부여 없이 조직 외부 데이터 공유

제한을 최소화하는 방법

안정성을 향상하기 위해 사용자는 작업을 구성할 때 명확하고 자세한 지침을 제공해야 합니다. 이렇게 하면 오류를 줄이고 작업 성공률을 높일 수 있습니다.

잠재적으로 악의적인 지시에 대한 사람의 감독

컴퓨터 사용 에이전트는 스크린샷, 웹 페이지 또는 기타 입력에 숨겨진 명령이 의도하지 않은 방식으로 작업에 영향을 미치려고 시도하는 프롬프트 주입 공격이라고도 하는 유해하거나 악의적인 지침에 직면할 수 있습니다. 이러한 위험을 줄이려면 신뢰할 수 있고 격리된 환경에서 컴퓨터 사용을 작동하고 지침을 실행하기 전에 강력한 유효성 검사를 적용하십시오.

사람의 감독은 승인된 검토자가 잠재적으로 유해하거나 악의적인 것으로 표시된 작업을 검증할 수 있도록 하여 더 많은 가시성과 제어력을 추가합니다. 이러한 위험이 감지되면 컴퓨터 사용은 실행을 일시정지하고 지정된 리뷰어에게 통지하며, 리뷰어는 실행 중단 여부를 결정할 수 있습니다. 컴퓨터 사용자 에이전트가 수행하는 안전 점검은 한 번의 응답, 입력, 스크린샷 또는 여러 맥락 조각에 의해 트리거될 수 있습니다. 안전 점검은 컴퓨터 사용 에이전트가 잠재적으로 되돌릴 수 없거나 허가받지 않은 행동을 취하기 전에 인간의 검토를 유도하는 것을 목적으로 하지만, 컴퓨터 사용 에이전트가 검사를 수행할 때 실수를 할 수 있습니다. 예를 들어, 컴퓨터 사용 에이전트가 특정 행동을 감지하지 못하거나, 안전이 걱정되지 않는 곳에서 검토를 요청할 수 있습니다. 안전 점검은 책임감 있는 설계와 상담원의 안내를 대체할 수 없습니다.

이 기능은 잠재적으로 되돌릴 수 없거나 허가되지 않은 행동에 대한 검토를 촉발하지만, 현재는 일반적인 확인 요청, 누락된 정보 알림, 기타 안전 점검은 지원하지 않습니다.

컴퓨터 사용 도구를 효과적이고 책임감 있게 사용할 수 있는 운영 요소 및 설정은 무엇입니까?

명확하고 자세한 사용자 지침이 제공되면 컴퓨터 사용 도구가 가장 잘 수행됩니다. 사용자는 작업 실행 중에 안정성과 정확도를 향상시키기 위해 웹 사이트 또는 애플리케이션 상호 작용에 대한 정확한 힌트를 제공해야 합니다. 가시성과 제어를 강화하려면 도구 구성 페이지에서 한 명 이상의 승인된 검토자를 할당하여 사람이 감독할 수 있습니다. 모델이 잠재적으로 악의적인 명령을 감지하면 이러한 검토자는 실행을 계속할지 또는 중지할지 여부를 확인하고 유효성을 검사하고 결정하는 알림을 받습니다.

컴퓨터 사용 도구에 대한 피드백을 제공하려면 어떻게 해야 하나요?

컴퓨터 사용 도구에 대한 피드백이 있나요? computeruse-feedback@microsoft.com으로 이메일을 보내주세요.