컴퓨터 사용으로 웹 및 데스크톱 앱 자동화(프리뷰)

[이 문서는 시험판 문서이며 변경될 수 있습니다.]

컴퓨터 사용은 에이전트가 Windows 컴퓨터에서 작업을 조작하고 자동화할 수 있도록 하는 Copilot Studio의 도구입니다. 웹 사이트 및 데스크톱 앱은 버튼을 선택하고, 메뉴를 고르고, 화면의 필드에 텍스트를 입력하여 작동합니다. 컴퓨터에서 사용하려는 작업을 자연어로 설명하고 가상 마우스와 키보드를 사용하여 설정한 컴퓨터에서 작업을 수행합니다. 컴퓨터 사용을 통해 에이전트는 시스템에 직접 연결할 API가 없는 경우에도 작업을 완료할 수 있습니다. 사람이 앱이나 웹 사이트를 사용할 수 있다면, 컴퓨터 사용도 가능합니다. 자동화된 데이터 입력, 송장 처리 및 데이터 추출과 같은 작업에 컴퓨터 사용을 사용할 수 있습니다.

컴퓨터 사용은 그래픽 사용자 인터페이스(GUI)와 상호 작용하기 위해 비전 기능과 고급 추론을 결합하는 AI 모델인 CUA(Computer-Using Agents)에 의해 구동됩니다. AI 기반이기 때문에 인터페이스 변경에 적응합니다. 예를 들어 버튼이나 화면이 바뀌어도 흐름이 끊기지 않고 도구가 계속 작동합니다. 사용법은 간단합니다. 원하는 것을 자연어로 설명하기만 하면 됩니다. 코드를 작성할 필요가 없습니다.

이 비디오를 시청하여 컴퓨터 사용 도구를 사용하여 에이전트가 웹 애플리케이션과 상호 작용하는 방법을 알아보세요.

요구 사항

• 이 기능은 지역이 미국 설정된 환경에서 사용할 수 있습니다.

• 에이전트에서 컴퓨터 사용을 사용하도록 설정된 생성형 오케스트레이터가 있는지 확인합니다.

에이전트에 컴퓨터 사용 추가

Copilot Studio의 새 에이전트 또는 기존 에이전트에서 다음 단계를 수행하여 컴퓨터 사용을 도구로 추가합니다.

1. 에이전트의 도구 섹션으로 이동하여 도구 추가를 선택합니다.

2. 도구 추가 대화 상자에서 새 도구를 선택합니다.

3. 컴퓨터 사용을 선택합니다.

4. 도구가 컴퓨터에서 수행해야 하는 작업을 설명하는 지침을 제공합니다. 시작할 몇 가지 지침 템플릿이 표시됩니다. 컴퓨터 사용에 대한 지침을 가장 잘 작성하는 방법에 대해 자세히 알아보려면 컴퓨터 사용의 지침에 대한 모범 사례를 확인하세요.

5. 컴퓨터 사용이 실행되는 머신을 선택합니다. 호스트형 브라우저, 공용 웹 사이트에서 작업을 자동화하는 데 사용할 준비가 된 머신을 사용하거나 컴퓨터 사용에 사용하도록 구성할 수 있는 Windows 머신을 선택할 수 있습니다. 컴퓨터 사용이 실행되는 위치 구성에서 자세히 알아보세요.

6. 추가 및 구성을 선택합니다.

   • 구성 페이지에서 다음 세 필드를 구성합니다.

     • 이름: 컴퓨터 사용 도구의 표시 이름을 입력합니다. 이 이름은 에이전트에 추가하는 다른 도구와 구별하는 데 도움이 됩니다.
     • 설명: 이 도구의 기능과 사용 시기에 대한 간략한 설명을 입력합니다. 이 텍스트를 통해 에이전트는 이 도구를 언제 사용해야 하는지 알 수 있습니다.
     • 지침: URL 및 애플리케이션 이름을 포함하여 도구가 수행해야 하는 단계를 나열합니다. 팁은 컴퓨터 사용 지침을 위한 모범 사례를 참조하십시오.

7. 구성 페이지에서 관련될 수 있는 다음과 같은 다른 필드와 설정을 검토합니다.

   • 입력: 입력을 사용하여 컴퓨터 사용이 실행될 때마다 변경되는 동적 값을 정의합니다. 예를 들어 실행할 때마다 다른 값으로 양식을 채우려면 해당 필드에 대한 입력을 만듭니다. 실행 시 컴퓨터 사용은 명령을 입력 값과 결합하여 작업을 완료합니다.

   • 머신: 에이전트가 컴퓨터 사용을 실행하는 데 사용하는 대상 머신을 선택합니다. 요구 사항에 따라 올바른 머신 유형을 선택하는 방법에 대한 자세한 내용은 컴퓨터 사용이 실행되는 위치 구성을 참조하세요.

     • 새로 고침을 사용하여 머신 목록을 업데이트합니다.
     • 머신 관리를 선택하여 Power Automate 포털에서 머신 관리 페이지를 엽니다.
     • 머신 세부 정보 보기를 선택하여 Power Automate 포털에서 머신 세부 정보 페이지를 엽니다.

   • 연결: 이 도구에 사용되는 연결입니다. 새 연결을 업데이트하거나 만들어 사용된 자격 증명을 변경합니다.

   • 사용할 자격 증명: 실행 중에 컴퓨터에서 인증을 사용하는 방법을 지정합니다.

     • 메이커 제공 자격 증명 (기본값): 이 옵션은 메이커의 자격 증명을 사용하며 자율 에이전트에 적합합니다.

     경고

     이 설정이 포함된 에이전트를 공유 하면, 이 설정을 사용하는 누구나 원래 작성자의 접근 권한으로 설정된 기기에서 행동할 수 있습니다.

     • 최종 사용자 자격 증명: 이 옵션은 에이전트와 상호 작용하는 사람의 자격 증명을 사용합니다. 각 사용자는 컴퓨터에 대한 액세스 자격 증명이 있어야 합니다.

   • 인적 감독: 컴퓨터 사용 에이전트가 모델 동작을 변경할 수 있는 잠재적으로 유해한 지침을 감지하는 경우 전자 메일(Outlook)을 통해 연락해야 하는 사용자를 지정합니다. 각 에이전트가 실행되고 해당 작업은 활동을 시작한 사용자와 연결됩니다. 컴퓨터 사용 에이전트를 운영하는 사람이 아닌 다른 리뷰어를 선택하면, 그 사람이 실행을 시작하지 않았기 때문에 활동을 못할 가능성이 큽니다. 따라서 요청을 제대로 확인하거나 작업할 수 없습니다. 또한 수신자에게 권한이 부여되고 이러한 요청을 처리하는 데 필요한 컨텍스트가 있는지 확인합니다. 응답 시간 제한은 요청이 활성 상태로 유지되는 기간을 정의합니다. 이 기간이 지나면 요청이 만료되고 응답이 수신되지 않으면 컴퓨터 사용 실행이 중지됩니다. 자세한 내용은 인적 감독을 참조하십시오.

   • 저장된 자격 증명: 컴퓨터가 웹 사이트 및 애플리케이션에 로그인하는 데 사용하는 자격 증명을 정의합니다. 실행하는 동안 로그인 프롬프트가 표시되면 컴퓨터는 해당 사이트 또는 애플리케이션에 대해 이 섹션에서 정의한 자격 증명을 안전하게 사용합니다. 이 자격 증명의 비밀번호 값은 Power Platform 내부 저장소(설정 필요 없음)나 제공한 Azure Key Vault에 저장됩니다. Azure Portal을 사용하여 키 자격 증명 모음 만들기에서 Azure Key Vault를 만드는 방법을 알아봅니다.

     • 내부 저장 옵션: 이 옵션을 사용하면 사전 설정 없이 도구에서 자격 증명을 설정할 수 있습니다. 비밀은 Power Platform 내부에 암호화되어 저장됩니다. 각 자격증에 대해 다음과 같은 정보를 제공하세요:

       • 유형: 이 인증서를 사용할 표면에 따라 웹사이트와 데스크톱 앱 중 선택하세요
       • 사용자 이름: 대상 웹사이트나 애플리케이션에 로그인할 때 사용하는 사용자 이름입니다.
       • 비밀번호: 대상 웹사이트나 애플리케이션에 로그인하는 데 사용되는 비밀번호 값입니다.

       참고

       암호 필드는 대부분의 고객 시나리오를 다루는 모든 웹 사이트 및 대부분의 Windows 애플리케이션(WinForms, WPF, UWP, WinUI, Win32)에서 지원됩니다. Electron, Java, Unity, 게임, 명령줄 인터페이스, Citrix 또는 기타 가상화된 환경과 같은 일부 앱 형식은 지원되지 않을 수 있습니다.

       • 로그인 도메인 또는 데스크톱 앱 이름: 자격 증명을 입력하는 도메인 또는 애플리케이션명(예: login.microsoft.com 이나 Excel)입니다. 로그인 도메인의 경우, 메인 사이트 URL과 다를 수 있으니 반드시 이 도메인을 확인하세요.

     • Azure Key Vault 옵션: 이 옵션을 사용하면 구독 ID, 리소스 그룹 이름, Key Vault 이름을 먼저 입력하여 자격증명을 설정할 수 있습니다. 이 모든 정보는 Key Vault의 개요 페이지에서 사용할 수 있습니다.

       • Power Platform에서 Azure Key Vault 비밀을 사용하려면 다음을 수행합니다.

         • 볼트가 포함된 Azure 구독에는 PowerPlatform 리소스 제공 자가 등록되어 있어야 합니다.
         • 환경 변수를 만드는 사용자는 Azure Key Vault 리소스에 대한 적절한 권한이 있어야 합니다.

       • 아직 하지 않으셨다면, Azure Key Vault 구성 단계를 따라 다음 정보를 제공하세요:

         • 사용자 이름: 대상 웹사이트나 애플리케이션에 로그인할 때 사용하는 사용자 이름입니다.
         • Azure 비밀 이름: 웹 사이트 또는 애플리케이션의 암호를 저장하는 Key Vault의 비밀 이름입니다.

         참고

         암호 필드는 대부분의 고객 시나리오를 다루는 모든 웹 사이트 및 대부분의 Windows 애플리케이션(WinForms, WPF, UWP, WinUI, Win32)에서 지원됩니다. Electron, Java, Unity, 게임, 명령줄 인터페이스, Citrix 또는 기타 가상화된 환경과 같은 일부 앱 형식은 지원되지 않을 수 있습니다.

         • 로그인 도메인 또는 데스크톱 앱 이름: 자격 증명을 입력하는 도메인 또는 애플리케이션명(예: login.microsoft.com 이나 Excel)입니다. 로그인 도메인의 경우, 메인 사이트 URL과 다를 수 있으니 반드시 이 도메인을 확인하세요.

   • 액세스 제어: 기본적으로 컴퓨터 사용은 모든 웹 사이트 또는 애플리케이션에서 작동할 수 있습니다. 이 액세스를 제한하려면 액세스 제어를 사용하도록 설정하여 컴퓨터에서 사용하는 특정 URL 및 데스크톱 애플리케이션을 제한해야 합니다. 웹 사이트와 애플리케이션을 모두 구성할 수 있습니다.

     • 웹 사이트: 기본 웹 사이트 주소(예: example.com)를 입력합니다. 해당 웹 사이트의 모든 페이지가 자동으로 포함됩니다. 하위 도메인에 와일드카드(*)를 사용할 수도 있습니다.
       • 예: www.contoso.com, *.contoso.com, contoso.com
     • 데스크톱 애플리케이션: 애플리케이션 제품 이름 또는 프로세스 이름을 입력합니다. 찾으려면 Ctrl+Shift+Esc를 눌러 작업 관리자를 엽니다. 그런 다음, 프로세스 탭을 확인합니다.
       • 예시: Microsoft Edge, msedge, Notepad.

     참고

     액세스 제어는 허용 목록에 없는 웹 사이트 또는 애플리케이션에서만 모델이 작업을 수행할 수 없도록 합니다. 모델이 열리지 않도록 중지하지는 않습니다. 예를 들어 microsoft.com 및 Microsoft Edge만 허용 목록에 있는 경우 모델은 여전히 Edge 검색 창을 사용하여 Bing을 열 수 있습니다. 그러나 Bing이 열리면 허용 목록에 없기 때문에 상호 작용하려는 시도가 실패합니다.

8. 저장을 선택합니다.

컴퓨터 사용 테스트

컴퓨터 사용 테스트는 제작 과정의 핵심 단계입니다. 이름, 설명 및 지침을 입력하고 도구를 저장한 후 테스트를 선택하여 테스트 환경을 시작합니다.

짧은 로드 기간 후에 테스트 환경이 나타납니다.

• 왼쪽 패널에는 사용 설명서와 도구의 추론 및 행동에 대한 단계별 로그가 표시됩니다.
• 오른쪽 패널에는 컴퓨터 사용을 위해 설정한 머신에서 수행되는 작업의 미리 보기가 표시됩니다.

작업이 완료되면 테스트 완료 메시지가 표시됩니다. 테스트가 진행되는 동안 테스트 중지를 선택하여 머신의 모든 작업을 즉시 중지할 수 있습니다.

결과가 예상과 다르면 구성 페이지로 이동하여 지침을 구체화합니다. 정확도를 높이려면 세부 정보를 더 추가합니다. 안내가 필요하면 효과적인 지침 작성을 위한 모범 사례를 참조하세요.

컴퓨터 사용이 포함된 에이전트 게시

컴퓨터 사용을 설정한 후 에이전트를 공개하세요. 에이전트 실행 방법은 시나리오에 따라 다릅니다. 자율 또는 대화형일 수 있습니다.

• 자율 에이전트는 자동으로 실행되며 백그라운드에서 작업을 수행합니다.
• 대화형 에이전트를 사용하면 사용자가 Microsoft Teams와 같은 채널을 통해 상호 작용할 수 있습니다.

컴퓨터 사용은 사용자 상호 작용 없이 백그라운드에서 작업을 수행하는 자율 에이전트에 가장 적합합니다.

대화형 환경에서 컴퓨터 사용을 적용할 수도 있지만 다음 사항을 염두에 두어야 합니다.

• 인증 설정으로 사용자 인증을 선택하는 경우 대화에서 에이전트와 상호 작용하는 각 사용자는 컴퓨터 사용에 사용되는 머신에 대한 유효한 자격 증명이 필요합니다.
• 도구가 실행되면 채팅에서 컴퓨터 활동에 대한 추론 메시지와 스크린샷을 공유합니다.

모범 사례

오늘날의 디지털 환경에서 생산성과 안전을 유지하려면 컴퓨터 사용에 대한 모범 사례를 따르십시오. 특히 명확한 지침을 작성하고 머신을 보호할 때 이러한 모범 사례를 따르는 것이 중요합니다.

기계 보안을 위한 모범 사례

AI가 자연어를 사용하여 작업을 수행할 수 있도록 컴퓨터 사용을 위한 머신을 설정하는 경우 다음 보안 권장 사항을 고려합니다.

컴퓨터 사용 지침에 대한 모범 사례

작성하는 지침에 따라 컴퓨터 사용이 얼마나 잘 작동하는지가 결정됩니다. 구체적이고 상세한 지침은 컴퓨터 사용이 작업을 정확하게 완료하는 데 도움이 됩니다. 동료에게 작업을 설명하는 것으로 생각하십시오. 명확한 단계별 지침은 성공을 보장하는 데 도움이 됩니다.

효과적인 지침 작성을 위한 팁:

• 웹 사이트 및 응용 프로그램에 대해 구체적으로 설명하십시오. 항상 웹사이트의 전체 URL과 도구에서 사용해야 하는 애플리케이션의 정확한 이름을 포함하세요. 예시: '회사 뉴스'로 가 https://www.microsoft.com 서 열어보세요.

• 관련 조치를 명확하게 명시합니다. 무언가를 원한다면, 특히 양식 제출이나 이메일 발송 같은 행동에서 명확하게 말하세요. 예시: 양식을 작성한 후 제출을 선택하세요. 허락을 구할 필요 없어.

• 복잡한 상호 작용을 세분화합니다. UI를 탐색하기가 더 복잡할 수 있는 영역의 경우 각 단계를 자세히 설명합니다. 예시: 오른쪽 상단에서 '더 많음 ' 아이콘을 선택하세요. 드롭다운이 나타납니다. 열리면 목록에서 마지막 항목을 선택하세요.

• 더 긴 작업을 위해 단계별 서식을 사용합니다. 긴 지침은 목록으로 서식을 지정할 때 더 쉽게 따를 수 있습니다.

샘플 지침

이 샘플 지침을 탐색하여 컴퓨터 사용을 시도하거나 직접 작성하기 위한 참조로 사용하십시오.

데이터 추출을 위한 모범 사례

컴퓨터를 이용해 웹사이트나 애플리케이션에서 데이터를 추출한 후 그 데이터를 에이전트나 에이전트 내 다른 도구에 전달할 수 있습니다. 이를 위해서는 컴퓨터 사용 설명서에 직접 추출하고 싶은 정보를 설명하면 됩니다.

추출한 데이터를 다른 도구(예: 이메일로 보내는 것)와 함께 사용하고 싶다면, 에이전트 지침 에 그 필요성을 명시하고 두 도구 모두 에이전트에 추가되도록 하세요.

예시: 컴퓨터를 사용해 재무 포트가 대시보드에 필요한 고객 정보를 추출하고 추출한 데이터를 이메일로 전송합니다. 이 경우 에이전트는 컴퓨터 사용 도구와 이메일 도구 모두를 포함해야 합니다.

텍스트로 값을 추출하기

컴퓨터가 특정 값들을 추출해 평문 상태로 반환하도록 지시할 수 있습니다. 예를 들어, 다음 프롬프트는 클라이언트인 Fourth Coffee의 포트폴리오 매니저와 포트폴리오 가치를 추출합니다:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

에이전트는 요청된 두 값만 텍스트로 반환합니다.

JSON 값 추출

컴퓨터에 요청해 추출한 정보를 JSON 형식으로 반환할 수도 있습니다. 이 형식은 구조화된 데이터를 다른 도구로 전달하고 싶을 때 유용합니다. 다음 예시는 Contoso와 관련된 모든 포트폴리오 행을 추출하여 올바르게 포맷된 JSON 형식으로 반환합니다:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

이 방법은 산출물이 구조화되도록 보장합니다.

라이선싱

컴퓨터 사용은 프리뷰 상태이지만 에이전트 작업 기능을 사용하여 5개의 Copilot 크레딧의 청구율을 사용하여 청구됩니다. 자세한 내용은 Microsoft Copilot Studio 청구율 및 관리를 참조하세요.

각 컴퓨터 사용 실행은 여러 작업을 수행할 수 있으며 각 작업에는 5개의 Copilot 크레딧이 부과됩니다.

예를 들어 웹 기반 작업표 양식을 작성하도록 컴퓨터 사용을 설정하면 트리거될 때마다 다음 작업이 수행됩니다.

1. 브라우저를 실행합니다.

2. 작업표 웹 포털로 이동합니다.

3. 새 작업표 만들기를 선택합니다.

4. 시작 시간 양식 필드를 채웁니다.

5. 종료 시간 양식 필드를 채웁니다.

6. 프로젝트 코드 양식 필드를 채웁니다.

7. 제출 버튼을 선택합니다.

이 예제에서 컴퓨터 사용은 7개의 작업을 실행하여 총 35개의 메시지를 사용합니다.

피드백을 공유해 주세요

컴퓨터 사용에 대한 피드백이 있습니까? computeruse-feedback@microsoft.com에서 알려 주시기 바랍니다.

관련 정보

컴퓨터 사용 도구에 대한 FAQ