개발자를 위한 혼합 현실 캡처(DirectX)

여기에서 시작하기 전에 혼합 현실 캡처 개요 문서를 살펴보는 것이 좋습니다.

PV 카메라에서 렌더링(옵트인)

HoloLens 2 혼합 현실 캡처가 실행되는 동안 몰입형 앱이 PV 카메라에서 렌더링할 수 있는 기능을 추가합니다. 앱이 추가 렌더링을 올바르게 지원하도록 하려면 앱이 이 기능을 옵트인해야 합니다.

PV 카메라에서 렌더링하면 기본 MRC 환경보다 다음과 같은 개선 사항이 제공됩니다.

• 가까운 상호 작용을 위해 물리적 환경과 손에 홀로그램 맞춤은 모든 거리에서 정확해야 합니다. 기본 MRC에서 볼 수 있듯이 포커스 지점 이외의 거리에서 오프셋을 사용하지 않도록 합니다.
• 헤드셋의 오른쪽 눈은 MRC 출력에 대한 홀로그램을 렌더링하는 데 사용되지 않으므로 손상되지 않습니다.

PV 카메라에서 렌더링을 사용하도록 설정하는 세 가지 단계가 있습니다.

1. PhotoVideoCamera HolographicViewConfiguration 사용
2. 추가 HolographicCamera 렌더링 처리
3. 이 추가 HolographicCamera에서 셰이더 및 코드가 올바르게 렌더링되는지 확인합니다.

DirectX에서 PhotoVideoCamera HolographicViewConfiguration 사용

PV 카메라에서 렌더링을 옵트인하기 위해 앱은 PhotoVideoCamera의 HolographicViewConfiguration을 사용하도록 설정하기만 하면 됩니다.

var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault();
var view = display.TryGetViewConfiguration(Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera);
if (view != null)
{
    view.IsEnabled = true;
}

DirectX에서 추가 HolographicCamera 렌더링 처리

앱이 PV 카메라에서 렌더링하도록 옵트인하고 혼합 현실 캡처가 시작되는 경우:

1. HolographicSpace의 CameraAdded 이벤트가 발생합니다. 이 이벤트는 앱이 현재 카메라를 처리할 수 없는 경우 지연될 수 있습니다.
2. 이벤트가 미해결 지연 없이 완료되면 HolographicCamera가 다음 홀로그램 프레임의 AddedCameras 목록에 표시됩니다.

혼합 현실 캡처가 중지되거나 혼합 현실 캡처가 실행되는 동안 앱이 보기 구성을 사용하지 않도록 설정하는 경우: HolographicCamera가 다음 홀로그램 프레임의 RemovedCameras 목록에 표시되고 HolographicSpace의 CameraRemoved 이벤트가 발생합니다.

카메라가 속한 구성을 식별할 수 있도록 ViewConfiguration 속성이 HolographicCamera에 추가되었습니다.

셰이더 및 코드가 추가 카메라를 지원하는지 확인

비정상적인 맞춤, 누락된 콘텐츠 또는 성능 문제에 대한 혼합 현실 캡처 및 검사 실행합니다. 셰이더 및 코드를 적절하게 업데이트합니다.

추가 카메라에 대한 렌더링을 지원할 수 없는 특정 장면이 있는 경우 PhotoVideoCamera의 HolographicViewConfiguration을 사용하지 않도록 설정할 수 있습니다.

앱에서 MRC 비활성화

2D 앱

2D 앱은 다음을 통해 혼합 현실 캡처를 실행할 때 시각적 콘텐츠를 가려지도록 선택할 수 있습니다.

• DXGI_PRESENT_RESTRICT_TO_OUTPUT 플래그와 함께 표시
• DXGI_SWAP_CHAIN_FLAG_HW_PROTECTED 플래그를 사용하여 앱의 스왑 체인 만들기
• Windows 10 2019년 5월 업데이트 사용하여 ApplicationView의 IsScreenCaptureEnabled를 설정합니다.

몰입형 앱

몰입형 앱은 다음을 통해 혼합 현실 캡처에서 시각적 콘텐츠를 제외하도록 선택할 수 있습니다.

• HolographicCameraRenderingParameter의 IsContentProtectionEnabled 를 설정하여 연결된 프레임에 대해 혼합 현실 캡처를 사용하지 않도록 설정
• HolographicCamera의 IsHardwareContentProtectionEnabled 를 설정하여 연결된 홀로그램 카메라에 대해 혼합 현실 캡처를 사용하지 않도록 설정

암호 키보드

Windows 10 2019년 5월 업데이트 사용하면 암호 또는 핀 키보드가 표시되면 시각적 콘텐츠가 혼합 현실 캡처에서 자동으로 제외됩니다.

MRC가 활성 상태인 경우 파악

AppCapture 클래스는 앱에서 시스템 혼합 현실 캡처가 실행되는 시기(오디오 또는 비디오용)를 파악하는 데 사용할 수 있습니다.

앱 내에서 MRC 기능 통합

혼합 현실 앱은 앱 내에서 MRC 사진 또는 비디오 캡처를 시작할 수 있으며 캡처된 콘텐츠는 디바이스의 "카메라 롤"에 저장되지 않고 앱에서 사용할 수 있습니다. 사용자 지정 MRC 레코더를 만들거나 기본 제공 카메라 캡처 UI를 활용할 수 있습니다.

기본 제공 카메라 UI가 있는 MRC

개발자는 카메라 캡처 UI API 를 사용하여 몇 줄의 코드만으로 사용자가 캡처한 혼합 현실 사진 또는 비디오를 가져올 수 있습니다.

이 API는 사용자가 사진이나 비디오를 찍을 수 있는 기본 제공 MRC 카메라 UI를 시작하고 결과 캡처를 앱에 반환합니다. 자체 카메라 UI를 추가하거나 스트림을 캡처하기 위해 하위 수준 액세스를 추가해야 하는 경우 사용자 지정 Mixed Reality 캡처 레코더를 만들 수 있습니다.

화면 캡처가 있는 MRC

HoloLens 2 2021년 5월 업데이트(Windows Holographic 버전 21H1 빌드 20346.1002)를 사용하면 개발자는 화면 캡처 API를 사용하여 혼합 현실 비디오 프레임 스트림을 요청할 수 있습니다.

사용자 지정 MRC 레코더 만들기

사용자는 항상 시스템 MRC 캡처 서비스를 사용하여 사진 또는 비디오를 트리거할 수 있지만 애플리케이션은 MRC와 마찬가지로 카메라 스트림에 홀로그램을 포함하는 사용자 지정 카메라 앱을 빌드할 수 있습니다. 이렇게 하면 애플리케이션이 사용자 입력에서 캡처를 시작하거나, 사용자 지정 기록 UI를 빌드하거나, MRC 설정을 사용자 지정하여 몇 가지 예제의 이름을 지정할 수 있습니다.

HoloStudio는 MRC 효과를 사용하여 사용자 지정 MRC 카메라를 추가합니다.

다른 애플리케이션은 Windows 미디어 캡처 API 를 사용하여 카메라를 제어하고 MRC 비디오 및 오디오 효과를 추가하여 가상 홀로그램 및 애플리케이션 오디오를 스틸 및 비디오에 포함시켜 이 작업을 수행할 수 있습니다.

애플리케이션에는 효과를 추가하는 두 가지 옵션이 있습니다.

• 이전 API: Windows.Media.Capture.MediaCapture.AddEffectAsync()
• 새 Microsoft 권장 API(개체를 반환하여 동적 속성 조작 가능): Windows.Media.Capture.MediaCapture.AddVideoEffectAsync() / Windows.Media.Capture.MediaCapture.AddAudioEffectAsync() 는 앱이 IVideoEffectDefinition 및 IAudioEffectDefinition의 자체 구현을 만들어야 합니다. 예제는 MRC 샘플 앱을 참조하세요.

MRC 비디오 효과(Windows.Media.MixedRealityCapture.MixedRealityCaptureVideoEffect)

MRC 오디오 효과(Windows.Media.MixedRealityCapture.MixedRealityCaptureAudioEffect)

동시 MRC 제한 사항

여러 앱이 동시에 MRC에 액세스하는 경우 특정 제한 사항을 알고 있어야 합니다.

사진/비디오 카메라 액세스

HoloLens 1에서 MRC는 프로세스가 비디오를 녹화하거나 사진을 찍는 동안 사진을 캡처하거나 비디오를 캡처하지 못합니다. 반대의 경우도 마찬가지입니다. MRC가 실행 중인 경우 애플리케이션이 카메라에 액세스하지 못합니다.

HoloLens 2 사용하면 카메라에 대한 액세스를 공유할 수 있습니다. 해상도 또는 프레임 속도를 직접 제어할 필요가 없는 경우 SharedReadOnly에서 SharedMode 속성을 사용하여 MediaCapture를 초기화할 수 있습니다.

기본 제공 MRC 사진 및 비디오 카메라 액세스

Windows 10 기본 제공되는 MRC 기능(Cortana, 시작 메뉴, 하드웨어 바로 가기, Miracast, Windows 디바이스 포털을 통해):

• 기본적으로 ExclusiveControl을 사용하여 실행됩니다.

그러나 공유 모드에서 작동하도록 MRC 하위 시스템에 지원이 추가되었습니다.

• 앱이 사진/비디오 카메라에 대한 ExclusiveControl 액세스를 요청하는 경우 기본 제공 MRC는 사진/비디오 카메라 사용을 자동으로 중지하므로 앱의 요청이 성공합니다.
• 앱에 ExclusiveControl이 있는 동안 기본 제공 MRC가 시작되면 기본 제공 MRC가 SharedReadOnly 모드에서 실행됩니다.

이 공유 모드 기능에는 다음과 같은 특정 제한 사항이 있습니다.

• Cortana, 하드웨어 바로 가기 또는 시작 메뉴를 통한 사진: Windows 10 2018년 4월 업데이트(이상)
• Cortana, 하드웨어 바로 가기 또는 시작 메뉴를 통한 비디오: Windows 10 2018년 4월 업데이트(이상) 필요
• Miracast를 통해 MRC 스트리밍: Windows 10 2018년 10월 업데이트(이상) 필요
• Windows 디바이스 포털 또는 HoloLens 도우미 앱을 통해 MRC 스트리밍: HoloLens 2

개발자를 위한 MRC 액세스

MRC를 사용할 때는 항상 카메라에 대한 배타적 제어를 요청하는 것이 좋습니다. 이렇게 하면 위에 나열된 제한 사항을 알고 있는 한 애플리케이션이 카메라 설정을 완전히 제어할 수 있습니다.

• 초기화 설정을 사용하여 미디어 캡처 개체 만들기
• SharingMode 속성을 배타로 설정

• 원하는 방식으로 카메라 설정
• 앱을 시작하고 시작 API를 사용하여 비디오 프레임을 캡처한 다음 MRC를 사용하도록 설정합니다.

홀로그램 얼굴 추적 샘플에서 위의 프로세스의 전체 샘플을 찾을 수 있습니다.

참고 항목

• 혼합 현실 캡처 개요
• HoloLens 사용자를 위한 혼합 현실 캡처