Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
Consulte Representación desde la cámara fotovoltaica siguiente para obtener instrucciones sobre una nueva funcionalidad de MRC para HoloLens 2.
Puede tomar una foto o vídeo de captura de realidad mixta (MRC) en cualquier momento, pero hay pocas cosas que tener en cuenta al desarrollar la aplicación. Esto incluye los procedimientos recomendados para la calidad visual de MRC y la capacidad de respuesta a los cambios del sistema mientras se capturan los MRC.
Los desarrolladores también pueden integrar sin problemas la captura e inserción de realidad mixta en sus aplicaciones.
MRC en HoloLens (primera generación) admite vídeos y fotos de hasta 720p, mientras que MRC en HoloLens 2 admite vídeos de hasta 1080p y fotos de hasta 4K de resolución.
La importancia de mrc de calidad
Tanto si se trata de capturas de pantalla de realidad mixta en la página de Microsoft Store como de otros usuarios que comparten contenido de captura en redes sociales, Mixed Reality Capture media suele ser una primera exposición de los usuarios a la aplicación. Puede usar MRC para demo de la aplicación, educar a los usuarios, animar a los usuarios a compartir sus interacciones de mundo mixto y para la investigación de usuarios y la resolución de problemas.
Cómo afecta MRC a la aplicación
Habilitación de MRC en la aplicación
De forma predeterminada, una aplicación no tiene que hacer nada para permitir que los usuarios tomen capturas de realidad mixta.
Habilitación de una alineación mejorada para MRC en la aplicación
De forma predeterminada, la captura de realidad mixta combina la salida holográfica del ojo derecho con la cámara foto/vídeo (PV). Estos dos orígenes se combinan mediante el punto de enfoque establecido por la aplicación inmersiva que se está ejecutando actualmente.
Esto significa que los hologramas fuera del plano de enfoque no se alinean debido a la distancia física entre la cámara fotovoltaica y la pantalla derecha.
Establecer el punto de enfoque
Las aplicaciones inmersivas (en HoloLens) deben establecer el punto de enfoque de donde quieren que esté su plano de estabilización. Esto garantiza la mejor alineación tanto en los auriculares como en la captura de realidad mixta.
Si no se establece un punto de enfoque, el plano de estabilización se establecerá de forma predeterminada en 2 metros.
Representación desde la cámara fotovoltaica (participación)
HoloLens 2 agrega la capacidad de que una aplicación inmersiva se represente desde la cámara fotovoltaica mientras se ejecuta la captura de realidad mixta. Para asegurarse de que la aplicación admite la representación adicional correctamente, la aplicación tiene que participar en esta funcionalidad.
La representación desde la cámara fotovoltaica ofrece las siguientes mejoras con respecto a la experiencia de MRC predeterminada:
- La alineación del holograma con el entorno físico y las manos para interacciones cercanas debe ser precisa a todas las distancias. Evite tener un desplazamiento a distancias distintas del punto de enfoque, como puede ver en el MRC predeterminado.
- El ojo derecho del auricular no se verá comprometido, ya que no se usará para representar los hologramas para la salida de MRC.
Obtenga más información sobre la representación desde la cámara fotovoltaica (DirectX).
Procedimientos recomendados (específicos de HoloLens)
Se espera que MRC funcione sin esfuerzo de desarrollo adicional, pero hay algunas cosas que debe tener en cuenta al proporcionar la mejor experiencia de captura de realidad mixta.
MRC usa el canal alfa del holograma para combinarse con las imágenes de la cámara .
El paso más importante es asegurarse de que la aplicación está borrando a negro transparente en lugar de borrar a negro opaco. En Unity, esto se hace de forma predeterminada con MixedRealityToolkit. Si está desarrollando en no Unity, es posible que tenga que realizar un cambio de línea única.
Estos son algunos de los artefactos que puede ver en MRC si la aplicación no se borra en negro transparente:
Errores de ejemplo: bordes negros alrededor del contenido (no se puede borrar a negro transparente)
|
|
Errores de ejemplo: toda la escena de fondo del holograma aparece en negro. Establecer un valor alfa de fondo de uno da como resultado un fondo negro
Resultado esperado: los hologramas aparecen correctamente combinados con el mundo real (resultado esperado si el claro se borra a negro transparente)
Solución:
- Cambie cualquier contenido que se muestre como negro opaco para que tenga un valor alfa de 0.
- Asegúrese de que la aplicación se está borrando en negro transparente.
- Unity se borra automáticamente con MixedRealityToolkit, pero si es una aplicación que no es de Unity, debe modificar el color usado con ID3D11DeiceContext::ClearRenderTargetView(). Quiere asegurarse de que está claro a negro transparente (0,0,0,0) en lugar de negro opaco (0,0,0,1).
Ahora puede ajustar los valores alfa de los recursos si lo desea, pero normalmente no es necesario. La mayoría de las veces, los MRC se verán bien fuera de la caja. MRC supone alfa multiplicado previamente. Los valores alfa solo afectarán a la captura de MRC.
Qué esperar cuando MRC está habilitado en HoloLens
Lo siguiente se aplica tanto a HoloLens (primera generación) como a HoloLens 2, a menos que se indique lo contrario:
- El sistema limitará la aplicación a la representación de 30 Hz. Esto crea un espacio para que MRC se ejecute, por lo que la aplicación no necesita mantener una reserva presupuestaria constante y también coincide con la velocidad de fotogramas de grabación de vídeo de MRC de 30 fps.
- El contenido del holograma en el ojo derecho del dispositivo puede parecer "brillante" al grabar o transmitir MRC: el texto puede ser más difícil de leer y los bordes del holograma pueden parecer más perniciosos (participar en la representación de la tercera cámara en HoloLens 2 evita este peligro)
- Las fotos y vídeos de MRC respetarán el punto de enfoque de la aplicación si la aplicación lo ha habilitado, lo que ayudará a garantizar que los hologramas estén colocados con precisión. En el caso de los vídeos, el punto de enfoque se suaviza para que los hologramas parezcan desplazarse lentamente en su lugar si la profundidad del punto de enfoque cambia significativamente. Los hologramas que están a distintas profundidades desde el punto de enfoque pueden aparecer desplazados del mundo real (vea el ejemplo siguiente, donde el punto de enfoque está establecido en 2 metros, pero el holograma está colocado en 1 metro).
Integración de la funcionalidad de MRC desde la aplicación
La aplicación de realidad mixta puede iniciar la captura de fotos o vídeos de MRC desde dentro de la aplicación, y el contenido capturado está disponible para la aplicación sin almacenarse en el "Rollo de cámara" del dispositivo. Puede crear una grabadora MRC personalizada o aprovechar las ventajas de la interfaz de usuario de captura de cámara integrada.
MRC con interfaz de usuario de cámara integrada
Los desarrolladores pueden usar camera capture UI API para obtener una foto o vídeo de realidad mixta capturada por el usuario con solo unas pocas líneas de código.
Esta API inicia la interfaz de usuario de cámara MRC integrada donde los usuarios pueden tomar una foto o vídeo y devuelve la captura resultante a la aplicación. Puede crear una grabadora de captura de Mixed Reality personalizada si necesita agregar su propia interfaz de usuario de cámara o acceso de nivel inferior para capturar secuencias.
Creación de una grabadora de MRC personalizada
Aunque el usuario siempre puede desencadenar una foto o un vídeo mediante el servicio de captura MRC del sistema, es posible que una aplicación quiera crear una aplicación de cámara personalizada que incluya hologramas en la secuencia de cámara como MRC. Esto permite que la aplicación inicie capturas a partir de la entrada del usuario, compile la interfaz de usuario de grabación personalizada o personalice la configuración de MRC para nombrar algunos ejemplos.
HoloStudio agrega una cámara MRC personalizada mediante efectos de MRC
Las aplicaciones de Unity deben ver Locatable_camera_in_Unity de la propiedad para habilitar hologramas.
Otras aplicaciones pueden hacerlo mediante las API de captura de Windows Media para controlar la cámara y agregar un efecto de vídeo y audio de MRC para incluir hologramas virtuales y audio de la aplicación en imágenes fijas y vídeos.
Obtenga más información sobre cómo crear una grabadora MRC personalizada (DirectX).
Limitaciones simultáneas de MRC
Debe tener en cuenta ciertas limitaciones cuando varias aplicaciones acceden a MRC al mismo tiempo.
Acceso a la cámara de fotos y vídeo
En HoloLens 1, MRC no podrá capturar una foto o capturar un vídeo mientras un proceso está grabando vídeo o tomando una foto. Lo contrario también es cierto: si MRC se está ejecutando, la aplicación no podrá obtener acceso a la cámara.
Con HoloLens 2, es posible compartir el acceso a la cámara. Si no necesita el control directo de la resolución o la velocidad de fotogramas, puede inicializar MediaCapture mediante la propiedad SharedMode con SharedReadOnly.
Acceso integrado a la cámara de fotos/vídeo de MRC
Obtenga información sobre el acceso integrado a la cámara de fotos y vídeo (DirectX) de MRC.
Acceso de MRC para desarrolladores
Se recomienda solicitar siempre control exclusivo para la cámara al usar MRC. Esto garantizará que la aplicación tenga control total de la configuración de la cámara, siempre y cuando tenga en cuenta las limitaciones enumeradas anteriormente.
Obtenga más información sobre el acceso de MRC para desarrolladores (DirectX).