ユーザーは、ヘッドセットを搭載した長方形のビューポートを介して Mixed Reality の世界を見ます。 HoloLens では、この四角形の領域はホログラフィック フレームと呼ばれ、ユーザーはデジタル コンテンツを周囲の現実世界にオーバーレイして表示できます。 ホログラフィック フレーム用に最適化されたエクスペリエンスを設計すると、機会が生じ、課題が軽減され、Mixed Reality アプリケーションのユーザー エクスペリエンスが向上します。
コンテンツの設計
多くの場合、デザイナーは、エクスペリエンスの範囲をユーザーがすぐに見ることができるものに制限する必要性を感じ、実際のスケールを犠牲にして、ユーザーがオブジェクト全体を確実に見られるようにします。 同様に、複雑なアプリケーションを持つデザイナーは、多くの場合、コンテンツでホログラフィック フレームをオーバーロードし、操作が困難なユーザーを圧倒し、インターフェイスが煩雑になります。 Mixed Reality コンテンツを作成するデザイナーは、エクスペリエンスをユーザーの直接の前とすぐに表示するように制限する必要はありません。 ユーザーの周りの物理的な世界がマップされている場合、これらすべてのサーフェスは、デジタル コンテンツと対話のための潜在的なキャンバスと見なす必要があります。 エクスペリエンス内の相互作用とコンテンツの適切な設計は、ユーザーが自分のスペースを移動し、重要なコンテンツに注意を向け、Mixed Reality の可能性を最大限に引き出すのに役立つよう促す必要があります。
おそらく、アプリ内での移動と探索を促す最も重要な手法は、 ユーザーがエクスペリエンスに適応できるようにすることです。 ユーザーに、デバイスで "タスクフリー" の短い時間を与えます。 空間にオブジェクトを配置し、ユーザーが移動したり、エクスペリエンスの概要をナレーションしたりするだけです。 この時間は、重要なタスクやエアタップなどの特定のジェスチャを含まない必要があります。 目的は、ユーザーが対話機能を必要とするか、アプリを進める前に、デバイスを介してコンテンツを表示するために対応できるようにすることです。 これは、ホログラフィック フレームとホログラムの性質を介してコンテンツを快適に表示するため、初めてのユーザーにとって特に重要です。
ラージ オブジェクト
多くの場合、エクスペリエンスで必要なコンテンツ (特に現実世界のコンテンツ) は、ホログラフィック フレームよりも大きくなります。 ホログラフィック フレーム内に通常は収まらないオブジェクトは、最初に導入されたとき (より小さなスケールまたは距離) に収まるように縮小する必要があります。 重要なのは、スケールがフレームを圧倒する前に、 オブジェクトのフルサイズをユーザーに表示できるようにすること です。 たとえば、ホログラフィック象はフレーム内に完全に収まるように表示する必要があります。 その後、ユーザーは、動物の全体的な形状を空間的に理解してから、ユーザーの近くの 実際のスケール にサイズを設定できます。
オブジェクトのフルサイズを念頭に置いて、ユーザーはどこに移動してそのオブジェクトの特定の部分を探すのかを期待しています。 イマーシブ コンテンツのエクスペリエンスでは、そのコンテンツのフルサイズを参照する方法を持つことができます。 たとえば、エクスペリエンスで仮想家のモデルを歩き回る場合は、家の中の場所を特定するために、より小さなドールハウスサイズのエクスペリエンスを作成するのに役立ちます。
大型オブジェクトの設計例については、「 ボルボカーズ」を参照してください。
多数のオブジェクト
多くのオブジェクトまたはコンポーネントを使用するエクスペリエンスでは、ユーザーの前でホログラフィック フレームが乱雑にならないように、ユーザーの周りの完全な領域を使用することを検討する必要があります。 特にユーザーに多くのオブジェクトを提供する予定のエクスペリエンスでは、エクスペリエンスへのコンテンツの導入に時間がかかることをお勧めします。 重要なのは、ユーザーがエクスペリエンス のコンテンツ レイアウトを理解できるようにすること です。これは、コンテンツの更新時に周囲の内容を空間的に理解するのに役立ちます。
1 つの手法は、コンテンツを現実世界に固定するエクスペリエンスに永続的なポイント (ランドマークとも呼ばれます) を提供する方法です。 たとえば、ランドマークは、デジタル コンテンツが表示されるテーブルなどの現実世界の物理的なオブジェクトや、コンテンツが頻繁に表示されるデジタル画面のセットなどのデジタル オブジェクトです。 また、オブジェクトをホログラフィック フレームの周辺に配置して、ユーザーがキー コンテンツに目を向けることもできます。 周辺を超えたコンテンツの発見は、 注意ディレクターが支援することができます。
周辺にオブジェクトを配置すると、ユーザーが側面を見るように促すことができます。これは、後の記事で説明するように、アテンション ディレクターが支援できます。 ホログラフィック フレームに関する考慮事項の詳細については、 快適な ドキュメントを参照してください。
相互作用に関する考慮事項
コンテンツと同様に、Mixed Reality エクスペリエンスでの対話は、ユーザーがすぐに見ることができるものに限定する必要はありません。 操作は、ユーザーの現実世界の任意の場所で行うことができます。 これらの操作は、ユーザーが移動してエクスペリエンスを探索することを促すのに役立ちます。
アテンション・ディレクター
関心のあるポイントや重要な相互作用を示することは、エクスペリエンスを通じてユーザーを進行させる上で非常に重要な場合があります。 ホログラフィックフレームのユーザーの注意と動きは、微妙または重い方法で指示することができます。 ユーザーを圧倒しないように、注意ディレクターと Mixed Reality での自由な探索期間 (特にエクスペリエンスの開始時) のバランスを取る必要があります。 一般に、アテンション ディレクターには次の 2 種類があります。
- ビジュアル ディレクター: 特定の方向に移動する必要があることをユーザーに知らせる最も簡単な方法は、視覚的な表示を提供する方法です。 これは、視覚効果 (たとえば、ユーザーがエクスペリエンスの次の部分に向かって視覚的に従うことができるパス) または単純な方向矢印を使用して行うことができます。 ビジュアル インジケーターは、ホログラフィック フレームまたはカーソルに 'アタッチ' ではなく、ユーザーの環境内で接地する必要があります。
- オーディオ ディレクター:空間サウンド は、シーン内のオブジェクトを確立するための強力な方法を提供できます。 エクスペリエンスに入るオブジェクトにユーザーに警告したり、ユーザーのビューをキー オブジェクトに移動して特定のポイントに注意を向けたりすることができます。 オーディオ ディレクターを使用してユーザーの注意を誘導すると、ビジュアル ディレクターよりも微妙で侵入しにくい場合があります。 場合によっては、オーディオ ディレクターから開始してから、ユーザーがキューを認識しない場合はビジュアル ディレクターに進むのが最善です。 オーディオ ディレクターは、ビジュアル ディレクターと組み合わせて強調することもできます。
コマンド、ナビゲーション、およびメニュー
Mixed Reality エクスペリエンスのインターフェイスは、理想的には、制御するデジタル コンテンツと緊密にペアリングされます。 そのため、フリーフローティングの 2D メニューは、多くの場合、操作には適していません。ホログラフィック フレーム内でユーザーが快適すぎる場合があります。 メニューやテキスト フィールドなどのインターフェイス要素を必要とするエクスペリエンスの場合は、 タグに沿ったメソッド を使用して、短い遅延後にホログラフィック フレームに従うことを検討してください。 コンテンツをヘッドアップ ディスプレイのようにフレームにロックすることは避けてください。これは、ユーザーの方向を乱し、シーン内の他のデジタル オブジェクトの没入感を損なう可能性があるためです。
また、インターフェイス要素を制御する特定のコンテンツに直接配置して、ユーザーの物理領域の周囲で自然に操作を行うこともできます。 たとえば、複雑なメニューを個別の部分に分割し、操作が影響する特定のオブジェクトにアタッチされたコントロールの各ボタンまたはグループを使用します。 この概念をさらに進めるために、 対話可能なオブジェクトの使用を検討してください。
視線入力と視線入力のターゲット設定
ホログラフィック フレームは、開発者が対話をトリガーし、ユーザーの注意がどこに住んでいるかを評価するためのツールを提供します。 視線入力 は HoloLens の主要な操作の 1 つで、視線入力を ジェスチャ (エア タップなど) や 音声 (より短く自然な音声ベースの操作を可能にする) とペアリングできます。 そのため、ホログラフィック フレームはデジタル コンテンツを観察し、それを操作するためのスペースの両方になります。 エクスペリエンスで、ユーザーの空間の周囲にある複数のオブジェクト (視線入力とジェスチャを使用してユーザーの空間周辺のオブジェクトを複数選択するなど) を操作する必要がある場合は、それらのオブジェクトをユーザーのビューに取り込むか、 ユーザーの快適さを促進するために必要なヘッド移動の量を制限することを検討してください。
視線入力は、エクスペリエンスを通じてユーザーの注意を追跡し、ユーザーが最も注意を払ったシーンのオブジェクトまたは部分を確認するためにも使用できます。 エクスペリエンスのデバッグに Gaze を使用すると、ヒートマップなどの分析ツールを使用して、ユーザーが最も多くの時間を費やしている場所や、特定のオブジェクトや操作が不足している場所を確認できます。 視線追跡は、エクスペリエンスのファシリテーターのための強力なツールを提供することもできます ( Lowe のキッチンの 例を参照してください)。
頭部と目の追跡の設計の概念を実際に確認する場合は、次のビデオ デモで「ホログラムの設計 - ヘッド 追跡と視線追跡」をチェックします。
このビデオは、"ホログラムの設計" HoloLens 2 アプリから撮影されました。 完全なエクスペリエンスをダウンロードして、ここでお楽 しみください。
パフォーマンス
ホログラフィック フレームの適切な使用は、 パフォーマンス品質 エクスペリエンスの基礎となります。 一般的な技術的 (および使いやすさ) の課題は、ユーザーのフレームをデジタル コンテンツでオーバーロードし、レンダリング パフォーマンスが低下させることです。 代わりに、ユーザーの周りの完全な領域を使用して、記事で既に説明されている手法を使用してデジタル コンテンツを配置し、レンダリングの負担を軽減し、最適な表示品質を確保することを検討してください。
例
ボルボカーズ
ボルボカーズのショールームエクスペリエンスでは、お客様はボルボのアソシエイトによって導かれた HoloLens エクスペリエンスの新しい車の機能について学ぶことをお勧めします。 ボルボはホログラフィックフレームで課題に直面しました:フルサイズの車は大きすぎてユーザーのすぐ隣に置けなすぎます。 ソリューションは、物理的なランドマーク、ショールームの中央テーブル、テーブルの上に置かれた車の小さなデジタルモデルで経験を始めるものでした。 したがって、導入されると完全な車を見ることができ、後で車が現実世界のスケールに成長した後に空間理解感を得ることができます。
ボルボの経験はまた、ビジュアルディレクターを利用し、テーブル上の小規模な自動車モデルからショールームの壁まで長い視覚効果を生み出します。 これは、遠くで車の全景を示す「魔法の窓」効果につながり、実際のスケールで車のさらなる特徴を示しています。 頭部の動きは水平であり、ユーザーからの直接の相互作用なしで(代わりに視覚的にそしてボルボのアソシエイトの経験のナレーションから手がかりを集める)。
ロウズ キッチン
Lowe の店舗体験は、HoloLens を通じて見たさまざまな改造の機会を紹介するために、顧客をキッチンの本格的なモックアップに招待します。 店舗内のキッチンは、デジタル オブジェクトの物理的な背景、複合現実エクスペリエンスを展開するためのアプライアンス、カウンタートップ、キャビネットの空白のキャンバスを提供します。
Lowe のアソシエイトがさまざまな製品オプションと仕上げをガイドするため、物理的なサーフェスは、ユーザーがエクスペリエンスで自分自身を接地するための静的なランドマークとして機能します。 このようにして、アソシエイトはユーザーの注意を「冷蔵庫」または「キッチンの中心」に口頭で指示して、デジタルコンテンツを紹介することができます。
Lowe のアソシエイトは、タブレットを使用して HoloLens エクスペリエンスを顧客に案内します。
ユーザーのエクスペリエンスは、Lowe のアソシエイトによって制御されるタブレット エクスペリエンスによって部分的に管理されます。 この場合のアソシエイトの役割の一部は、過剰な頭の動きを制限し、キッチンの関心ポイント全体でスムーズに注意を向けることでもあります。 タブレット エクスペリエンスでは、Lowe のアソシエイトとキッチンのヒートマップ ビューの形式の視線データも提供され、ユーザーがどこに住んでいるのかを理解するのに役立ちます (キャビネットの特定の領域など)。
Lowe のキッチンエクスペリエンスの詳細については、 Ignite 2016 での Microsoft のキーノートをご覧ください。
フラグメント
HoloLens ゲームフラグメントでは、リビングルームは、手がかりと証拠を示す仮想犯罪現場と、椅子に座って壁に寄りかかっているキャラクターと話す仮想会議室に変わります。
フラグメントは、実際のオブジェクトやサーフェスと対話する文字を使用して、ユーザーの自宅で行われるよう設計されています。
ユーザーが最初にエクスペリエンスを開始すると、操作をほとんどまたはまったく行わない短時間の調整が行われます。 代わりに、周囲を見回して向きを変え、ゲームの対話型コンテンツに部屋が適切にマップされるようにすることをお勧めします。
経験を通じて、キャラクターは焦点になり、ビジュアルディレクターとして機能します(キャラクター間の頭の動きは、関心のある領域に向かって見えたりジェスチャーしたりします)。 また、ユーザーがオブジェクトやイベントを見つけるのに時間がかかりすぎて、空間オーディオ (特にシーンに入るときに文字の声) を大量に使用する場合は、より目立つ視覚的な手がかりにも依存します。
宛先: Mars
NASAの ケネディ宇宙センターで紹介された火星の経験では、訪問者は伝説の宇宙飛行士バズ・オルドリンの仮想表現によって案内され、火星の表面への没入型旅行に招待されました。
仮想 Buzz Aldrin は、Destination: Mars のユーザーの焦点になります。
イマーシブエクスペリエンスとして、これらのユーザーは、仮想火星の風景を見るために頭をあらゆる方向に動かして、周りを見回すように奨励されました。 ユーザーの快適さを確保するために、Buzz Aldrin のナレーションと仮想プレゼンスは、エクスペリエンス全体の焦点を提供しました。 Buzz (Microsoft の Mixed Reality Capture Studios によって作成された) のこの仮想記録は、実際の人間のサイズで、ユーザーがほぼ完全なビューで彼を見ることができるように部屋の隅に立っていました。 Buzz のナレーションは、環境のさまざまなポイント (たとえば、床の上の火星の岩のセットや遠くの山脈) に焦点を当てるようユーザーに指示し、彼によって導入された特定のシーンの変更やオブジェクト。
仮想ナレーターはユーザーの動きに従い、エクスペリエンス全体を通じて強力な焦点を作成します。
バズのリアルな表現は強力な焦点を提供し、バズをユーザーに向ける微妙なテクニックを備え、彼がそこにいるかのように感じさせます。 ユーザーがエクスペリエンスについて移動すると、ユーザーが周囲を超えすぎると、Buzz はニュートラル状態に戻る前にしきい値に移行します。 ユーザーがバズから完全に目を向けた場合 (たとえば、シーン内の他の場所を見る場合)、Buzz に戻ると、ナレーターの方向の位置が再びユーザーにフォーカスされます。 このような手法は、強力な没入感を提供し、ホログラフィック フレーム内に焦点を作成し、過度のヘッド移動を減らし、 ユーザーの快適さを促進します。