交互入门

windows 输入类型

Windows 应用中的用户交互是输入和输出源(例如鼠标、键盘、笔、触摸、触摸板、语音、 Cortana、控制器、手势、凝视等)的组合,以及支持扩展体验的各种模式或修饰符(包括鼠标滚轮和按钮、笔橡皮擦和桶按钮、触摸键盘和后台应用服务)。

UWP 使用“智能”上下文交互系统,在大多数情况下,无需单独处理应用接收的唯一类型的输入。 这包括将触摸、触摸板、鼠标和笔输入作为通用指针类型进行处理,以支持静态手势,例如点击或按住,以及操控手势(如滑动以进行平移)或渲染数字书写。

熟悉每个输入设备类型及其与某些外形规格配对时的行为、功能和限制。 这可以帮助你确定平台控件和功能是否足以满足你的应用,或者要求你提供自定义的交互体验。

Gaze

对于 Windows 10 2018 年 4 月更新,我们引入了对使用眼睛和头部跟踪输入设备的凝视输入的支持。

注释

Windows 10 Fall Creators Update 中引入了对眼动跟踪硬件的支持以及眼部控件,这是一项内置功能,可用于使用眼睛控制屏幕指针、使用屏幕键盘键入内容,以及使用文本转语音与用户通信。

设备支持

  • 平板电脑
  • 电脑和笔记本电脑

典型用法

根据用户眼睛的位置和移动,跟踪其凝视、注意力和存在感。 这种强大的新方法能够使用和与 Windows 应用进行交互,尤其适用于作为辅助技术,帮助患有神经肌肉疾病(如 ALS)或其他肌肉和神经功能障碍的用户。 凝视输入为游戏(包括目标获取和追踪)以及传统生产力应用程序、信息亭和其他交互式场景提供了绝佳的机会,当传统输入设备(键盘、鼠标、触摸)不可用时,或者当需要空出用户的双手执行其他任务(比如提购物袋)时,它便显得尤为有用。

详细信息

凝视交互和眼动跟踪

Surface触控旋钮

对于 Windows 10 周年更新,我们引入了输入设备的 Windows Wheel 类别。 Surface Dial 是此类设备中的第一个。

设备支持

  • 平板电脑
  • 电脑和笔记本电脑

典型用法

Surface Dial 的设计基于旋转动作(或手势)的外形规格,旨在作为辅助的多模式输入设备,用于补充或修改主要设备的输入。 在大多数情况下,设备由用户的非主导手操作,而在他们用主导手执行任务时(如用笔书写)。

详细信息

Surface Dial 设计指南

Cortana

在 Windows 10 中, Cortana 扩展性允许你处理来自用户的语音命令并启动应用程序以执行单个作。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT
  • Xbox
  • HoloLens

cortana

典型用法

语音命令是在语音命令定义(VCD)文件中定义的单个话语,通过 Cortana 定向到已安装的应用。 应用可以在前台或后台启动,具体取决于交互的级别和复杂性。 例如,需要其他上下文或用户输入的语音命令最好在前台进行处理,而基本命令可以在后台进行处理。

集成应用的基本功能,并为用户提供一个中心入口点,让用户无需直接打开应用即可完成大部分任务,使 Cortana 成为应用和用户之间的联络人。 在许多情况下,这可以节省用户大量时间和精力。 有关详细信息,请参阅 Cortana 设计指南

详细信息

Cortana 设计指南  

语音

语音是用户与应用程序交互的有效自然方式。 这是与应用程序通信的简单准确方法,使用户能够高效工作,并在各种情况下保持知情状态。

语音可以补充或在许多情况下,作为主要输入类型,具体取决于用户的设备。 例如,HoloLens 和 Xbox 等设备不支持传统输入类型(除了特定方案中的软件键盘)。 相反,它们依赖于语音输入和输出(通常结合其他非传统输入类型,如凝视和手势)来完成大多数用户交互。

文本转语音(也称为 TTS 或语音合成)用于通知或引导用户。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT
  • Xbox
  • HoloLens

演讲

典型用法

语音交互有三种模式:

自然语言

自然语言是我们定期与人进行口头互动的方式。 我们的言语会因人和情境的不同而变化,但通常能够被理解。 如果不是,我们经常使用不同的单词和单词顺序来获得相同的想法。

与应用的自然语言交互类似:我们通过设备与应用交谈,就像它是一个人一样,并期望它相应地理解和反应。

自然语言是语音交互的最高级模式,可通过 Cortana 实现和公开。

命令和控制

命令和控制是使用口头命令来激活控件和功能,例如单击按钮或选择菜单项。

由于命令和控制对于成功的用户体验至关重要,因此通常不建议使用单个输入类型。 语音通常是用户的多个输入选项之一,具体取决于用户的首选项或硬件功能。

语音听写

最基本的语音输入法。 每个话语都转换为文本。

当应用不需要理解含义或意图时,通常使用听写。

详细信息

语音设计指南  

触笔

笔(或触笔)可用作像素精确的指向设备,如鼠标,是数字墨迹输入的最佳设备。

注意 有两种类型的笔设备:主动和被动。

  • 被动笔不包含电子产品,并有效地模拟手指的触摸输入。 他们需要一种能够基于接触压力识别输入的基本设备显示屏。 由于用户在输入图面上写入时经常休息一下,因此输入数据可能会因手掌拒绝失败而受到污染。
  • 活跃笔包含电子设备,可以与复杂的设备显示器协作,从而向系统和应用程序提供更丰富的输入数据(包括悬停或邻近数据)。 触控笔误触屏蔽功能更加稳健。

在此处引用笔设备时,我们指的是提供丰富输入数据的活动笔,主要用于精确墨迹和指向交互。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT

笔

典型用法

Windows 墨迹平台以及笔提供了创建手写笔记、绘图和批注的自然方法。 该平台支持从数字化器输入捕获墨迹数据、生成墨迹数据、将数据呈现为输出设备上的墨迹笔划、管理墨迹数据以及执行手写识别。 除了在用户写入或绘制时捕获笔的空间移动外,你的应用还可以收集压力、形状、颜色和不透明度等信息,以提供与使用笔、铅笔或画笔在纸上绘制密切相关的用户体验。

触摸与笔输入的不同之处在于,触摸能够通过在这些对象上执行物理手势(如轻扫、滑动、拖动、旋转等),模拟在屏幕上直接操控 UI 元素的能力。

您应提供专用于触笔的 UI 命令或交互功能,以支持这些操作。 例如,使用上一个和下一个(或 + 和 -)按钮让用户翻阅内容页面,或旋转、调整大小和缩放对象。

详细信息

笔设计指南  

触控

借助触摸,一个或多个手指的物理手势可用于模拟 UI 元素的直接操作(例如,平移、旋转、调整大小或移动),作为替代输入方法(类似于鼠标或笔),或作为补充输入方法(用于修改其他输入各个方面,如用笔绘制的墨迹笔划)。 此类触觉体验可以为用户与屏幕上的元素交互时提供更自然、更真实的感觉。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT

触摸

典型用法

对触摸输入的支持可能会因设备而异。

有的设备根本不支持触控,有的设备支持单点触控,而另一些设备则支持多点触控(两个或多个触控点)。

支持多点触控输入的大多数设备通常识别十个唯一的并发联系人。

Surface Hub 设备可识别 100 个唯一的并发触点。

通常来说,触摸是:

  • 单个用户使用,除非是使用 Microsoft 团队设备(如 Surface Hub),这时会更强调协作。
  • 不受设备方向的约束。
  • 用于所有交互,包括文本输入(触摸键盘)和墨迹书写(应用配置)。

详细信息

触摸设计指南  

Touchpad

触摸板将间接多点触控输入与指向设备的精确输入(如鼠标)组合在一起。 这种组合使触摸板既适合触摸优化 UI,又适合生产力应用的较小目标。

设备支持

  • 电脑和笔记本电脑
  • IoT

触摸板

典型用法

触摸板通常支持一组触摸手势,这些手势提供了类似于触摸对对象和用户界面的直接操控支持。

由于触摸板支持的交互体验的这种融合,我们还建议提供鼠标样式的 UI 命令或功能,而不是仅依赖对触摸输入的支持。 提供特定于触摸板的 UI 命令或功能来支持这些交互。

应提供特定于鼠标的 UI 命令或功能来支持这些交互。 例如,使用上一个和下一个(或 + 和 -)按钮让用户翻阅内容页面,或旋转、调整大小和缩放对象。

详细信息

触摸板设计指南  

键盘

键盘是文本的主要输入设备,对于某些残障人士或认为它与应用交互更快、更高效的用户来说通常不可缺少。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT
  • Xbox
  • HoloLens

键盘

典型用法

用户可以通过硬件键盘和两个软件键盘与通用 Windows 应用进行交互:屏幕键盘(OSK)和触摸键盘。

OSK 是一种视觉对象、软件键盘,你可以使用它代替物理键盘,使用触摸、鼠标、笔/触笔或其他指向设备(不需要触摸屏)键入和输入数据。 没有物理键盘的系统可以使用 OSK,而对于由于移动障碍而无法使用传统物理输入设备的用户,OSK 也提供了便利。 OSK 模拟硬件键盘的大部分功能(如果不是全部)。

触摸键盘是一种视觉对象软件键盘,用于带有触摸输入的文本输入。 触摸键盘不是 OSK 的替代项,因为它仅用于文本输入(它不模拟硬件键盘),并且仅在文本字段或其他可编辑的文本控件获得焦点时才显示。 触摸键盘不支持应用或系统命令。

注意 OSK 优先于触摸键盘,如果 OSK 存在,则不会显示该键盘。

一般情况下,键盘为:

  • 单个用户。
  • 不受设备方向的约束。
  • 用于文本输入、导航、游戏操作和辅助功能。
  • 始终可用,无论是主动还是被动。

详细信息

键盘设计指南  

鼠标

鼠标最适合生产力应用和高密度 UI,用户交互需要像素级精度来定位和命令。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT

鼠

典型用法

可以使用添加各种键盘键(Ctrl、Shift、Alt 等)来修改鼠标输入。 这些键可以与鼠标左键、鼠标右键、滚轮按钮和扩展鼠标优化命令集的 X 按钮结合使用。 (某些Microsoft鼠标设备还有两个额外的按钮,称为 X 按钮,通常用于在 Web 浏览器中向前导航)。

与笔类似,鼠标和触摸输入的不同在于,触摸能够通过在对象上执行诸如轻扫、滑动、拖动、旋转等物理手势,来实现对屏幕上 UI 元素的直接操控。

应提供特定于鼠标的 UI 命令或功能来支持这些交互。 例如,使用上一个和下一个(或 + 和 -)按钮让用户翻阅内容页面,或旋转、调整大小和缩放对象。

详细信息

鼠标设计指南  

手势

手势是任何形式的用户移动,可识别为用于控制或与应用程序交互的输入。 手势采用多种形式,从使用手来瞄准屏幕上的内容,到特定的、学习的移动模式,到使用整个身体进行长时间的连续移动。 设计自定义手势时要小心,因为其含义可能因语言环境和文化而异。

设备支持

  • 电脑和笔记本电脑
  • IoT
  • Xbox
  • HoloLens

手势

典型用法

交互完成后会触发静态手势事件。

  • 静态手势事件包括单击、双击、右键单击和长按。

操控手势事件表示正在进行的交互。 当用户触控某个元素并继续操作时,将开始触发这些事件,直到用户抬起手指或操作取消。

  • 操作事件包括缩放、平移或旋转等多点触控交互,以及使用惯性和速度数据的交互,例如拖移。 (操作事件提供的信息不标识交互,而是提供位置、位移增量和速度等数据。)

  • 指针事件(如 PointerPressed 和 PointerMoved)为每个触摸接触提供低级别的详细信息,包括指针运动以及区分新闻和发布事件的能力。

由于 Windows 支持的交互体验的融合,我们还建议提供鼠标样式的 UI 命令或提示,而不是只依赖对触摸输入的支持。 例如,使用上一个和下一个(或 + 和 -)按钮让用户翻阅内容页面,或旋转、调整大小和缩放对象。

游戏板/控制器

游戏板/控制器是一种专用于玩游戏的高度专用设备。 但是,它还用于模拟基本键盘输入,并提供与键盘非常相似的 UI 导航体验。

设备支持

  • 电脑和笔记本电脑
  • IoT
  • Xbox

控制器

典型用法

玩游戏并与专用主机交互。

多个输入

尽可能容纳尽可能多的用户和设备,并设计应用以处理尽可能多的输入类型(手势、语音、触摸、触摸、触摸板、鼠标和键盘),从而最大限度地提高灵活性、可用性和辅助功能。

设备支持

  • 手机和平板电话
  • 平板电脑
  • 电脑和笔记本电脑
  • Surface Hub
  • IoT
  • Xbox
  • HoloLens

多个输入

典型用法

就像人们在相互通信时使用语音和手势的组合一样,在与应用交互时,多种类型和输入模式也很有用。 但是,这些组合的交互需要尽可能直观和自然,因为它们也会产生非常令人困惑的体验。