随着科技的进步，互联网逐渐从电脑、手机屏幕走向VR、AR、智能座舱、智能家居等三维空间，为了让用户更自然地获取信息，多模态交互将起到关键作用。本书从人工智能、用户体验和技术的角度出发，介绍不同模态之间的差异，本书重点讲解语音交互设计、手势设计、图形和语音界面融合设计三个方面的知识。 本书适合从事人工智能、语音交互、VR、AR、智能座舱和智能家居的产品经理和设计师阅读，希望本书能帮助读者更清晰地知道未来的科技走向。

薛志荣，一名拥有技术背景的设计师，先后在百度、小鹏汽车和华为从事交互设计和人机交互设计相关工作，《AI改变设计——人工智能时代的设计师生存手册》作者。平时喜欢研究新领域，包括人工智能、智能设计、智能座舱和虚拟现实等，拥有多项发明和外观专利。个人微信公众号为“薛志荣”，定期更新前沿领域的设计文章，欢迎阅读和交流。

第1章 多模交互的演进1
1.1 什么是多模交互 1
1.1.1 人机交互的发展历史 1
1.1.2 多模交互的定义 4
1.1.3 多模交互技术逐渐成熟 6
1.1.4 多模融合的三个阶段 9
1.2 初步融合阶段 10
1.2.1 多模态之间的关系 10
1.2.2 多模融合的关键12
1.2.3 多模交互框架 13
1.3 语义理解阶段 14
1.3.1 什么是语义 14
1.3.2 语义对于多模交互的重要性 15
1.4 任务自适应阶段 17
1.4.1 认知负荷 17
1.4.2 隐私性19
1.4.3 安全性20
1.4.4 模态容量 20
1.4.5 信息重要程度和交互历史 21
1.4.6 交互距离22
1.5 当前我们能做什么 23

第2章 多模交互包含什么 25
2.1 视觉系统的特点 25
2.1.1 视觉范围25
2.1.2 3.5 毫米的中央凹和每秒3~4次的跳动频率 26
2.1.3 中央视觉和周围视觉 28
2.1.4 我们是如何阅读的 29
2.1.5 光亮与黑暗31
2.2 听觉32
2.2.1 听觉系统的特点32
2.2.2 视觉和听觉的区别 34
2.3 触觉 35
2.3.1 触觉系统的特点 35
2.3.2 触觉感知的相关应用 35
2.4 嗅觉、味觉和五感理论 40
2.4.1 嗅觉系统和味觉系统的特点 40
2.4.2 嗅觉营销相关案例 42
2.4.3 嗅觉交互上的探索 43
2.4.4 嗅觉和味觉设计存在的问题 45
2.4.5 五感理论 45
2.5 主动交互47
2.5.1 包含情绪的语音 47
2.5.2 肢体动作 48
2.5.3 手势 49
2.5.4 面部表情 51
2.5.5 眼神 51
2.6 无须主动交互的生物识别技术 52
2.6.1 指纹识别 53
2.6.2 人脸识别 53
2.6.3 虹膜识别 54
2.6.4 声纹识别 55
2.6.5 心率检测 56
2.6.6 肌肉电信号57
2.6.7 脑电波 58

第3章 语音交互设计61
3.1 声音的构成和作用 62
3.1.1 语言 63
3.1.2 音乐和音效 67
3.2 语音交互的特点 70
3.2.1 语音交互的优势 70
3.2.2 语音交互的不足 72
3.2.3 语音交互的五大特性 77
3.3 创造一位智能语音助手 78
3.3.1 寻找合适的音色 80
3.3.2 确定智能语音助手和用户的关系 82
3.3.3 构建智能语音助手的用户画像 84
3.3.4 设计合理的唤醒词 86
3.4 语音交互框架、意图设计 88
3.4.1 四种语音交互模式 88
3.4.2 四种“唤醒+识别”方式89
3.4.3 语音交互状态设计 90
3.4.4 意图设计术语介绍 94
3.4.5 智能语音平台如何听懂用户说的话 98
3.4.6 设计能听懂用户说什么的智能语音产品 101
3.5 对话设计原则 107
3.5.1 设计对话前需要了解的事项 107
3.5.2 任务型对话设计原则 113
3.5.3 修复对话设计原则 118
3.6 语音交互的GUI 设计 121

第4章 仍在起步的隔空手势交互130
4.1 手势的介绍 130
4.1.1 手势交互的发展 130
4.1.2 手势的分类 132
4.2 隔空手势设计 135
4.2.1 设计隔空手势时需要考虑的问题 135
4.2.2 导航手势 141
4.2.3 语义手势 144
4.2.4 操纵手势 146
4.3 结合隔空手势的UI设计 147
4.3.1 数字手部 147
4.3.2 直接触摸 149
4.3.3 指针设计 150
4.3.4 交互组件的改造 152

第5章 语音图形界面157
5.1 GUI和VUI的区别 158
5.1.1 GUI的特点 158
5.1.2 VUI的特点160
5.1.3 GUI和VUI融合时会遇到的问题 162
5.2 GUI和VUI融合的三种实现方式 165
5.2.1 应用级语音交互 166
5.2.2 可见即可说 170
5.2.3 系统级语音交互 171
5.3 VGUI设计原则 172
5.4 重构GUI操作 179
5.4.1 GUI控件文案设计 179
5.4.2 GUI组件和容器文案设计 184
5.4.3 特殊的控件和组件 185
5.5 VGUI核心设计要点187
5.5.1 全局指令和局部指令的权衡 187
5.5.2 控件/组件属性的重构 192
5.5.3 手势的融合 200

第6章 跨设备和多模交互 201
6.1 跨设备交互是什么201
6.1.1 跨设备和多模交互的关系 201
6.1.2 跨设备交互的六个维度 202
6.2 浅谈跨设备和多模交互细节 206
6.2.1 结合用户场景进行考虑206
6.2.2 结合信息密度和显示距离进行考虑208
6.2.3 模态的过渡和打断 211
6.3 未来可期 212
6.3.1 面向未来的分布式操作系统 212
6.3.2 普适计算及未来 213