本书系统地阐述了真实感用户界面的概念、模型、交互技术、设计评估方法和关键应用系统。全文由真实感用户界面概述、用户模型、真实感用户界面设计方法、真实感交互技术、真实感用户界面的关键应用以及评估方法等内容组成．本书可以供从事人机交互方向的科研和从业人员参考。

本书是专门介绍基于现实的交互界面的实用图书。基于现实的交互界面，引领人机交互趋势。

序
用户界面是交互式计算机系统的重要组成部分，用户界面的开发工作量占到系统的一半以上，用户界面是决定用户体验的主要因素，提高用户界面的开发效率、提高用户界面的可用性是软件工程中的重要任务。
界面范式是为实现这目的而提出的重要概念，是交互式系统开发的指导思想，它是用户界面高效、高质量开发的前提。人机交互的历史是界面范式不断变迁的历史，经历了命令行界面、图型用户界面到自然用户界面。图形用户界面也称为WIMP界面，是由视窗（Windows）、图标（Icon）、菜单（Menu）以及指点设备（Pointer）所组成的缩写，它以桌面计算为隐喻，具有直接操作，可见即可得等优点，广泛使用了近半世纪，开发了办公软件、管理软件、浏览器等主流软件，造就了个人电脑时代的辉煌。
随着计算机应用的普适化和虚拟化，出现了普适计算、虚拟现实等新的计算环境，人们开始对WIMP界面进行了批判，其主要缺点是：WIMP界面以桌面为隐喻，制约了人机交互，计算机的输入/输出带宽不平衡，WIMP界面采用顺序的对话模式，仅支持精确和离散的输入，不能处理同步操作，不能利用听觉和触觉等。为了克服这些缺点，提出了自然用户界面的概念。Jacob等人从2006年提出了基于现实的交互，其核心思想是让人们在和计算机的交互更接近于现实，根据接近现实的程度，分为四个阶段：物理感知，身体意识和技能，环境意识和技能，以及社会意识和技能。
本书作者在Jacob等人的概念知框架的基础上，进行了基于现实交互的应用实践，总结了相关的技术和方法，包括设计方法、交互技术和评估方法。作者开展的应用实践包括儿童汉字学习、儿童讲故事和儿童音乐。
我们已经进入了万物互联时代，大量交互设备出现，体现人们视、听、触觉的自然交互，迫切需要新的计算范式、人工智能技术的迅速发展，为以自然为特点的交互范式的实现提供了技术基础。
希望本书的出版能够使更多的学者开展人机交互界面范式的研究和实践，加速我国人机交互的新的革命。
基于现实的交互不仅要解决人和物的关系，更要解决人和人的关系和人和自然的关系。基于现实的思想和中国传统的文化思想是一致的，我国可以充分利用这个优势发展我国人机交互，进入这个领域的国际领先水平。

戴国忠
2017年8月

吕菲，女，博士，北京邮电大学数字媒体与设计艺术学院讲师，硕士生导师，此前曾任职于中国科学院软件研究所，现担任中国计算机学会人机交互专业委员会委员、中国工业设计协会信息与交互设计专业委员会北邮通讯员。研究领域为人机交互，在ACM CHI、ACM CSCW、IJHCS、IJHCI等国际学术期刊/会议上发表论文6篇，在《中国科学》《软件学报》等重要期刊/会议上发表论文10余篇，申请发明专利5项（授权2项），作为负责人承担国家自然科学基金项目、北京市社会科学基金项目等多项科研课题。田丰，男，博士，中国科学院软件研究所研究员，副总工程师，人机交互北京市重点实验室副主任，国家重点研发计划首席科学家，国家优秀青年基金获得者。现担任ACM SIGCHI中国分会主席、中国计算机学会人机交互专委会秘书长，担任ACM TiiS、JVLC等人机交互领域国际期刊编委，作为负责人承担国家重点研发计划等国家重点项目。在ACM CHI、IJHCS、TPAMI、ACM CSCW等国内外重要期刊/会议上发表/录用学术论文近百篇，合作出版专著1部，申请发明专利12项（授权7项）。技术成果已覆盖到国内30多个省市，以及北美、欧洲、非洲等多个国家，并在协和、湘雅等大型三甲医院及国家跳水队、羽毛球队等多个国家队成功应用。另外，作为第一完成人获得2015年度北京市科学技术一等奖。

|第一部分| 概述
第1 章 用户界面概述 // 002
1.1 用户界面的发展历史 // 002
1.2 用户界面范式 // 004
1.3 WIMP 界面的批判 // 005
1.4 用户界面的新趋势 // ..6
1.5 本书的动机和主题 // 012
参考文献 // 014
第2 章 基于现实的交互界面概述 // 017
2.1 基本概念 // 017
2.2 现实层级 // 018
2.3 RBI 的作用和意义 // 020
2.4 RBI 的发展现状 // 022
2.5 RBI 的问题和挑战 // 023
参考文献 // 024

|第二部分| 技术和方法
第3 章 基于现实的交互界面设计方法 // 028
3.1 基于现实的交互界面设计流程 // 028
3.2 基于现实的反馈设计方法 // 033
参考文献 // 045
第4 章 基于运动模型的交互技术 // 048
4.1 基于运动模型的笔尾手势交互技术 // 049
4.2 虚拟圆规交互技术TTR // 081
4.3 基于运动模型的手臂伸展交互技术 // 090
参考文献 // 112
第5 章 基于现实的交互界面评估方法 // 120
5.1 理论评估模型 // 120
5.2 定性评估方法 // 124
5.3 生理评估方法 // 126
5.4 基于现实层级的评估框架 // 130
参考文献 // 140


|第三部分| 应用实践
第6 章 儿童汉字学习领域应用实践 // 146
6.1 背景 // 147
6.2 儿童汉字学习调研 // 149
6.3 传统群组游戏调研 // 151
6.4 系统设计 // 154
6.5 系统实现 // 157
6.6 实地研究 // 158
参考文献 // 164
第7 章 儿童讲故事领域应用实践 // 168
7.1 背景 // 168
7.2 儿童日常游戏调研 // 172
7.3 传统皮影戏调研 // 173
7.4 系统设计和实现 // 177
7.5 实地研究 // 181
7.6 用户体验 // 182
参考文献 // 189