“新媒体跨界交互设计”的教学与研究是目前高校艺术与设计的热门课题，本书从智能、移动、交互三方面介绍媒介的革新，意在搭建艺术与技术之间的桥梁，培养使用新兴科技将艺术方案现实化的跨界工程师和新时代媒体复合型创作人才。

　　本书赠送配套资源，读者可扫描封面资源下载二维码获得750分钟配套教学视频、教学用PPT课件、网页浏览器和HTML5网页游戏创作工具、Cocos Creator案例工程文件、Mugeda案例程序代码、Arduino驱动、软件和键盘控制案例库、Arduino 芯片驱动和控制软件、Mind+和串口控制软件及其协议、AppInventor软件及其开发环境、CinemaMoCap和 IPi Recorder软件说明书等。

　　“新媒体跨界交互设计”的教学与研究是目前高校艺术与设计的热门课题，本书从智能、移动、交互三方面介绍媒介的革新，意在搭建艺术与技术之间的桥梁，培养使用新兴科技将艺术方案现实化的跨界工程师和新时代媒体复合型创作人才。

　　在人类文化传播的进程中，不同形式的媒介，承载着不同时期的文化与文明，从古老的甲骨文、编钟，到文艺复兴时期的画作，再到影像传媒和互联网平台，新兴媒介在衍生与突破中，以创新精神探寻着自身发展的特色，在学科和专业上是相互借鉴、一脉传承的。现代媒体艺术创作者的历史使命之一，就是用不断翻新的数字艺术技法，描述和关怀当代现实情景中的人性，即人的价值，寻求全球化的新媒体艺术表达语言。

　　新媒体技术与设计趋向于微型化、在线式、跨平台。在当今跨界融合中，软件与硬件的交互开发，成为新媒体设计的重要趋势。以往主流的媒体技术伴随着技术的革新，逐渐被替代。21世纪初兴起的Flash交互媒体热潮逐渐被新型HTML5技术取代，开源化与图形化的软件与硬件设备，推动着新媒体样式与内容的不断翻新，并探索着新媒体诸多未知的实验领域。往昔的新兴领域，随着技术的革新与时间的流逝，现今却要用未来考古学的角度来加以审视。本书从媒体发展与传播理论出发，结合现阶段新媒体设计案例，演示新媒体技术的制作方法，图文并茂，并结合二维码和录屏，拓展本书的知识面，增强本书研习的便利性。

　　对于本书的交互叙事章节，英国赫特福德大学的伊恩?威尔科克博士（Dr.Ian Willcock）给予了很多学术指导。在vvvv软件开发方面，赫特福德大学的多洛斯?波利多罗先生（Doros Polydorou）给予了很多技术支持。在无线惯性体感技术上，诺亦腾的戴若犁先生提供了很优秀的技术演示。

　　在2016年赴德国参加的“新媒体艺术方向虚拟现实与网络技术”的访问和学习中，卡尔斯鲁厄艺术与媒体中心（ZKM）视觉媒体部主任贝恩特?林特曼教授（Prof. Bernd Lintermann）、卡尔斯鲁厄理工学院（KIT）文化与基础研究中心（ZAK）和智能传感和执行系统研究中心（ISAS）的研究人员，以及德国哈勒艺术和设计学院的多媒体与虚拟互动设计中心（MM|VR）的教职人员等诸多德国新媒体艺术与教育人士为本书综述章节提供了精彩的创作案例，展现并探讨了新媒体艺术在德国发展的状况与前景。

　　目前图书市场上，计算机图书中夹带随书光盘销售而导致光盘损坏的情况屡屡出现，鉴于此，本书特将随书赠送的资料文件和教学视频文件上传到百度云和清华大学出版社的益阅读平台，供读者下载使用。

　　读者扫描下面第一个二维码和第二个二维码，都可以获得本书赠送的海量配套资源，扫描第三个二维码，可以访问著者主页（www.balancerstudio.cc）。

　　编写团队中的程序专家董海山、艺术批评家匡丽萍，为本书提供了技术案例的分析与重要的文献资料。此外，孟奇、陈正翔、王强、黄浩、郭晓寒老师，以及Mugeda和Lakeshore软件开发团队的技术人员，在本书的编写中提供了诸多技术支持，在此一并致谢。

　　感谢天津美术学院提供的专业教学和艺术研究平台；感谢我的家人，他们的默默支持给予了我充裕的科研时间，是我精神和物质上的强大后盾。对于本书中的理论与技术探讨，欢迎各位读者提出宝贵建议，可发送邮件进行交流。

　　编　者

　　赵杰（Mr.Balancer）2009年毕业于四川美术学院影视动画学院动画专业，获硕士学位。师从吴时敏和周宗凯教授。现任教于天津美术学院动画系和天津美术学院国际艺术教育学院中英数字媒体艺术专业，研究方向为三维动画与交互艺术。

　　天津市“131”创新型人才培养工程第三层次人选。

　　河北工业大学计算机科学与软件学院文化建设顾问。

　　天津市动画学会会员。

　　动漫《涂鸦街》入围第十一届全国美展。

　　动画《ConchCity 海螺之城》入选第十二届全国美展作品征选暨天津美术作品展览。

　　2010年设计第四届国际眼动大会 VI视觉识别系统与天津师范大学眼动实验室标志。

　　2014年《Future-Waterworld未来水世界》荣获第八届UCCEP国际环保插画大赛优秀奖。

　　2016年赴德国进行新媒体艺术的考察与研习。

　　2016年出版专著《交互动画设计：Zbrush+Autodesk+Unity+Kinect+Arduino三维体感技术整合》。

第 1 章 媒介革新中的数字化生存 1 

1.1　技术革新与媒体发展 2 

1.1.1　媒体艺术的传承与变革 2 

1.1.2　学科背景与行业案例 4 

1.2　媒体传播模式 11 

1.2.1　大众传播 11 

1.2.2　自媒体 16 

第 2 章 网络互动媒介 18 

2.1　网络交互设计 18 

2.1.1　多元化的Animate CC 18 

2.1.2　异军突起的HTML5 23 

2.1.3　交互视频Interlude 29 

2.2　智能终端媒体设计 35 

2.2.1　交互程序设计 35 

2.2.2　跨屏互动设计 45 

2.2.3　公众平台与微传播 51 

第 3 章 开源硬件设计 63 

3.1　Arduino 硬件介绍 63 

3.1.1　Arduino与传感器 64 

3.1.2　Arduino IDE开发板程序 68 

3.2　单片机图形化编程 71 

3.2.1　 Mind+ 图形化编程 71 

3.2.2　APP集成开发环境 77 

第 4 章 节点式交互设计 82 

4.1　vvvv原型设计和图形化开发 83 

4.1.1　vvvv连接硬件Arduino 87 

4.1.2　ARTK+Tracker增强现实功能 92 

4.1.3　Boygroup集成控制 94 

4.2　Max/MSP节点式交互开发 96 

4.2.1　Max/MSP程序介绍 96 

4.2.2　Max/MSP声音合成器 100 

4.3　听视觉交互设计 107 

4.3.1　声音与图像互动技术 107 

4.3.2　VJ领域跨界交互 114 

第 5 章 体感交互技术 119 

5.1　动态捕捉与惯性技术 119 

5.1.1　动态捕捉技术发展简述 119 

5.1.2　无线惯性体感技术 128 

5.2　微软Kinect动作捕捉 138 

5.2.1　Kinect新媒体交互艺术 141 

5.2.2　Kinect角色动作捕捉技术 146 

第 6 章 跨平台交互引擎 160 

6.1　Stingray交互引擎 161 

6.1.1　Autodesk数据互导 163 

6.1.2　Stingray Flow流程设计 168 

6.2　Unreal 交互引擎 173 

6.2.1　Unreal蓝图系统 173 

6.2.2　Unreal与硬件交互 186 

6.3　Unity交互引擎 199 

6.3.1　PlayMaker可视化交互编程 201 

6.3.2　Unity3D交互角色制作 215 

6.3.3　Unity3D交互作品发布 230 

第 7 章 新兴媒体综述 243 

7.1　全球化与媒体创新 243 

7.1.1　新媒体工作室介绍 245 

7.1.2　未来媒体发展展望 249 

参考文献 253 

资料网站 254 

附录：全球新媒体中心与艺术节 255 

大事记 257 

　　第 3 章

　　开源硬件设计

　　3.1　Arduino 硬件介绍

　　本章将讲解利用Arduino设备进行硬件交互设计，以及通过软硬件协调配合制作互动作品的方法。

　　Arduino是一款便捷灵活、方便上手的开源电子原型开发平台，包含硬件（各种型号的Arduino板）和软件（Arduino IDE）。软件的开源在科技界有着悠久的历史。开放源码让安全漏洞更易暴露，迭代快速满足用户需求，同时第三方还可以用它来开发新产品。Arduino是开源硬件中的代表，其软硬件设计资料都是全面开放的，构成了一个可供用户搭建机器人或者各类电子项目的开发环境。人们现在能在 Arduino上做最初的原型开发。Arduino的开发之初，其联合创始人马西莫·班兹（Massimo Banzi）在意大利北部的一个设计学校教书，这个项目的开发初衷是为他的学生提供合适的学习硬件。这些学生当中那些甚至完全不懂计算机编程的人，都用Arduino做出了很酷炫的互动作品：有人用其控制和处理传感器，有人用其控制灯闪烁，有人用其制作机器人。Arduino支持多种互动程序，如Flash、Max/MSP、vvvv、Pd、C语言、Processing等。Arduino可以与微软的Kinect配合，通过Uniduino与PlayMaker，跟Untiy一起，创作虚实结合的交互艺术创作。Arduino的接口可以搭配各类微信传感器，通过串口、蓝牙或WiFi，与计算机互传信息。常见的入门级Arduino板是Arduino Uno3和Arduino Leonardo。在Arduino的板上针脚中，D字开头的是数字接口，A字开头的是模拟接口，

　　如图3-1所示。

　　图3-1　 Arduino Uno3和Arduino Leonardo的板面针脚设置

　　3.1.1　Arduino与传感器

　　在工业4.0时代，开源式的单片机与其控制软件逐渐兴起。单片机，又称微控制单元（Micro Control Unit，MCU）。这种芯片级的计算机，集成了原先计算机的CPU、RAM、ROM、定时计数器和多种I/O接口，为不同的应用场合提供了不同组合控制，树莓派就是微型计算机的典型代表。常见的MCU芯片有ARM、AVR、PIC，这里主要介绍AVR芯片单片机，如图3-2所示。

　　图3-2　 AVR芯片单片机

　　AVR芯片单片机是1997年由ATMEL公司挪威设计中心研发出的增强型内置Flash的精简指令集 （Reduced Instruction Set CPU，RISC）高速8位单片机。AVR芯片单片机可以广泛应用于计算机外部设备、工业实时控制、仪器仪表、通信设备、家用电器等各个领域。现在热门的Arduino，就采用了AVR系列芯片。Arduino由马西莫·班兹及其团队开发，是一个基于开放原始码的软硬件平台，构建于开放原始码simple I/O界面版，并且具有使用类似Java、C语言的程序（Processing）与线路（Wiring）开发环境。

　　Arduino 成品开发板尺寸有常规和迷你（mini）两类。Arduino不同版本相互之间都是兼容的， 区别在于主控芯片和周边芯片的变化上，如图3-3所示。主控芯片上带有内存，不同的版本内存不同。周边主要是 USB 控制器有区别。例如 2009年官方推出Duem ilanove，2010年更新了USB控制器后，命名成Arduino Uno。相应地迷你版本被命名成Nano。 Arduino各版本性能比较如下：Uno为标准板，拥有Arduino所有基本功能，使用得最为广泛；Mega 2560拥有较多的输入/输出管脚，适用于需要较多管脚的大型项目或实验；Leonardo带有USB 接口，适用于需要USB功能的应用；Mega ADK带有USB Host接口，可以连接Android手机；Due是Arduino首款基于32位ARM Cortex-M3核心的控制板，特点是速度快和容量大。总的来说，Uno、Mega 2560、Leonardo、Mega ADK都是基于8位或16位的AVR芯片的单片机，而Due的处理器核心是32位的Atmel SAM3X8E，所以编程上与Arduino其他版本有很大差别，不能兼容原来的程序。此外，Arduino LilyPad是Arduino的一个特殊版本，是为可穿戴设备和电子纺织品而专门开发的。Arduino Ethernet是Arduino以太网接口版本，其最大不同就是没有采用USB转串口驱动芯片，而是采用了Wiznet公司的Ethernet接口。在Ethernet Shield上可以找到同样的接口。1个板载microSD卡读卡器通过SD Library读入，用于在网络服务中存储文件。

　　图3-3　 Arduino 各版本图示

　　2016年3月，英特尔（Intel）和Arduino联手发布新一代的开发平台Genuino 101。值得注意的是，Genuino 101集成了英特尔在2015 CES上发布的一款高度集成模块——Intel Curie（居里），体现了英特尔对物联网（IoT）和可穿戴技术发展的重视。Curie只有手指甲那么大，但功能却十分强大，具有低功耗蓝牙（Bluetooth LE）和六轴的加速度计和陀螺仪传感器，这极小的体积非常适用于可穿戴设备，例如智能手环、智能吊坠等。Intel Curie虽然是为了可穿戴设备而设计的，却率先应用到了Ardunio上。从Genuino 101上，我们可以看到这块Intel Curie模块采用了BGA封装，在板子上占用了更少的面积。Genuino 101加入的板载的低功耗蓝牙和六轴加速度计与陀螺仪传感器，能够帮助创客们更容易实现头脑中的好点子和开发IoT物联网产品，如图3-4所示。

　　……