本书关注云计算、大数据、物联网、认知计算、机器学习的基本原理、智能应用和编程实战，包括AWS、微软Azure云、谷歌DeepMind和寒武纪神经芯片等大量案例。全书共四个部分，部分介绍云计算、数据科学和自适应计算的基本原理，第二部分涵盖云架构、虚拟机、Docker容器和多云混搭服务等，第三部分讲解机器学习、深度学习、类脑计算机和AR/VR等的原理，第四部分讨论MapReduce、Hadoop、Spark、TensorFlow和GraphX云编程。本书适合作为高等院校计算机相关专业高年级本科生和研究生的教材，也适合互联网、物联网等领域的专业技术人员参考。

前　　言Cloud Computing for Machine Learning and Cognitive Applications以“云大物移智”为标志的新技术革命开启了科技的新时代，我们看到了云计算、大数据、物联网、移动互联网与人工智能等新兴领域的蓬勃发展。这对计算机科学与信息工程专业人才的知识结构与创新能力提出了新的要求。在这样的智能时代，计算机与人工智能学科的教育及人才培养需要结合数理基础知识、算法与软件知识以及云平台核心知识与能力，特别是在领域应用与知识交叉方面需要新的教材，这也是出版本书的主要目的。
本书英文版在美国南加州大学完成，中文版的翻译由武汉大学计算机学院的五位老师承担：袁志勇，杜瑞颖，张立强，伍春香，蔡朝晖。全书的翻译与校对工作在袁志勇教授和杜瑞颖教授的协调下完成。我在此对他们专业的学术工作与敬业精神表示由衷的感谢。
全书共10章，强调云计算、大数据、物联网、认知计算、机器学习的基本原理与智能应用。本书可作为高等院校与研究院的基础教材，专业领域跨越计算机科学、人工智能、机器学习与大数据。本书之前的版本《云计算与分布式系统》曾作为美国南加州大学、清华大学与武汉大学的教材。我们为授课教师提供配套的课件与习题解答，请访问华章网站（www.hzbook.com）下载教辅资料。
计算机、互联网与人工智能的突飞猛进自新旧千年交替以来，计算机和信息技术在规模、设备以及平台方面都发生了重大变化。全球数以千计的数据中心正在转化为云端，使数以亿计的个人、企业和政府用户受益。30亿部智能手机正在用于与社交网络云进行互动。所有这些都大大改变了人类的活动和交往。物联网（IoT）和机器智能正在重塑我们的生活方式。这些信息技术的进展正在把我们的社会转变为由许多人工智能（AI）和自动化认知解决方案所支撑的规模经济。事实上，我们正在进入一个拥有云数据分析、智能机器人、机器学习和认知服务的时代。
为实现新的计算和通信模式，我们必须用新功能提升云计算生态系统，这些新功能涵盖机器学习、物联网感知、数据分析以及能模拟或增强人类智能的认知能力。最终目标是建立大数据产业，提供认知服务，在更高的效率下处理劳动密集型任务，从而弥补人类在这方面的缺陷。我们必须设计成功的云系统、网络服务和数据中心，用于存储、处理、学习和分析大数据，以发现新知识或做出重要决策。这些目标可通过硬件虚拟化、机器学习、经训练的深度学习、神经形态计算机架构以及认知服务来实现。例如，新的云服务可以包括学习即服务（LaaS）、分析即服务（AaaS）或安全即服务（SaaS）等。
如今，IT公司、大型企业、大学和政府正逐渐将其数据中心转移到云设施中，以支持移动和网络应用。拥有类似于云的集群架构的超级计算机也正在转型，以处理大数据集或数据流。智能云对于支持社交、媒体、移动端、商业和政府运营的需求量极大。谷歌、亚马逊、微软、脸书、苹果、百度、阿里巴巴、腾讯和IBM等公司正在争相开发物联网设备、智能机器人、自动驾驶汽车、飞行汽车和认知系统。高科技产业正在进入一个挑战与机遇并存的新世界。
本书速览与导读本书旨在帮助高年级本科生或研究生掌握现代云系统架构、机器学习算法、并行和分布式编程以及用于大数据挖掘、预测分析和认知服务应用的软件工具，并推动大数据和机器智能时代的职业发展和业务转型。它也可以作为专业人士、科学家或工程师的参考书。本书是我过去二十年的研究、教学和授课经验的结晶，读者可利用本书学习云和机器学习方面的技能。本书共四个部分，包含10 章，现简要介绍如下。
第一部分有两章，介绍大数据应用中的云计算、数据科学和自适应计算的基本原理。这两章为后续八章提供了必要的理论基础和技术基础。
第二部分有三章，涵盖云架构、虚拟机、Docker容器、移动云、物联网和多云混搭服务，案例研究包括AWS、谷歌云、微软Azure云、IBM智能云、Salesforce云、SGI Cyclone、苹果iCloud、NASA Nebula云及CERN云。
第三部分有两章，主要介绍机器学习、深度学习、人工智能机器、智能机器人、神经形态处理器、类脑计算机、增强现实（AR）和虚拟现实（VR）的原理， 涵盖谷歌脑计划、DeepMind、X-Lab计划、IBM SyNapse神经形态芯片、Bluemix云和认知计划以及中国的寒武纪神经芯片。
第四部分有三章，介绍关于MapReduce、Hadoop、Spark、TensorFlow和GraphX的云编程范例、软件工具以及应用开发，最后一章专门讨论云性能、隐私和安全问题。所有云系统、编程范例、机器学习方法和软件工具在书中都有具体的应用示例。
将人工智能赋予云端和物联网平台本书将大数据理论与智能云中的新兴技术相结合，并利用新的应用探索分布式数据中心。如今，信息物理系统（CPS）出现在智慧城市、自动驾驶、情感检测机器人、送货无人机、虚拟现实、增强现实以及认知服务中。为促进智能云或数据中心的有效大数据计算，本书采用技术融合方式将大数据理论与云设计原理及超级计算标准相结合。物联网感知技术可实现大规模的数据采集和筛选。在云端或物联网平台上，机器学习和数据分析有助于智能决策，自动且无人为干预。
拥有AI特性的增强云和超级计算机是我们的根本目标。这些人工智能和机器学习任务在实际中的应用由Hadoop、Spark和TensorFlow程序库支持。数据分析师、认知科学家和计算机专业人士须共同努力解决实际问题。这种协作学习必须包含云端、移动设备、数据中心和物联网资源，最终目标是发现新知识或者做出重要决策。多年以来，我们一直在探索如何建造类脑计算机，它能在感知、记忆、识别和理解中模仿或增强人类功能。
当今，谷歌、IBM、微软、脸书、中国科学院以及百度都在探索云计算、机器学习和物联网应用中的人工智能。本书涵盖一些新的神经形态芯片和领先的研究中心构建的软件平台，它使认知计算成为可能。本书考察了在硬件、软件和生态系统方面的进步，不仅注重机器学习技术，包括模式识别、语音/图像理解以及低成本、低功耗需求的语言翻译和理解，而且强化了用手机、机器人、物联网平台、数据中心以及云计算构建未来网络空间的新方法。
读者对象和教师指南本书是为满足日益增长的计算机科学和电气工程教育课程的需求而编写的。教师可选择与课程相适应的不同章节进行讲授，从而满足各层次学生的需求。本书适合在高年级本科生和研究生的教学中使用，同时，也能帮助那些希望增进技能以迎接新的IT技术挑战的计算机专业人士。
讲授云计算课程应至少覆盖8章。如果教学课时有限，可跳过第2章和第7章。对于机器学习课程，可跳过第3章或第10章。对于高年级本科生课程，讲授7章（1，2，3，4，5，6，8）足够。任何课程都要覆盖云计算和机器学习两个主题，此外，本书也适合作为大数据科学、物联网应用和分布式计算课程的参考书。
计算机、互联网等高科技行业的工程师、科学家及管理者也能从本书中找到有益的参考。例如：英特尔工程师可能会发现本书有助于推动物联网的概念；亚马逊、谷歌、微软、Apache、Databricks和Cloudera的软件工程师及大数据分析师可能会发现它在日常工作中有用；谷歌脑计划、X-Lab计划和DeepMind的开发人员可在深度学习服务中使用书中知识进行语音、文字、图像理解以及医疗保健和自动驾驶开发；在新兴认知行业中，IBM已确定将物联网和认知服务用于扩大其在社会和政府部门的业务；脸书、苹果和百度可能希望利用AR和VR技术探索新的AI特性、社交服务与个性化娱乐；最后，亚马逊和阿里巴巴云的买卖双方可能希望在电子商务和P2P社交服务之外拓展网络购物及交易业务。
黄铠2018年5月于深圳

作者简介Cloud Computing for Machine Learning and Cognitive Applications黄铠教授是计算机系统和互联网技术领域的国际知名学者。目前，他是香港中文大学（深圳）校长讲座教授，兼任中国科学院云计算中心首席科学家。他拥有加州大学伯克利分校的博士学位，主要研究领域为计算机体系结构、并行与分布式处理、云计算、大数据、物联网、移动互联网、网络安全与人工智能应用等方面，目前主要关注大数据在医疗保健、智慧城市与移动社交网络方面的应用。
加盟香港中文大学与中国科学院之前，他是美国南加州大学（USC）电子工程与计算机科学系的终身教授，现在已从该校退休。他曾在普渡大学任教多年，并先后在清华大学、香港大学、台湾大学和浙江大学担任特聘讲座教授。他在专业领域发表了260篇科学论文，截至2018年4月在谷歌学术搜索中被引次数超过17400次，h指数为55。他是IEEE计算机协会的终身会士。他于2012年获得国际云计算大会（IEEE CloudCom）终身成就奖，2004年获得中国计算机学会（CCF）首届海外杰出贡献奖。
黄教授创作或合著了10余本英文学术专著，被翻译为五国语言。其中，有5本被翻译为中文，包括清华大学出版社出版的《高等计算机系统结构》（1995），以及机械工业出版社出版的《可扩展并行计算》（2000）、《云计算与分布式系统》（2013）与《认知计算与深度学习：基于物联网云平台的智能应用》（2018）等。这些书与本书是配套的关系。此外，他曾担任《并行与分布式计算》（JPDC）杂志主编28年，还曾担任IEEE《云计算会刊》（TCC）、《并行和分布式系统》（TPDS）、《服务计算》（TSC）以及《大数据智能》杂志的编委。
多年来，黄教授在南加州大学和普渡大学共培养博士生21人，其中4人晋升为IEEE会士，1人为IBM会士。他在IEEE与ACM国际会议和全球领先的大学进行过60多次主题演讲和杰出讲座。他曾在IBM研究院、Intel 公司、富士通研究院、麻省理工学院林肯实验室、加州理工学院喷气推进实验室（JPL）、台湾工业技术研究院（ITRI）、法国国家计算科学研究中心（ENRIA）和中国科学院计算所担任高级顾问或首席科学家。

目　　录
Cloud Computing for Machine Learning and Cognitive Applications
出版者的话
译者序
前言
作者简介
第一部分　云平台、大数据与认知计算
第1章　云计算系统原理 2
1.1　可扩展计算的弹性云系统 2
1.1.1　云计算的驱动技术 2
1.1.2　可扩展的分布式/并行计算的演化 3
1.1.3　云系统中的虚拟资源 5
1.1.4　云计算与本地计算 7
1.2　云平台架构与分布式系统的比较 8
1.2.1　基本云平台的架构 8
1.2.2　公共云、私有云、社区云和混合云 10
1.2.3　物理集群与虚拟集群 12
1.2.4　云与传统并行/分布式系统的比较 14
1.3　云服务模型、生态系统与可扩展性分析 16
1.3.1　云服务模型：IaaS、PaaS和SaaS 16
1.3.2　云性能分析与可扩展性定理 18
1.3.3　云生态系统与用户环境 20
1.3.4　云计算的技术成熟度曲线 23
1.3.5　云计算与其他技术的关系 24
1.4　集群的可用性、移动性和优化 26
1.4.1　云服务器集群的可用性分析 26
1.4.2　虚拟集群操作中的容错 28
1.4.3　云中多服务器集群的排队模型 29
1.4.4　云计算的多服务器集群优化 30
1.5　结论 32
习题 33
参考文献 35
第2章　数据分析、物联网与认知计算 37
2.1　大数据科学与应用面临的挑战 37
2.1.1　数据科学与大数据特征 37
2.1.2　物联网的技术成熟度曲线 38
2.1.3　走向大数据工业 40
2.1.4　大数据应用概述 41
2.2　物联网与云平台的互动模式 44
2.2.1　IoT感知与平台架构 45
2.2.2　IoT价值链与发展路线 47
2.2.3　独立使用和与云平台结合的IoT应用 49
2.2.4　智慧城市与智慧社区的发展 52
2.3　在云平台上的数据收集、挖掘与分析 54
2.3.1　数据质量控制与表达 54
2.3.2　数据挖掘与分析 57
2.3.3　在云平台上提升数据分析能力 59
2.3.4　支撑大数据分析的云资源 61
2.4　神经形态硬件与认知计算 63
2.4.1　认知计算与神经形态处理器 63
2.4.2　IBM SyNAPSE与相关的神经类脑计算机项目 66
2.4.3　中国科学院的神经处理器Cambricon 68
2.4.4　Google TPU与相关的人工智能应用 68
2.5　结论 70
习题 71
参考文献 72
第二部分　云系统架构与服务平台设计
第3章　虚拟机、Docker容器和服务器集群 74
3.1　云计算系统中的虚拟化 74
3.1.1　虚拟化的基本概念 74
3.1.2　虚拟化的实现层级 75
3.1.3　集群或云系统中的资源虚拟化 78
3.2　用于创建虚拟机的虚拟机监控器 79
3.2.1　虚拟机架构类型 79
3.2.2　完全虚拟化和托管虚拟化 81
3.2.3　修改客户操作系统的半虚拟化 83
3.2.4　平台虚拟化软件产品与工具包比较 85
3.3　Docker引擎和应用程序容器 86
3.4　Docker容器和部署要求 89
3.4.1　使用Linux内核函数创建的Docker容器 89
3.4.2　虚拟机与Docker容器的比较 91
3.4.3　从虚拟机到容器和unikernel的架构演变 92
3.5　虚拟机管理和容器编排 94
3.5.1　虚拟机管理解决方案 94
3.5.2　用于灾难恢复的虚拟机迁移 95
3.5.3　Docker容器调度和编排 98
3.6　Eucalyptus、OpenStack和VMware云构建 100
3.6.1　私有云中的Eucalyptus虚拟集群 100
3.6.2　用于构建私有云或公共云的OpenStack软件 102
3.6.3　支持构建混合云的VMware虚拟化 103
3.7　结论 105
习题 105
参考文献 107
第4章　云架构与服务平台设计 109
4.1　云架构与基础设施设计 109
4.1.1　公共云平台及其服务项目 109
4.1.2　云服务的商业模型 111
4.1.3　数据中心到云平台的转换 113
4.1.4　资源弹性配置方法 117
4.2　虚拟集群的动态配置 119
4.2.1　虚拟集群配置项目 119
4.2.2　虚拟集群配置自适应 121
4.2.3　数据中心集群的虚拟化支持 122
4.2.4　VMware vSphere 6：商用云操作系统 123
4.3　AWS云及其服务项目 124
4.3.1　三大云架构与服务融合 124
4.3.2　AWS EC2计算引擎和S3存储云服务 127
4.3.3　其他AWS云服务产品 129
4.4　Google AppEngine与Microsoft Azure 133
4.4.1　Google AppEngine及其计算引擎 133
4.4.2　Google硬件/软件支持下的机器学习服务 137
4.4.3　Microsoft Azure云及其服务项目 138
4.5　Salesforce、IBM SmartCloud及其他云平台 141
4.5.1　用于SaaS服务的Salesforce云平台 141
4.5.2　IBM SmartCloud云平台、物联网及认知项目 143
4.5.3　SGI、NASA和CERN建立的云平台 145
4.6　结论 148
习题 149
参考文献 150
第5章　移动云、物联网、社交媒体与混搭云服务 153
5.1　无线互联网与移动云计算 153
5.1.1　移动设备与边际互联子网 153
5.1.2　WiFi、蓝牙和无线传感器网络 155
5.1.3　移动云计算的微云网 156
5.1.4　移动云与托管云 158
5.2　物联网感知以及与云的交互 160
5.2.1　本地与全球定位系统 161
5.2.2　构建移动云的无线接入网 162
5.2.3　物联网和云的互动框架与设备 164
5.3　社交媒体应用中的云计算 167
5.3.1　社交媒体大数据工业应用 167
5.3.2　社交网络与应用编程接口 170
5.3