《Keras快速上手：基于Python的深度学习实战》从如何准备深度学习的环境开始，手把手地教读者如何采集数据，如何运用一些常用，也是目前被认为有效的一些深度学习算法来解决实际问题。覆盖的领域包括推荐系统、图像识别、自然语言情感分析、文字生成、时间序列、智能物联网等。不同于许多同类的书籍，《Keras快速上手：基于Python的深度学习实战》选择了Keras作为编程软件，强调简单、快速的模型设计，而不去纠缠底层代码，使得内容相当易于理解。读者可以在CNTK、TensorFlow和Theano的后台之间随意切换，非常灵活。即使你有朝一日需要用更低层的建模环境来解决更复杂的问题，相信也会保留从Keras中学来的高度抽象的角度审视你要解决的问题，让你事半功倍。

　　《Keras快速上手：基于Python的深度学习实战》以实际应用为导向，强调概念的认知和实用性，对理论的介绍深入浅出，对读者的数学水平要求较低，读者在学习完毕后能使用案例程序举一反三地应用到其具体场景中。《Keras快速上手：基于Python的深度学习实战》覆盖当前热门的传统数据挖掘场景和四个深度学习应用场景，根据我们市场调研，是目前罕有以应用为导向的介绍机器学习和深度学习的专业书籍，具备很高的参考价值和学术价值。

　　序一

　　在最近的几年里，深度学习无疑是一个发展最快的机器学习子领域。在许多机器学习竞赛中，最后胜出的系统或多或少都使用了深度学习技术。2016年，基于深度学习、强化学习和蒙特卡洛树搜索的围棋程序AlphaGo甚至战胜了人类冠军。人工智能的这一胜利比预想的要早了10年，而其中起关键作用的就是深度学习。

　　深度学习已经广泛应用于我们的生活中，比如市场上可以见到的语音转写、智能音箱、语言翻译、图像识别和图像艺术化系统等，其中深度学习都是关键技术。同时，由于学术界和工业界的大量投入，深度学习的新模型和新算法层出不穷，要充分掌握深度学习的各种模型和算法并实现它们无疑是一件困难的事情。

　　幸运的是，基于各行各业对深度学习技术的需求，许多公司和学校开源了深度学习工具包，其中大家比较熟悉的有CNTK、TensorFlow、Theano、Caffe、mxNet和Torch。这些工具包都提供了非常灵活而强大的建模能力，极大地降低了使用深度学习技术的门槛，进一步加速了深度学习技术的研究和应用。但是，这些工具包各有所长、接口不同，而且对于很多初学者这些工具包过于灵活，难以掌握。

　　由于这些原因，Keras应运而生。Keras可以被看作一个更易于使用、在更高层次上进行抽象、兼具兼容性和灵活性的深度学习框架，它的底层可以在CNTK、TensorFlow和Theano中自由切换。Keras的出现使很多初学者可以很快地体验深度学习的一些基本技术和模型，并且将这些技术和模型应用到实际问题中。

　　本书也正是在这样的背景下产生的。它的目标读者正是那些刚刚进入深度学习领域、还没有太多经验的学生和工程师。本书的作者谢梁、鲁颖和劳虹岚分别在微软和谷歌这样的走在深度学习前沿的公司里做大数据和深度学习技术的研发，积累了很多把商业和工程问题转化成合适的模型并分析模型好坏以及解释模型结果的经验。在这本书里，他们把这些经验传授给大家，使更多的人能够快速掌握深度学习，并有效应用到商业和工程实践中。

　　这本书比较系统地讲解了深度学习的基本知识、建模过程和应用，并以深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列的具体应用作为案例，详细介绍了从工具准备、数据获取和处理到针对问题进行建模的整个过程和实践经验，是一本非常好的深度学习入门书。

　　俞栋博士

　　腾讯AILab副主任，杰出科学家

　　西雅图人工智能研究室负责人

　　2017年6月22日于美国西雅图

　　序二

　　随着大数据的普及以及硬件计算能力的飞速提升，深度学习在过去的5~6年有了日新月异的发展。在一个又一个领域，深度学习展示了极其强大甚至连人类都难以企及的能力，这包括语音识别、机器翻译、自然语言识别、推荐系统、人脸识别、图像识别、目标检测、三维重建、情感分析、棋类运动、德州扑克、自动驾驶等。伴随着人工智能广阔的应用前景，科技巨擎诸如谷歌、微软、亚马逊、百度、腾讯、阿里巴巴等纷纷投入巨资，从而进一步推动了这个领域的进步。如今，已经很少有人还对人工智能能达到的高度有任何怀疑态度，取而代之的是对人类如何与机器共存的畅想和机器终有一天取代人类的担忧。

　　当然，如果我们现在就开始担心机器将毁灭人类，那么还是有一些杞人忧天。深度学习现在还只停留在感知（Perception）的阶段，即从原始数据进行简单的感觉和分析，但是远没有达到认知（Cognition）的阶段，即对事件进行逻辑推理和认识。深度学习的很多原理，还处在研究阶段。即使是各领域的专家，对于深度学习为什么如此有效，依然是一知半解。幸运的是，在解决很多实际问题时，其实并不需要我们那么深刻理解它。谢梁、鲁颖和劳红岚的这本书，就是从非常实用的角度来分享深度学习的一些基本知识，值得一读。

　　这本书从如何准备深度学习的环境开始，手把手地教读者如何采集数据，如何运用一些最常用，也是目前为止被认为最有效的一些深度学习算法来解决实际问题。覆盖的领域包括推荐系统、图像识别、自然语言情感分析、文字生成、时间序列、智能物联网等。不同于许多同类的书籍，这本书选择了Keras作为编程软件，强调简单、快速的模型设计，而不去纠缠底层代码，使得内容相当易于理解。读者可以在CNTK、TensorFlow和Theano的后台之间随意切换，非常灵活。即使你有朝一日需要用更低层的建模环境来解决更复杂的问题，相信也会保留从Keras中学来的高度抽象的角度审视你要解决的问题，让你事半功倍。

　　这一波深度学习的大潮，必将带来一个新的信息革命。每一次如此巨大的变革，都将淘汰很多效率低下的工作，并发展出新兴的职业。在一个如此激动人心的年代，愿这本书带着读者启航！

　　张察博士

　　CNTK主要作者之一，美国微软总部首席研究员

　　2017年6月于美国西雅图

　　前言

　　2006年，机器学习领域迎来了重要的转折点。加拿大多伦多大学教授、机器学习领域泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇关于深度置信网络(DeepBeliefNetworks)的论文。从这篇论文的发表开始至今，深度学习有着迅猛的发展。2009年，微软研究院语音识别专家俞栋和邓力博士与深度学习专家GeofferyHinton合作。2010年，美国国防部DARPA和斯坦福大学、纽约大学和NEC美国研究院合作深度学习项目。2011年微软宣布基于深度神经网络的识别系统取得成果并推出产品，彻底改变了语音识别原有的技术框架。从2012到2015年，深度学习技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26%一路降到5%以下，几乎接近甚至超过人类的水平。这些都直接促进了一系列围绕深度学习技术的智能产品在市场上的出现，比如微软的认知服务（CognitiveServices）平台，谷歌的智能邮件应答和谷歌助手等。

　　在中国，我们同样欣喜地看到，基于大数据的机器学习和深度学习算法的大规模应用给互联网行业带来的巨大变革：淘宝的推荐算法、微软的小冰聊天机器人、百度的度秘、滴滴的预估时间和车费、饿了么的智能调度等都应运而生。我们有理由相信，未来的物联网、无人驾驶等也会挖掘出更多深度学习的实用场景。

　　深度学习对很多科技行业的从业者来说仍有一些神秘感。虽然像谷歌、微软等互联网巨头开源了诸如TensorFlow、CNTK等深度学习平台，大幅降低了从业者的门槛，但是如何举一反三，根据实际问题选择合适的算法和模型，并不容易。作为本书的作者，我们三位在美国谷歌、微软等顶尖互联网科技公司从事多年以机器学习和深度学习为基础的人工智能项目研发，有着丰富的实践经验，深感有必要撰写一本深入浅出的深度学习书籍，分享我们对深度学习的理解和想法，并帮助同行和感兴趣的朋友们快速上手，建立属于自己的端到端的深度学习模型，从而在大数据、深度学习的浪潮中有着更好的职业发展。我们希望本书能起到抛砖引玉的作用，使读者对深度学习产生更多的兴趣，并把深度学习作为一个必备的分析技能。

　　在本书中，我们选择Keras这个流行的深度学习建模框架来讲解深度学习话题。这主要从三方面的考虑。首先，Keras包括了各种常用的深度学习模块，可以应用于绝大部分业务环境。其次，从原理上讲，它是高度抽象的深度学习编程环境，简单易学。Keras底层是调用CNTK、TensorFlow或Theano执行计算的。最后，作为应用领域的从业者，我们需要关注的是如何把一个商业或者工程问题转化成合适的模型，如何准备数据和分析模型的好坏以及如何解释模型的结果。Keras非常适合这样的场景，让使用者脱离具体的矩阵计算和求导，而将重心转移到业务逻辑上。

　　本书是目前国内不多的系统讲解使用Keras这个深度学习框架进行神经网络建模的实用书籍，非常适合数据科学家、机器学习工程师、人工智能应用工程师和工作中需要进行预测建模以及进行回归分析的从业者。本书也适合对深度学习有兴趣的不同背景的从业者、学生和老师。

　　本书分成10章，系统性地讲解深度学习基本知识、使用Keras建模过程和应用，并提供详细代码，使读者可以花最少的时间把核心建模知识学到手。其中第1章介绍搭建深度学习环境，是整本书的基础。第2章介绍如何用网络爬虫技术收集数据并使用ElasticSearch存储数据。因为在很多应用中，数据需要读者自行从网上爬取和并加以处理和存储。第3章介绍深度学习模型的基本概念。第4章介绍深度学习框架Keras的用法。第5~9章，是5个深度学习的经典应用。我们会依次介绍深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列的具体应用。在介绍这些应用的过程中会穿插各种深度学习模型和代码，并和读者分享我们对于这些模型的原理和应用场景的体会。最后，我们抛砖引玉地把物联网的概念提出来。我们相信，物联网和深度学习的结合会爆发出巨大的能量和价值。

　　限于篇幅，我们无法涉及深度学习的方方面面，只能尽自己所能，和大家分享尽可能多的体会、经验和易于上手的代码。

　　在写书的过程中，我们得到了大量的帮助和指导。微软CNTK的作者、国际顶尖深度学习专家俞栋博士和张察博士为本书作序，并给予我们许多支持和鼓励。微软研究院的研究员郭彦东博士和高级工程师汤成对本书的部分章节提出了审阅意见。电子工业出版社的张慧敏、葛娜和王静老师，对书籍的出版和编辑付出了极大努力，才使这本书得以如期问世。在此一并感谢。

　　最后，我们三位作者希望本书能为中国的深度学习和人工智能的普及，为广大从业者提供有价值的实践经验和快速上手贡献我们的微薄之力。

　　谢梁，美国微软总部首席数据科学家

　　鲁颖，谷歌总部数据科学技术专家

　　劳虹岚，美国微软总部微软研究院研究工程师

　　2017年6月于美国西雅图和硅谷

　　谢梁

　　现任微软云计算核心存储部门首席数据科学家，主持运用机器学习和人工智能方法优化大规模高可用性并行存储系统的运行效率和改进其运维方式。具有十余年机器学习应用经验，熟悉各种业务场景下机器学习和数据挖掘产品的需求分析、架构设计、算法开发和集成部署，涉及金融、能源和高科技等领域。曾经担任美国道琼斯工业平均指数独有保险业成分股的旅行家保险公司分析部门总监，负责运用现代统计学习方法优化精算定价业务和保险运营管理，推动精准个性化定价解决方案。在包括JournalofStatisticalSoftware等专业期刊上发表过多篇论文，担任JournalofStatisticalComputationandSimulation期刊以及DataMiningApplicationswithR一书的审稿人。本科毕业于西南财经大学经济学专业，博士毕业于纽约州立大学计量经济学专业。

　　鲁颖

　　现任谷歌硅谷总部数据科学家，为谷歌应用商城提供核心数据决策分析，利用机器学习和深度学习技术建立用户行为预测模型，为产品优化提供核心数据支持。曾在亚ma逊、微软和迪士尼美国总部担任机器学习研究科学家，有着多年使用机器学习和深度学习算法研发为业务提供解决方案的经验。热衷于帮助中国社区的人工智能方面的研究和落地，活跃于各个大型会议并发表主题演讲。本科毕业于复旦大学数学专业，博士毕业于明尼苏达大学统计专业。

　　劳虹岚

　　现任微软研究院研究工程师，是早期智能硬件项目上视觉和语音研发的核心团队成员，对企业用户和消费者需求体验与AI技术的结合有深刻的理解和丰富的经验。曾在Azure和Office365负责处理大流量高并发的后台云端研究和开发，精通一系列系统架构设计和性能优化方面的解决方案。拥有从前端到后端的丰富经验：包括客户需求判断、产品开发以及最终在云端架构设计和部署。本科毕业于浙江大学电子系，硕士毕业于美国南加州大学（USC）电子和计算机系。

1 准备深度学习的环境 1

1.1 硬件环境的搭建和配置选择 1

1.1.1 通用图形处理单元 3

1.1.2 你需要什么样的 GPU 加速卡 6

1.1.3 你的 GPU 需要多少内存 6

1.1.4 是否应该用多个 GPU 10

1.2 安装软件环境 12

1.2.1 所需软件列表 12

1.2.2 CUDA 的安装 13

1.2.3 Python 计算环境的安装 13

1.2.4 深度学习建模环境介绍 15

1.2.5 安装 CNTK 及对应的 Keras 17

1.2.6 安装 Theano 计算环境 23

1.2.7 安装 TensorFlow 计算环境 25

1.2.8 安装 cuDNN 和 CNMeM 27

2 数据收集与处理 28

2.1 网络爬虫 28

2.1.1 网络爬虫技术 29

2.1.2 构造自己的 Scrapy 爬虫 30

2.1.3 构造可接受参数的 Scrapy 爬虫 35

2.1.4 运行 Scrapy 爬虫 36

2.1.5 运行 Scrapy 爬虫的一些要点 38

2.2 大规模非结构化数据的存储和分析 40

2.2.1 ElasticSearch 介绍 42

2.2.2 ElasticSearch 应用实例 44

3 深度学习简介 57

3.1 概述 57

3.2 深度学习的统计学入门 58

3.3 一些基本概念的解释 61

3.3.1 深度学习中的函数类型 62

3.3.2 深度学习中的其他常见概念 65

3.4 梯度递减算法 67

3.5 后向传播算法 70

4 Keras 入门 72

4.1 Keras 简介 72

4.2 Keras 中的数据处理 73

4.2.1 文字预处理 74

4.2.2 序列数据预处理 82

4.2.3 图片数据输入 83

4.3 Keras 中的模型 83

4.4 Keras 中的重要对象 86

4.5 Keras 中的网络层构造 90

4.6 使用 Keras 进行奇异值矩阵分解 102

5 推荐系统 105

5.1 推荐系统简介 105

5.2 矩阵分解模型 108

5.3 深度神经网络模型 114

5.4 其他常用算法 117

5.5 评判模型指标 119

6 图像识别 121

6.1 图像识别入门 121

6.2 卷积神经网络的介绍 122

6.3 端到端的 MNIST 训练数字识别 127

6.4 利用 VGG16 网络进行字体识别 131

6.5 总结 135

7 自然语言情感分析 136

7.1 自然语言情感分析简介 136

7.2 文字情感分析建模 139

7.2.1 词嵌入技术 139

7.2.2 多层全连接神经网络训练情感分析 140

7.2.3 卷积神经网络训练情感分析 143

7.2.4 循环神经网络训练情感分析 144

7.3 总结 146

8 文字生成 147

8.1 文字生成和聊天机器人 147

8.2 基于检索的对话系统 148

8.3 基于深度学习的检索式对话系统 159

8.3.1 对话数据的构造 159

8.3.2 构造深度学习索引模型 162

8.4 基于文字生成的对话系统 166

8.5 总结 172

9 时间序列 173

9.1 时间序列简介 173

9.2 基本概念 174

9.3 时间序列模型预测准确度的衡量 178

9.4 时间序列数据示例 179

9.5 简要回顾 ARIMA 时间序列模型 181

9.6 循环神经网络与时间序列模型 186

9.7 应用案例 188

9.7.1 长江汉口月度流量时间序列模型 190

9.7.2 国际航空月度乘客数时间序列模型 203

9.8 总结 209

10 智能物联网 210

10.1 Azure 和 IoT 210

10.2 Azure IoT Hub 服务 213

10.3 使用 IoT Hub 管理设备概述 215

10.4 使用.NET 将模拟设备连接到 IoT 中心 218

10.5 机器学习应用实例 237

　　1.1硬件环境的搭建和配置选择

　　从事机器学习，一个好的硬件环境是必不可少的。在硬件环境的选择上，并不是一定选择最贵的就会有最好的效果，很多时候可能付出了2倍的成本，但是性能的提升却只有10%。深度学习的计算环境对不同部件的要求不同，因此这里先简要讨论一下硬件的合理搭配。如果您不差钱，则可以跳过本节。另外，虽然目前有一些云服务供应商提供GPU计算能力，并且一键部署，听起来不错，但是基于云计算的GPU实例受到两个限制。首先，普通的廉价GPU实例内存稍小，比如AWS的G2实例目前只支持单GPU4GB的显存；其次，支持较大显存的实例费用比较高，性价比不高。比如AWS的P2实例使用支持每GPU12GB内存的K80GPU，每小时费用高达0.9美元。但是K80GPU属于Kepler架构，是两代前的技术。另外，在实际使用中需要开启其他服务以使用GPU实例，各种成本加起来每月的开支还是很可观的，很可能6个月的总开支够买一台配置较新GPU的全新电脑了。

　　在搭配深度学习机器而选择硬件的时候，通常要考虑以下几个因素。

　　(1)预算。这个非常重要。如果预算足够，当然可以秉承最贵的就是最好的理念来选择。但是当预算有一定限制的时候，如何搭配部件来最大化性能，尽量减少瓶颈就是很重要的考量了。

　　(2)空间。这里特指机箱的空间。大部分新的GPU都是双风扇的，因此对机箱尺寸要求很高。如果你已经有一个机箱了，那么选择合适尺寸的GPU就成为最优先的考虑；如果新配机箱，那么全尺寸的大机箱是最好的选择。这是因为大机箱通风好，同时可以为以后添加多个GPU进行升级留有余地；另外，大机箱通常有多个PCIe的背板插槽可以放置多个PCIe设备。一般现在的GPU卡都会占据两个PCIe的插槽空间，因此背板插槽越多越好。

　　(3)能耗。性能越好的GPU对能源的要求越高，而且很可能是整个系统里能耗最高的部件。如果已经有一台机器了，只是要添加一个GPU来做学习用，那么选择性能一般但是能耗低的GPU卡是比较明智的；如果需要高密度计算，搭配多个GPU并行处理，那么对电源的要求非常高，一般来说，搭配4GPU卡的系统至少需要1600W的电源。

　　(4)主板。对主板的选择非常重要，因为涉及跟GPU的接口选择。一般来说，至少需要一块支持PCIe3.0接口的主板。如果以后要升级系统到多个GPU，那么还需要支持8+16芯PCIe电源接口的主板，这样可以连接最多4个GPU进行SLI并联。对于4个GPU这个限制，是因为目前最好的主板也只支持最多40条PCIe通道（16x,8x,8x,8x的配置）。多个GPU并行加速比并不能达到完美，毕竟还是有些额外开销的。比如系统需要决定在哪个GPU上进行这个数据块对应的计算任务。我们后面会提到，CNTK计算引擎的并行加速性很好，在使用多个GPU时值得考虑。

　　(5)CPU。CPU在深度学习计算中的作用不是非常显著的，除非使用CPU进行深度学习算法的计算。因此如果你已经有一台电脑的话，就不用太纠结是否要升级CPU了；但是如果要新搭建系统，那么在CPU的选择上还是有些考量的，这样可以使系统利用GPU的能力最大化。首先要选择一个支持40条PCIe通道的CPU。不是所有的CPU都支持这么多的PCIe通道，比如haswell核心的i5系列CPU就支持最多32条通道。其次要选择一个高频率的CPU。虽然系统使用GPU做具体的计算，但是在准备模型阶段CPU还是有重要作用的，因此选择使用在预算内主频高、速度快的CPU还是比较重要的。CPU的核心数量不是一个很重要的指标，一般来说，一个CPU核心可以支持一块GPU卡。按照这个标准，大部分现代的CPU都是合格的。

　　(6)内存。内存容量还是越大越好，以减少数据提取的时间，加快和GPU的交换。一般原则是按照GPU内存容量的至少两倍来配置主机内存。

　　(7)存储系统。对于存储系统的能力，除要容量大以外，主要体现在计算时不停地提取数据供应GPU进行计算方面。如果做图像方面的深度学习，数据量通常都非常大，因此可能需要多次提取数据才能完成一轮计算，这个时候存储系统读取数据的能力就成为整个计算的瓶颈。因此，大容量的SSD是最好的选择。现在的SSD读取速度已经超过GPU从PCIe通道装载数据的速度。如果使用传统的机械硬盘，组成RAID5也是一个不错的选择。如果数据量不是很大，那么这个考虑就不那么重要了。

　　(8)GPU。GPU显然是最重要的选择，对整个深度学习系统的影响最大。相对于使用CPU进行计算，GPU对于提高深度学习的速度是众所周知的事情，通常我们能见到5倍左右的加速比，而在大数据集上这个优势甚至达到了10倍。尽管好处明显，但是如何在控制性价比的条件下选择一个合适的GPU却不是一件简单的事情。因此，我们在下面的章节中将详细讨论如何选择GPU。

　　……