本书共分5方面内容：基础知识、关键模块、算法模型、内核揭秘、生态发展。前两方面由浅入深地介绍了TensorFlow 平台，算法模型方面依托TensorFlow 讲解深度学习模型，内核揭秘方面主要分析C 内核中的通信原理、消息管理机制等，* 后从生态发展的角度讲解以TensorFlow 为中心的一套开源大数据分析解决方案。 本书适合所有对深度学习和TensorFlow感兴趣的开发人员和数据分析师阅读。

本书介绍关于机器学习系统的深度学习算法，使你可以在搜索、图像识别、语言处理等产品中实现这些算法。你将学习如何分析并改进深度学习模型的表现，通过与标准算法进行比较，借助机器智慧，在特定文本中从信息和决策行为中学习。读完本书后，你将熟悉机器学习技术，尤其是使用TensorFlow进行深度学习，并将所学知识用于研究或商业项目。本书适合想要探索数据抽象层的数据科学家，展现了如何在实际中使用TensorFlow处理复杂且未经加工的数据。 ?访问并使用公共数据集，通过TensorFlow下载、处理、传输数据 ?在实际数据集中应用TensorFlow，包括图像、文本等 ?学习如何评估深度学习模型的表现 ?使用深度学习完成可扩展对象检测和移动计算 ?训练机器通过探索加强学习技术从数据中进行快速学习

[意]Giancarlo Zaccone 在并行计算和可视化方向拥有丰富经验，目前于某咨询公司担任系统和软件工程师。 [孟加拉]Md. Rezaul Karim 拥有近10年软件研发经验，具备扎实的算法和数据结构知识，研究兴趣包括机器学习、深度学习、语义网络等。 [埃及]Ahmed Menshawy 爱尔兰都柏林三一学院研究工程师，主要工作是使用ADAPT中心的机器学习和自然语言处理技术成果构建原型和应用，在机器学习和自然语言处理领域拥有多年工作经验。

目　　录



* 1章　深度学习入门1

1.1　机器学习简介1

1.1.1　监督学习2

1.1.2　无监督学习2

1.1.3　强化学习3

1.2　深度学习定义3

1.2.1　人脑的工作机制3

1.2.2　深度学习历史4

1.2.3　应用领域5

1.3　神经网络5

1.3.1　生物神经元5

1.3.2　人工神经元6

1.4　人工神经网络的学习方式8

1.4.1　反向传播算法8

1.4.2　权重优化8

1.4.3　随机梯度下降法9

1.5　神经网络架构10

1.5.1　多层感知器10

1.5.2　DNN架构11

1.5.3　卷积神经网络12

1.5.4　受限玻尔兹曼机12

1.6　自编码器13

1.7　循环神经网络14

1.8　几种深度学习框架对比14

1.9　小结16

* 2章　TensorFlow初探17

2.1　总览17

2.1.1　TensorFlow 1.x版本特性18

2.1.2　使用上的改进18

2.1.3　TensorFlow安装与入门19

2.2　在Linux上安装TensorFlow19

2.3　为TensorFlow启用NVIDIA GPU20

2.3.1　* 1步：安装NVIDIA CUDA20

2.3.2* 2步：安装NVIDIA cuDNN v5.1 21

2.3.3第3步：确定GPU卡的CUDA计算能力为3.0 22

2.3.4　第4步：安装libcupti-dev库22

2.3.5第5步：安装Python（或Python3）22

2.3.6　第6步：安装并升级PIP（或PIP3）22

2.3.7　第7步：安装TensorFlow23

2.4　如何安装TensorFlow23

2.4.1　直接使用pip安装23

2.4.2　使用virtualenv安装24

2.4.3　从源代码安装26

2.5　在Windows上安装TensorFlow27

2.5.1　在虚拟机上安装TensorFlow27

2.5.2　直接安装到Windows27

2.6　测试安装是否成功28

2.7　计算图28

2.8　为何采用计算图29

2.9　编程模型30

2.10　数据模型33

2.10.1　阶33

2.10.2　形状33

2.10.3　数据类型34

2.10.4　变量36

2.10.5　取回37

2.10.6　注入38

2.11　TensorBoard38

2.12　实现一个单输入神经元39

2.13　单输入神经元源代码43

2.14　迁移到TensorFlow 1.x版本43

2.14.1　如何用脚本升级44

2.14.2　局限47

2.14.3　手动升级代码47

2.14.4　变量47

2.14.5　汇总函数47

2.14.6　简化的数学操作48

2.14.7　其他事项49

2.15　小结49

第3章　用TensorFlow构建前馈

神经网络51

3.1　前馈神经网络介绍51

3.1.1　前馈和反向传播52

3.1.2　权重和偏差53

3.1.3　传递函数53

3.2　手写数字分类54

3.3　探究MNIST数据集55

3.4　Softmax分类器57

3.5　TensorFlow模型的保存和还原63

3.5.1　保存模型63

3.5.2　还原模型63

3.5.3　Softmax源代码65

3.5.4　Softmax启动器源代码66

3.6　实现一个五层神经网络67

3.6.1　可视化69

3.6.2　五层神经网络源代码70

3.7　ReLU分类器72

3.8　可视化73

3.9　Dropout优化76

3.10　可视化78

3.11　小结80

第4章　TensorFlow与卷积神经网络82

4.1　CNN简介82

4.2　CNN架构84

4.3　构建你的* 一个CNN86

4.4　CNN表情识别95

4.4.1　表情分类器源代码104

4.4.2　使用自己的图像测试模型107

4.4.3　源代码109

4.5　小结111

第5章　优化TensorFlow自编码器112

5.1　自编码器简介112

5.2　实现一个自编码器113

5.3　增强自编码器的鲁棒性119

5.4　构建去噪自编码器120

5.5　卷积自编码器127

5.5.1　编码器127

5.5.2　解码器128

5.5.3　卷积自编码器源代码134

5.6　小结138

第6章　循环神经网络139

6.1　RNN的基本概念139

6.2　RNN的工作机制140

6.3　RNN的展开140

6.4　梯度消失问题141

6.5　LSTM网络142

6.6　RNN图像分类器143

6.7　双向RNN149

6.8　文本预测155

6.8.1　数据集156

6.8.2　困惑度156

6.8.3　PTB模型156

6.8.4　运行例程157

6.9　小结158

第7章　GPU计算160

7.1　GPGPU计算160

7.2　GPGPU的历史161

7.3　CUDA架构161

7.4　GPU编程模型162

7.5　TensorFlow中GPU的设置163

7.6　TensorFlow的GPU管理165

7.7　GPU内存管理168

7.8　在多GPU系统上分配单个GPU168

7.9　使用多个GPU170

7.10　小结171

第8章　TensorFlow高 级编程172

8.1　Keras简介172

8.2　构建深度学习模型174

8.3　影评的情感分类175

8.4　添加一个卷积层179

8.5　Pretty Tensor181

8.6　数字分类器182

8.7　TFLearn187

8.8　泰坦尼克号幸存者预测器188

8.9　小结191

第9章　TensorFlow高 级多媒体编程193

9.1　多媒体分析简介193

9.2　基于深度学习的大型对象检测193

9.2.1　瓶颈层195

9.2.2　使用重训练的模型195

9.3　加速线性代数197

9.3.1　TensorFlow的核心优势197

9.3.2　加速线性代数的准时编译197

9.4　TensorFlow和Keras202

9.4.1　Keras简介202

9.4.2　拥有Keras的好处203

9.4.3　视频问答系统203

9.5　Android上的深度学习209

9.5.1　TensorFlow演示程序209

9.5.2　Android入门211

9.6　小结214

* 10章　强化学习215

10.1　强化学习基本概念216

10.2　Q-learning算法217

10.3　OpenAI Gym框架简介218

10.4　FrozenLake-v0实现问题220

10.5　使用TensorFlow实现Q-learning223

10.6　小结227