本书结合实际应用介绍神经网络和深度学习等技术领域相关信息，从结构上重点介绍了前馈型神经网络、反馈型神经网络，以及自组织竞争型神经网络，并针对当下深度学习中比较重要的网络进行了详细介绍，包括卷积神经网络、循环（递归）神经网络、深度信念网络、生成对抗网络，以及深度强化学习。本书不仅能让读者对当前神经网络和深度学习技术有体系的认知，更能让读者在人工智能领域进行一些深入思考。

神经网络是机器学习和深度学习的基础，本书用一条学习路线贯穿全书，首先讲解了数学基础、机器学习基础以及神经网络基础，接着通过原理、结构、实例、优劣势分析、适用场景等全方位讲解了各种常典型的神经网络，紧密结合一线工程师的研究成果，可以帮助读者更好地学习神经

前言

本书结合实际应用介绍神经网络和深度学习等技术领域相关信息，从结构上重点介绍了前

馈型神经网络、反馈型神经网络，以及自组织竞争型神经网络，并针对当下深度学习中比较重

要的网络进行了详细介绍，包括卷积神经网络、循环（递归）神经网络、深度信念网络、生成

对抗网络，以及深度强化学习。本书不仅能让读者对当前神经网络和深度学习技术有体系的认

知，更能让读者在人工智能领域进行一些深入思考。

读者对象

? 对神经网络、深度学习以及人工智能有兴趣的读者；

? 对算法以及机器学习领域有兴趣的读者；

? 互联网行业不同层次的从业者；

? 软件工程或计算机相关专业的在校学生。

本书特色

书中内容紧密结合当前一线工程师工作研究成果，是对当前神经网络和深度学习的完整性

原理介绍和实践分析。本书充分利用了最新技术发展的应用成果，不仅结合原理分析，还结合

案例进行辅助理解。

本书介绍的相关深度学习技术广泛应用于各个领域，可以在自然语言处理、计算机视觉、

文本分析等领域中应用，在当前甚至未来三到五年，都具有实际意义。

本书结构

本书按照由浅入深、循序渐进的顺序对神经网络和深度学习的内容进行介绍。全书共分为

三篇，分别从基础、进阶、高阶三个层次逐步展开，总共12 章，各章的主要内容如下。

第1 章阐述了在当前时代背景下，神经网络和人工智能的发展历程，针对未来人工智能极

可能改变的领域进行了深入介绍，并介绍了深度学习与机器学习的关系，以及深度学习与人工

智能的关系。

第2 章介绍了神经网络和深度学习的数学基础，从向量、矩阵、导数、数值计算、概率分

布、参数估计等方面进行了详细介绍，为学习后续内容奠定基础。

第3 章重点介绍了机器学习的基础内容，神经网络和深度学习都属于机器学习中的内容，

包括拟合问题、交叉检验、产生式与判别式模型等，有助于加强对神经网络和深度学习的理解。

第4 章介绍了神经网络的基础，包括神经网络中常见的学习方法以及神经网络的优化方法，

阐述了常见的神经网络类型以及深度学习中的网络类型，并介绍了深度学习与多层神经网络的

关系。

第5 章重点介绍了前馈型神经网络，它是神经网络中极为重要的一种网络类型。本章从单

层感知器开始，逐步深入介绍了BP 神经网络以及径向基函数神经网络，重点介绍了反向传播

算法。

第6 章详细介绍了反馈型神经网络，它是一种带联想记忆的神经网络。本章重点介绍了

Hopfiled 神经网络、Elman 神经网络以及递归神经网络。对于递归神经网络还进行了更为深入

的介绍，包括其反向传播算法以及各类改进的结构。

第7 章重点介绍了自组织竞争型神经网络，从传统的系统聚类法、基于划分的聚类算法、

基于密度的聚类算法、基于层次的聚类算法开始，详细介绍了自组织竞争型神经网络中的典型

代表自组织映射网络，还介绍了自适应共振理论以及对偶传播网络。

第8 章介绍了卷积神经网络，卷积神经网络是目前图像处理中比较优秀的神经网络。本章

重点介绍了卷积神经网络中的卷积、卷积核等重要基础概念，详细阐述了卷积神经网络中各层

的工作原理，并介绍了常见的间距神经网络结构。

第9 章介绍了循环神经网络，循环神经网络与递归神经网络有一定的相似性。本章介绍了

一般的循环神经网络，包括单向循环神经网络、双向循环神经网络以及深度循环神经网络。重

点介绍了长短时记忆网络。

第10 章介绍了深度信念网络，深度信念网络是由受限玻尔兹曼机组成的网络结构。本章

重点介绍了受限玻尔兹曼机的逻辑结构和工作原理，并介绍了深度信念网络的训练过程。

第11 章介绍了生成对抗网络，生成对抗网络是未来会有较大突破的网络结构之一。本章

从一般的生成对抗网络入手进行介绍，然后介绍了各类改进版本，包括DCGAN、CGAN、

WGAN 等，并对生成对抗网络的未来做了一定猜想。

第12 章介绍了深度强化学习，深度强化学习是一种有别于传统的有监督学习和无监督学

习的学习方式。本章重点介绍了强化学习的工作原理、马尔科夫决策过程等，并结合强化学习

的各类算法进行了详细的介绍。

上述章节中，郭武彪完成了第6 章内容的编写，陈相礼完成了第9 章内容的编写，杨华完

成了第11 章内容的编写以及本书格式校验，其余章节内容由刘凡平完成编写，并对本书内容

进行了校验。

由于时间仓促及编者水平有限，书中难免存在错误和不足之处，恳请广大读者多多理解，

并批评指正，也可以通过邮箱（liufanping@iveely.com）联系我们。

刘凡平，硕士，毕业于中国科学技术大学，专注于大数据分析、搜索引擎、机器学习和深度学习研究，曾任职于微软亚太研发集团，现任职于百度（中国）有限公司，曾出版《大数据搜索引擎原理分析及编程》《大数据时代的算法》，是执着于将互联网技术演绎为艺术的完美追求者。

基础篇
第1章 时代崛起2
1.1 概要2
1.1.1 基本概念2
1.1.2 深度学习与机器学习的关系4
1.1.3 深度学习与人工智能的关系5
1.2 历史发展5
1.2.1 神经网络发展历史5
1.2.2 人工智能发展历史7
1.3 应用领域8
1.3.1 智能个人助理8
1.3.2 智能安防9
1.3.3 无人驾驶9
1.3.4 电商零售11
1.3.5 智慧医疗11
1.3.6 金融服务12
1.3.7 智能教育13
1.4 未来猜想14
1.4.1 人文的快速发展14
1.4.2 人类也是机器人14
1.4.3 新的不平等现象15
1.5 本章小结16

第2章 数学理论基础17
2.1 向量17
2.1.1 相关概念17
2.1.2 向量的线性相关性18
2.1.3 向量的外积18
2.1.4 向量夹角与余弦相似性18
2.1.5 实例：基于向量夹角的文本相似性分析19
2.2 矩阵20
2.2.1 矩阵乘法20
2.2.2 克罗内克积21
2.3 导数22
2.3.1 概述22
2.3.2 一般运算法则22
2.3.3 链式求导法则23
2.4 数值计算23
2.4.1 误差23
2.4.2 距离24
2.4.3 数值归一化26
2.5 概率分布26
2.5.1 二项分布26
2.5.2 超几何分布27
2.5.3 泊松分布27
2.5.4 指数分布28
2.5.5 正态分布29
2.6 参数估计29
2.6.1 概率29
2.6.2 贝叶斯估计30
2.6.3 最大似然估计31
2.6.4 最大后验估计32
2.7 回归分析33
2.7.1 线性回归33
2.7.2 逻辑回归36

2.8 判定问题39
2.8.1 P问题39
2.8.2 NP问题39
2.8.3 NP-Complete问题40
2.8.4 NP-Hard问题40
2.9 本章小结41
第3章 机器学习概要42
3.1 机器学习的类型42
3.1.1 有监督学习42
3.1.2 无监督学习43
3.1.3 强化学习43
3.2 机器学习中常见的函数44
3.2.1 激活函数44
3.2.2 损失函数47
3.2.3 核函数48
3.3 机器学习中的重要参数49
3.3.1 学习速率49
3.3.2 动量系数50
3.3.3 偏置项50
3.4 拟合问题51
3.4.1 过拟合现象51
3.4.2 欠拟合现象52
3.4.3 解决过拟合问题的一般方法52
3.4.4 实例：拟合与二元一次方程求解55
3.5 交叉检验55
3.5.1 数据类型种类55
3.5.2 留一交叉验证57
3.5.3 K折交叉验证57
3.6 线性可分与不可分58
3.7 机器学习的学习特征59
3.8 产生式模型与判别式模型60
3.9 机器学习效果的一般评价指标61
3.10 本章小结63
第4章 神经网络基础64
4.1 概述64
4.1.1 神经网络模型64
4.1.2 经典的神经网络结构65
4.1.3 一般业务场景中神经网络适应性66
4.1.4 神经网络的深度67
4.2 常见学习方法67
4.2.1 误差修正学习67
4.2.2 赫布学习规则68
4.2.3 最小均方规则69
4.2.4 竞争学习规则70
4.2.5 其他学习规则71
4.3 优化方法：梯度下降72
4.3.1 概述72
4.3.2 梯度下降法72
4.3.3 梯度下降的优化算法74
4.3.4 梯度消失问题76
4.3.5 示例：利用梯度下降法求函数极值77
4.4 常见的神经网络类型78
4.4.1 前馈型神经网络78
4.4.2 反馈型神经网络79
4.4.3 自组织竞争型神经网络79
4.5 深度学习中常见的网络类型80
4.5.1 卷积神经网络80
4.5.2 循环神经网络80
4.5.3 深度信念网络80
4.5.4 生成对抗网络81
4.5.5 深度强化学习81
4.6 其他神经网络与深度学习82
4.6.1 随机神经网络82
4.6.2 量子神经网络82
4.6.3 迁移学习82
4.7 深度学习与多层神经网络的关系83
4.8 调参技巧84
4.9 本章小结85
进阶篇
第5章 前馈型神经网络88
5.1 概述88
5.2 常见结构88
5.3 单层感知器网络89
5.3.1 原理89
5.3.2 网络结构90
5.3.3 实例一：基于单层感知器与运算90
5.3.4 实例二：利用感知器判定零件是否合格91
5.4 BP神经网络93
5.4.1 概述93
5.4.2 反向传播算法93
5.4.3 异或问题的解决96
5.4.4 避免病态结果98
5.4.5 实例：基于多层感知器的手写体数字识别99
5.5 径向基函数神经网络101
5.5.1 原理介绍101
5.5.2 中心选择方法102
5.5.3 训练过程103
5.5.4 径向基函数神经网络与BP神经网络的差异104
5.6 本章小结105
第6章 反馈型神经网络107
6.1 概述107
6.1.1 基本原理107
6.1.2 与前馈型神经网络的差异108
6.2 Hopfield神经网络109
6.3 Elman神经网络112
6.3.1 结构组成112
6.3.2 学习算法112
6.4 递归神经网络113
6.4.1 产生背景114
6.4.2 基本结构115
6.4.3 前向计算过程116
6.4.4 反向传播：BPTS算法117
6.4.5 应用场景118
6.4.6 递归神经网络的结构改进118
6.4.7 应用实例121
6.5 本章小结124
第7章 自组织竞争型神经网络125
7.1 概述125
7.1.1 一般网络模型125
7.1.2 工作原理126
7.1.3 实例：用竞争学习规则进行模式分类127
7.2 常见的聚类方法129
7.2.1 系统聚类法129
7.2.2 基于划分的聚类算法130
7.2.3 基于密度的聚类算法131
7.2.4 基于层次的聚类算法132
7.3 自组织映射网络134
7.3.1 概述134
7.3.2 训练算法134
7.3.3 实例：利用自组织映射网络划分城市群135
7.3.4 优劣势分析136
7.4 其他自组织竞争型神经网络137
7.4.1 自适应共振理论137
7.4.2 对偶传播神经网络138
7.5 本章小结139
高阶篇
第8章 卷积神经网络142
8.1 概述142
8.1.1 发展背景142
8.1.2 基本概念143
8.1.3 基本网络结构144
8.2 卷积145
8.2.1 卷积的物理意义145
8.2.2 卷积的理解145
8.2.3 卷积的实例147
8.3 卷积核148
8.3.1 卷积核的含义148
8.3.2 卷积操作150
8.3.3 卷积核的特征150
8.4 卷积神经网络中各层工作原理151
8.4.1 卷积层151
8.4.2 下采样层151
8.4.3 Softmax层152
8.5 卷积神经网络的逆向过程153
8.6 常见卷积神经网络结构154
8.6.1 LeNet-5154
8.6.2 AlexNet155
8.7 应用场景与效果评估157
8.7.1 场景1：图像分类157
8.7.2 场景2：目标检测158
8.7.3 场景3：实例分割159
8.8 Maxout Networks160
8.9 本章小结162
第9章 循环神经网络163
9.1 概述163
9.2 一般循环神经网络164
9.2.1 概述164
9.2.2 单向循环神经网络165
9.2.3 双向循环神经网络166
9.2.4 深度循环神经网络167
9.3 训练算法：BPTT算法168
9.3.1 前向计算168
9.3.2 误差项计算169
9.3.3 权值梯度计算169
9.3.4 梯度爆炸与梯度消失问题170
9.4 长短时记忆网络170
9.4.1 背景170
9.4.2 核心思想171
9.4.3 详细结构172
9.4.4 训练过程176
9.4.5 相关变种简介181
9.5 常见循环神经网络结构182
9.5.1 N比N结构182
9.5.2 N比1结构183
9.5.3 1比N结构183
9.5.4 N比M结构184
9.6 与自然语言处理结合185
9.7 实例：文本自动生成186
9.8 本章小结187
第10章 深度信念网络188
10.1 概要188
10.1.1 背景188
10.1.2 基本结构188
10.2 受限玻尔兹曼机190
10.2.1 概述190
10.2.2 逻辑结构192
10.2.3 对比分歧算法194
10.3 训练过程194
10.3.1 工作流程194
10.3.2 调优过程195
10.4 本章小结196
第11章 生成对抗网络197
11.1 概述197
11.1.1 背景概要197
11.1.2 核心思想198
11.1.3 基本工作流程199
11.2 朴素生成对抗网络201
11.2.1 网络结构201
11.2.2 实例：基于朴素生成对抗网络生成手写体数字203
11.3 深度卷积生成对抗网络206
11.3.1 产生背景206
11.3.2 模型改进206
11.3.3 网络结构207
11.3.4 实例：基于深度卷积对抗网络生成手写体数字208
11.4 条件生成对抗网络212
11.4.1 网络结构212
11.4.2 实例：CGAN结合DCGAN生成手写体数字213
11.5 瓦瑟斯坦生成对抗网络214
11.5.1 概述214
11.5.2 差异化215
11.5.3 实例：WGAN结合DCGAN生成手写体数字216
11.6 生成对抗网络的探索217
11.6.1 价值与意义217
11.6.2 面临的问题218
11.6.3 应用场景示例218
11.6.4 未来探索220
11.7 本章小结220


第12章 深度强化学习221
12.1 概述221
12.1.1 概要221
12.1.2 基本原理222
12.2 马尔科夫决策过程223
12.2.1 马尔科夫过程223
12.2.2 隐马尔科夫模型224
12.2.3 马尔科夫决策过程225
12.3 深度强化学习算法229
12.3.1 DQN算法229
12.3.2 A3C算法231
12.3.3 UNREAL算法231
12.4 强化学习的探索232
12.4.1 应用场景探索232
12.4.2 面临的问题233
12.5 本章小结234