模式识别是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程；机器学习是指机器通过统计学算法，对大量历史数据进行学习，进而利用生成的经验模型指导业务的过程。本书介绍模式识别和机器学习技术的主要方面，包括贝叶斯统计决策、概率密度函数的估计、线性分类与回归模型、其他分类方法、无监督学习和聚类、核方法和支持向量机、神经网络和深度学习、特征选择与提取等。本书既重视基础理论和经典方法的介绍，又兼顾前沿知识和最新模型的融入，力图反映该领域的核心知识体系和新发展趋势；每章的内容尽可能做到丰富完整，并附有习题或上机实践题，便于读者巩固所学的知识。本书可作为计算机科学领域机器学习和模式识别专业方向高年级本科生和研究生的教材，也可供相关技术人员参考。

李映，西北工业大学教授，工学博士，硕士生导师。研究方向为遥感图像处理、数据挖掘、智能信息处理。主持包括国家自然科学基金、航空科学基金、陕西省自然科学基金、航天支撑基金项目等纵向项目和其它横向项目十余项，在国内外重要学术期刊上发表论文 100余篇，申请发明专利10余项，获得授权发明专利6项。

第1章 绪论 1
1.1 引言 1
1.2 模式识别的基本概念 3
1.2.1 模式和模式识别 3
1.2.2 模式空间、特征空间和类空间 5
1.2.3 预处理 7
1.2.4 特征提取/选择 7
1.2.5 分类 7
1.3 模式识别系统 8
1.4 机器学习的主要方法 9
1.4.1 监督学习 9
1.4.2 无监督学习 10
1.4.3 半监督学习 11
1.4.4 集成学习 11
1.4.5 强化学习 12
1.5 概率分布 12
1.5.1 随机变量及分布 13
1.5.2 随机向量及分布 16
1.5.3 边际分布 18
1.5.4 条件概率分布 18
1.6 习题 19
第2章 贝叶斯统计决策 20
2.1 引言 20
2.2 最小错误率判别规则 22
2.3 最小风险判别规则 24
2.4 最大似然比判别规则 27
2.5 Neyman-Pearson判别规则 30
2.6 最小最大判别规则 33
2.7 分类器设计 37
2.8 正态分布中的贝叶斯分类方法 41
2.9 小结 50
习题 50
第3章 概率密度函数的估计 52
3.1 引言 52
3.2 最大似然估计 52
3.2.1 最大似然估计基础 52
3.2.2 正态分布下的最大似然估计 54
3.3 贝叶斯估计与贝叶斯学习 56
3.3.1 贝叶斯估计 56
3.3.2 正态分布下的贝叶斯估计 57
3.3.3 贝叶斯学习 59
3.4 EM估计方法 61
3.4.1 EM算法 61
3.4.2 混合正态分布的EM估计 63
3.5 非参数估计方法 65
3.5.1 非参数估计的基本方法与限制条件 65
3.5.2 Parzen窗法 67
3.5.3 kN近邻估计方法 72
3.6 小结 74
习题 74
第4章 线性分类与回归模型 75
4.1 引言 75
4.2 线性判别函数和决策面 75
4.2.1 两类情况 76
4.2.2 多类问题中的线性判别函数 76
4.2.3 设计线性分类器的主要步骤 81
4.3 广义线性判别函数 83
4.4 最小均方误差判别 86
4.4.1 最小均方和准则 86
4.4.2 H-K算法 88
4.4.3 H-K算法的多类推广 90
4.5 线性回归模型 91
4.6 正则化线性回归 92
4.7 小结 94
习题 94
第5章 其他分类方法 96
5.1 近邻法 96
5.1.1 最近邻法 96
5.1.2 k近邻法 96
5.2 逻辑斯蒂回归 99
5.3 决策树与随机森林 102
5.3.1 非数值特征 102
5.3.2 决策树 102
5.3.3 属性选择方法 104
5.3.4 过学习与决策树的剪枝 107
5.3.5 随机森林 108
5.4 小结 109
习题 109
第6章 无监督学习和聚类 110
6.1 引言 110
6.2 混合模型的估计 110
6.2.1 无监督最大似然估计 111
6.2.2 正态分布下的无监督参数估计 112
6.3 动态聚类算法 115
6.3.1 均值聚类算法 116
6.3.2 ISODATA聚类算法 121
6.4 层次聚类算法 127
6.4.1 凝聚的层次聚类算法 127
6.4.2 分裂的层次聚类算法 128
6.5 谱聚类 130
6.6 模糊聚类方法 134
6.6.1 模糊集基本知识 134
6.6.2 模糊c均值算法 135
6.7 相似性传播聚类 136
6.8 小结 138
习题 138
第7章 核方法和支持向量机 139
7.1 引言 139
7.2 核学习机 139
7.3 支持向量机 140
7.3.1 线性可分支持向量机 141
7.3.2 软间隔线性支持向量机 144
7.3.3 非线性支持向量机 146
7.4 支持向量回归机 147
7.5 小结 151
习题 151
第8章 神经网络和深度学习 152
8.1 引言 152
8.2 感知器 153
8.2.1 感知器的概念 153
8.2.2 感知器训练算法及其收敛性 154
8.2.3 感知器准则函数及梯度法 158
8.3 多层前向神经网络 162
8.3.1 多层前向神经网络 163
8.3.2 BP神经网络 165
8.3.3 RBF神经网络 170
8.4 自组织特征映射神经网络 176
8.4.1 SOM神经网络结构 176
8.4.2 SOM神经网络算法 177
8.5 深度学习 179
8.5.1 堆栈式自编码网络（SAE） 179
8.5.2 深度置信网络（DBN） 182
8.5.3 卷积神经网络（CNN） 185
8.5.4 循环神经网络（RNN） 191
8.5.5 生成对抗网络（GAN） 194
8.5.6 扩散模型 196
8.5.7 Transformer模型 197
8.6 小结 201
习题 204
第9章 特征选择与提取 205
9.1 引言 205
9.2 特征选择的一般流程 205
9.2.1 生成特征子集 205
9.2.2 评价准则 207
9.2.3 停止条件和结果验证 209
9.3 特征选择方法 209
9.3.1 过滤式特征选择方法 210
9.3.2 封装式特征选择方法 214
9.3.3 嵌入式特征选择方法 215
9.3.4 集成式特征选择方法 215
9.4 线性特征提取方法 216
9.4.1 线性判别分析 216
9.4.2 主成分分析方法 217
9.5 非线性特征提取方法 219
9.5.1 核线性判别分析 219
9.5.2 核主成分分析 221
9.5.3 流形学习 222
9.6 小结 224
习题 225
参考文献 226