本书系统地介绍了数据科学中的核心理论与实践方法，为读者理解和应用这些技术提供了坚实的基础。本书涵盖了监督学习、无监督学习和强化学习的内容。其中，监督学习包括理论框架、线性模型、核方法、神经网络以及一阶优化方法。无监督学习涉及聚类分析、主成分分析和生成学习方法。强化学习提供对相关内容的深入探讨。

2001年8月 - 2006年8月, 普林斯顿大学，应用与计算数学专业博士。 1995年9月 - 2001年7月, 北京大学，计算数学专业本科、硕士。中国工业与应用数学学会副理事长，湖北省工业与应用数学学会理事长

目录
丛书序
前言
第1章 监督学习
1.1从训练数据到预测 2
1.2决策理论 3
第2章 经验风险最小化
2.1风险的凸性 8
2.2经验风险分解 13
2.2.1逼近误差 14
2.2.2估计误差 14
2.3 Rademacher复杂度 17
2.4非渐近分析和渐近统计的关系 24
2.5练习 25
第3章 线性最小二乘回归
3.1线性最小二乘回归的介绍 28
3.2最小二乘的概念 28
3.3普通最小二乘估计 29
3.3.1解析解 29
3.3.2几何解释 30
3.4固定设定 32
3.5岭回归 34
3.6估计下界 37
3.7随机设定下的分析 39
3.7.1高斯设定 40
3.7.2一般设定 41
3.8练习 42
第4章 稀疏方法
4.1稀疏方法的介绍 44
4.2 *惩罚变量选择 47
4.2.1假设k已知 47
4.2.2估计k 49
4.3 *正则化的高维估计 52
4.3.1 慢速率 54
4.3.2 快速率 55
4.3.3 互相关条件 57
4.3.4 随机设定 58
4.4 扩展 59
4.5 练习 60
第5章 核方法
5.1 核方法的介绍 64
5.2 表示定理 64
5.3 核 66
5.4 算法 72
5.5 Lipschitz连续的损失函数 75
5.6 岭回归的理论分析 79
5.7 练习 85
第6章 机器学习中优化的介绍
6.1 机器学习中的优化 88
6.2 梯度下降 89
6.2.1 最简单的分析:普通最小二乘 89
6.2.2 凸函数和其他性质 92
6.2.3 强凸和光滑函数下对梯度下降的分析 93
6.2.4 凸和光滑函数下对梯度下降的分析 95
6.2.5 除了梯度下降的额外补充 97
6.2.6 非凸目标函数 98
6.3 在非光滑问题上的梯度下降方法 99
6.4 随机梯度下降的收敛率 101
6.4.1 强凸问题 103
6.4.2 方差缩减 105
6.5 练习 110
第7章 神经网络
7.1 神经网络的介绍116
7.2 单隐藏层神经网络 116
7.3 单隐藏层神经网络的近似性质119
7.4 拓展 128
7.5 练习 128
第8章 生成对抗网络
8.1 生成对抗网络的介绍130
8.2 通过比较进行学习 131
8.3生成对抗网络推导、训练与收敛性138
8.4条件生成对抗网络 145
8.5利用生成对抗网络进行推理 146
8.6生成对抗网络的神经结构146
8.7应用 149
第9章 主成分分析
第10章 强化学习
10.1 强化学习的介绍 166
10.2 基于价值的强化学习 168
10.3 基于策略的强化学习 172
10.4 基于模型的强化学习 178
10.5 离轨策略学习 181
10.6 基于概率推理的强化学习方法 186
第11章 聚类分析
11.1 聚类分析的介绍 194
11.2 分层聚类 196
11.3 K均值聚类 199
参考文献
附录A 基础知识
A.1 线性代数与微分 209
A.2 集中不等式 212