本书主要包含以下内如：最优化问题的简介，凸分析基础，无约束优化的理论及线搜索算法框架，信赖域算法，线搜索收敛性分析及收敛速度分析，半光滑牛顿算法，共轭梯度算法，约束优化理论及延伸理论，罚方法，增广拉格朗日算法及算法在实际问题(支持向量机模型、超图匹配)中的应用。本书对知识点的分析紧密结合当前研究前沿问题，并通过对应用问题使用优化算法，让学生看到优化理论与实际数据的结合，将知识点以全方位的立体感呈现给学生。

目录
前言
第1章 支持向量机1
1.1 分类问题与标准支持向量机1
1.1.1 分类问题1
1.1.2C-支持向量机1
1.1.3 最小二乘支持向量机4
1.2 超平面非平行的支持向量机6
1.2.1 双子支持向量机6
1.2.2 非平行超平面支持向量机10
1.3 拓展阅读14
1.3.1 二分类支持向量机及其拓展15
1.3.2 多分类支持向量机及其拓展19
参考文献20
第2章 优化算法26
2.1 确定型优化算法26
2.1.1 序列最小最优化算法26
2.1.2 交替方向乘子算法27
2.1.3 坐标下降算法30
2.1.4 逐次超松弛迭代算法31
2.1.5 凸函数差分算法33
2.1.6 原始估计次梯度算法35
2.1.7 截断牛顿共轭梯度算法37
2.2 随机型优化算法39
2.2.1 梯度下降算法39
2.2.2 方差缩减算法41
2.2.3 加速算法43
2.2.4 自适应学习速率算法45
2.2.5 高阶算法47
2.2.6 邻近算法50
2.3 拓展阅读51
2.3.1 应用领域51
2.3.2 随机型优化算法的拓展52
参考文献52
第3章 损失函数58
3.1 分类问题的损失函数58
3.1.1 损失函数58
3.1.2 总结与分析66
3.2 回归问题的损失函数67
3.2.1 损失函数68
3.2.2 总结与分析70
3.3 无监督问题的损失函数.71
3.3.1 损失函数71
3.3.2 总结与分析73
3.4 拓展阅读73
3.4.1 目标检测中的损失函数73
3.4.2 人脸识别中的损失函数76
3.4.3 图像分割中的损失函数78
参考文献80
第4章 正则技术85
4.1 向量稀疏正则.85
4.1.1 应用场景85
4.1.2 正则项86
4.1.3 总结与分析90
4.2 矩阵稀疏正则.91
4.2.1 应用场景91
4.2.2 正则项92
4.2.3 总结与分析94
4.3 矩阵低秩正则.95
4.3.1 应用场景95
4.3.2 正则项96
4.3.3 总结与分析98
4.4 拓展阅读99
4.4.1 数据增强100
4.4.2 Dropout101
4.4.3 归一化103
参考文献105
第5章 多视角学习.109
5.1 多视角学习问题与处理原则109
5.2 两视角支持向量机SVM-2K111
5.3 基于特权信息学习理论的两视角支持向量机113
5.3.1 模型构建114
5.3.2 理论分析117
5.4 拓展阅读119
5.4.1 协同训练119
5.4.2 多核学习121
5.4.3 子空间学习121
5.4.4 深度多视角学习124
参考文献125
第6章 多标签学习.131
6.1 多标签学习问题与评价指标131
6.1.1 多标签分类问题131
6.1.2 多标签学习的评价指标132
6.2 多标签学习的经典算法133
6.2.1 二元关联133
6.2.2 排序支持向量机134
6.3 考虑标签相关性的代价敏感多标签学习135
6.3.1 模型构建136
6.3.2 模型求解138
6.3.3 理论分析140
6.4 拓展阅读141
6.4.1 传统多标签学习141
6.4.2 深度多标签学习142
参考文献143
第7章 多示例学习.146
7.1 多示例学习问题146
7.2 多示例支持向量机148
7.3 稀疏多示例支持向量机150
7.3.1 模型构建151
7.3.2 模型求解152
7.4 拓展阅读154
7.4.1 常见算法154
7.4.2 深度多示例学习算法156
7.4.3 与其他学习范式结合158
参考文献160
第8章 多任务学习.166
8.1 多任务学习问题166
8.2 多任务支持向量机167
8.3 多任务特征选择168
8.3.1 模型构建169
8.3.2 模型求解169
8.3.3 理论分析172
8.4 拓展阅读172
8.4.1 传统多任务学习173
8.4.2 深度多任务学习173
8.4.3 与其他学习范式结合176
参考文献177
第9章 度量学习181
9.1 度量学习问题181
9.1.1 距离181
9.1.2 度量学习问题182
9.2 全局与局部度量学习183
9.2.1 全局度量学习183
9.2.2 局部度量学习184
9.3 基于特征分解的度量学习185
9.3.1 全局算法185
9.3.2 局部算法186
9.3.3 比较与分析188
9.4 拓展阅读188
9.4.1 传统度量学习188
9.4.2 深度度量学习190
参考文献192
索引196