机器学习需要一条脱离过高理论门槛的入门之路。本书《机器学习篇》从小红帽采蘑菇的故事开篇，介绍了基础的机器学习分类模型的训练（第1章）。如何评估、调试模型？如何合理地发掘事物的特征？如何利用几个模型共同发挥作用？后续章节一步一步讲述了如何优化模型，更好地完成分类预测任务（第2章），并且初步尝试将这些技术运用到金融股票交易中（第3章）。自然界*好的非线性模型莫过于人类的大脑。《深度学习篇》从介绍并对比一些常见的深度学习框架开始（第4章），讲解了DNN模型的直观原理，尝试给出一些简单的生物学解释，完成简单的图片识别任务（第5章）。后续章节在此基础上，完成更为复杂的图片识别CNN模型（第6章）。接着，本书展示了使用Caffe完成一个完整的图片识别项目，从准备数据集，到完成识别任务（第7章）。后面简单描述了RNN模型（第8章），接着展示了一个将深度学习技术落地到图片处理领域的项目（第9章）。

都说这年头不会点机器学习不好意思出门，但高深的数学理论，复杂的算法又让很多人忘而却步，不知从何下手，《机器学习篇》绕过理论障碍，打通了一条由浅入深的机器学习之路。

丰富的实战案例讲解，介绍如何将机器学习技术运用到股票量化交易、图片渲染、图片识别等领域。

　　前言

　　越来越多的人期待能挤进机器学习这一行业，这些人往往有一些编程和自学能力，但数学等基础理论能力不足。对于这些人群，从头开始学习概率统计等基础学科是痛苦的，如果直接上手使用机器学习工具往往又感到理解不足，缺少点什么。本书就是面向这一人群，避过数学推导等复杂的理论推衍，介绍模型背后的一些简单直观的理解，以及如何上手使用。本书希望能够得到这些人的喜爱。

　　本书包含两部分：机器学习篇和深度学习篇。

　　机器学习篇（1～3 章）主要从零开始，介绍什么是数据特征，什么是机器学习模型，如何训练模型、调试模型，以及如何评估模型的成绩。通过一些简单的任务例子，讲解在使用模型时如何分析并处理任务数据的特征，如何组合多个模型共同完成任务，并在第3章初步尝试将机器学习技术运用到股票交易中，重复熟悉这些技术的同时，感受机器学习技术在落地到专业领域时常犯的错误。

　　深度学习篇（4～9 章）则主要介绍了一些很基础的深度学习模型，如DNN、CNN等，简单涵盖了一些RNN 的概念描述。我们更关注模型的直观原理和背后的生物学设计理念，希望读者能够带着这些理解，直接上手应用深度学习框架。说一点关于阅读本书的建议。本书在编写时不关注模型技术的数学推导及严谨表述，转而关注其背后的直观原理理解。建议读者以互动执行代码的方式学习，所有示例使用IPython Notebook 编写。读者可在Git 上找到对应章节的内容，一步一步运行书中讲解的知识点，直观感受每一步的执行效果。具体代码下载地址：https://github.com/bbfamily/abu。

　　本书适合有Python 编程能力的读者。如果读者有简单的数学基础，了解概率、矩阵则更佳。使用过Numpy、pandas 等数据处理工具的读者读起来也会更轻松，但这些都不是必需的。如果读者缺乏Python 编程能力，或者希望进一步获得Numpy、pandas 等工具使用相关的知识，可以关注公众号：abu_quant，获得一些技术资料及文章。

　　感谢出版社提供机会让我们编写本书，感谢编辑不辞辛苦地和我沟通排版等细节问题。

　　本书的完成同样需要感谢我们的几位朋友：吴汶（老虎美股）、刘兆丹（百度金融），感谢你们在本书编写作过程中提供的有力支持。感谢本书的试读人员：蔡志威、李寅龙。

阿布：多年互联网金融技术从业经验，曾就职于奇虎360、百度互联网证券、百度金融等互联网型金融公司，现自由职业，个人量化交易者，擅长个人中小资金量化交易领域系统开发，以及为中小型量化私募资金提供技术解决方案、技术支持、量化培训等工作。|

胥嘉幸：北京大学硕士，先后就职于百度金融证券、百度糯米搜索部门。多年致力于大数据机器学习方面的研究，有深厚的数学功底和理论支撑。在将机器学习技术融于传统金融量化领域方面颇有研究。

第一篇 机器学习篇
第1 章 初识机器学习 .................................................................................... 2
1.1 机器学习赋予机器学习的灵魂 ..................................................................... 2
1.1.1 小红帽识别毒蘑菇 ................................................................................................................... 2
1.1.2 三种机器学习问题 ................................................................................................................... 6
1.1.3 常用符号 .................................................................................................................................. 6
1.1.4 回顾 .......................................................................................................................................... 7
1.2 KNN相似的邻居请投票 ........................................................................................ 7
1.2.1 模型原理 .................................................................................................................................. 7
1.2.2 鸢尾花卉数据集（IRIS） ....................................................................................................... 9
1.2.3 训练模型 .................................................................................................................................. 9
1.2.4 评估模型 ................................................................................................................................ 12
1.2.5 关于KNN ............................................................................................................................... 14
1.2.6 运用KNN 模型 ...................................................................................................................... 15
1.2.7 回顾 ........................................................................................................................................ 16
1.3 逻辑分类I：线性分类模型 ........................................................................................ 16
1.3.1 参数化的模型 ........................................................................................................................ 16
1.3.2 逻辑分类：预测..................................................................................................................... 18
1.3.3 逻辑分类：评估..................................................................................................................... 22
1.3.4 逻辑分类：训练..................................................................................................................... 23
1.3.5 回顾 ........................................................................................................................................ 24
1.4 逻辑分类II：线性分类模型 ....................................................................................... 24
1.4.1 寻找模型的权重..................................................................................................................... 24
VI ?O 机器学习之路Caffe、Keras、scikit-learn 实战
1.4.2 去均值和归一化..................................................................................................................... 31
1.4.3 实现 ........................................................................................................................................ 33
1.4.4 回顾 ........................................................................................................................................ 34
第2 章 机器学习进阶 .................................................................................. 35
2.1 特征工程 ...................................................................................................................... 35
2.1.1 泰坦尼克号生存预测 ............................................................................................................. 35
2.1.2 两类特征 ................................................................................................................................ 38
2.1.3 构造非线性特征..................................................................................................................... 41
2.1.4 回顾 ........................................................................................................................................ 45
2.2 调试模型 ...................................................................................................................... 46
2.2.1 模型调试的目标..................................................................................................................... 46
2.2.2 调试模型 ................................................................................................................................ 49
2.2.3 回顾 ........................................................................................................................................ 52
2.3 分类模型评估指标 ...................................................................................................... 53
2.3.1 混淆矩阵系指标..................................................................................................................... 53
2.3.2 评估曲线 ................................................................................................................................ 58
2.3.3 回顾 ........................................................................................................................................ 61
2.4 回归模型 ...................................................................................................................... 61
2.4.1 回归与分类 ............................................................................................................................ 61
2.4.2 线性回归 ................................................................................................................................ 62
2.4.3 波士顿房价预测..................................................................................................................... 66
2.4.4 泰坦尼克号生存预测：回归预测特征年龄Age .................................................................. 69
2.4.5 线性模型与非线性模型 ......................................................................................................... 72
2.4.6 回顾 ........................................................................................................................................ 73
2.5 决策树模型 .................................................................................................................. 73
2.5.1 信息与编码 ............................................................................................................................ 74
2.5.2 决策树 .................................................................................................................................... 76
2.5.3 对比线性模型和决策树模型的表现 ..................................................................................... 77
2.5.4 回顾 ........................................................................................................................................ 79
2.6 模型融合 ...................................................................................................................... 80
2.6.1 融合成群体（Ensamble） ..................................................................................................... 80
2.6.2 Bagging：随机森林（Random Forest） ............................................................................... 82
目录 ?O VII
2.6.3 Boosting：GBDT ................................................................................................................... 83
2.6.4 Stacking ......................................................................................