前言

　　中国工程院院士、互联网专家邬贺铨在移动互联网国际研讨会（IMIC2014）上指出，互联网已经进入“大智移云”（大数据、智能化、移动互联网和云计算）时代。近两年来，“大智移云”得到了蓬勃发展。其中，大数据、人工智能联系紧密，受到了业界和学术界越来越多的关注。中国科学院张钹院士在第十七届中国国际高新技术成果交易会的“深度学习与人工智能”院士论坛上表示，大数据给人工智能带来了新的发展机遇，即深度学习。

　　深度学习其实并不神秘，小到微信中语音转文字、“扫一扫”中的封面识别和翻译，大到打败世界顶尖棋手李世乭的谷歌围棋人工智能程序AlphaGo，都有深度学习的身影。随着技术的进步，相信深度学习将会深入人们的生活中，得到越来越广泛的应用。

　　本书是一种关于深度学习的入门读物，面向的是希望了解深度学习技术的高年级理工科本科生和研究生，还有业界对深度学习感兴趣的技术人士。为了能让深度学习零基础的技术人员快速上手，笔者力求按照初学者的学习历程来组织本书内容。对于初学者来说，如何才能以最快的速度了解一门技术并产生兴趣？笔者以为需要做到三点：首先需要对技术的基本原理有透彻的了解；其次需要对技术的总体框架和脉络有所掌握；再次需要有容易上手的实例以供实践。最终达到理论与实践的结合，具体原理与知识整体框架的统一。

　　有鉴于此，本书比较注重对深度学习基本原理的阐释，对深度学习及其所属的机器学习的框架性内容的探讨，还有笔者所参与的项目的实例分享。希望按照笔者的理解，将深度学习的原理、框架和实践分享给对深度学习感兴趣的人士。由于深度学习是机器学习的一个领域，为了体系的完整性，本书会介绍一些机器学习的基本知识，并由此引出深度学习的内容。

　　全书分为四大部分：第一部分介绍机器学习的基础知识；第二部分介绍深度学习的原理；第三部分介绍当前热门的深度学习工具Caffe和Tensorflow；第四部分介绍强化学习基本原理和人工智能围棋程序AlphaGo的架构。每部分都会配有可实现之实例以供印证所述原理。本书主要参考了南京大学周志华教授的《机器学习》，AndrewNg（吴恩达）的UFLDL和Coursera机器学习课程，微软LiDeng和DongYu的DeepLearning:MethodsandApplications，MichaelNielsen的NeuralNetworksandDeepLearning等资料。这些资料充分体现了机器学习领域的诸位前辈高人们深厚的学养和高超的技艺，对笔者启发颇多，借此机会向吴恩达教授等前辈高人致敬！

　　深度学习的发展非常迅速，国内外巨头科技公司都不惜重金对此投入，故技术更新极快。而笔者对本领域初窥门径，水平有限，加之成书时间仓促，欠妥之处在所难免，读者朋友们若不吝相告，则不胜感激。

　　本书中涉及的所有代码、图片文件和数据集等都上传至百度云盘：

　　http://pan.baidu.com/share/init?shareid=258036058&uk=2051007731

　　密码：z7id，读者可自行下载，以供实验之用。

　　作者

　　2017年3月

目录

第1章绪论

1.1引言

1.2基本概念

1.2.1回归、分类、聚类

1.2.2监督学习、非监督学习、半监督学习、强化学习

1.2.3感知机、神经网络

1.3发展历程

1.4相关学者与会议或赛事

1.5本章小结

参考文献

第2章回归

2.1线性回归

2.1.1问题描述

2.1.2问题求解

2.1.3工具实现

2.2逻辑回归

2.2.1问题描述

2.2.2问题求解

2.2.3工具实现

2.3本章小结

参考文献

第3章人工神经网络

3.1Rosenblatt感知机

3.1.1训练方法

3.1.2算法实例

3.1.3梯度下降

3.2人工神经网络

3.2.1网络架构

3.2.2训练方法

3.2.3算法实例

3.3本章小结

参考文献

深度学习：入门与实践

目录

第4章Caffe简介

4.1CNN原理

4.1.1卷积

4.1.2池化

4.1.3LeNet��5

4.2Caffe架构

4.2.1Blob类

4.2.2Layer类

4.2.3Net类

4.2.4Solver类

4.3Caffe应用实例

4.3.1车型识别

4.3.2目标检测

4.4本章小结

参考文献

第5章TensorFlow简介

5.1TensorFlow架构

5.2TensorFlow简单应用

5.2.1TensorFlow安装

5.2.2线性回归

5.3TensorFlow高级应用

5.3.1MNIST手写数字识别

5.3.2车型识别

5.4本章小结

参考文献

第6章强化学习简介

6.1强化学习基本原理

6.2AlphaGo基本架构

6.3其他趣味应用

6.4本章小结

参考文献

后记

　　第1章绪论

　　可见，Samuel给出了一个比较直观的定义，机器学习就是研究如何让计算机在不被明确地编程的情况下具有学习能力。这就不是机关术那么简单，而是具有类人的智能了。Mitchell的定义比较正式，因而得到了广泛引用。但这段英文实在是佶屈聱牙，有点像英文绕口令。其实不必担心，这段定义里有三个重要的概念，分别是经验E、任务T和性能指标P。如果一个计算机程序能够通过经验E改进其在任务T上的性能指标P，则称其具有学习能力。这是一个非常重要的定义，定义了机器学习的一个通用模型。从后文中可以看到，经验E、任务T和性能指标P贯穿机器学习的始终，在求解机器学习问题时都有着明确的数学表示。

　　Mitchell的定义对于初学者来说依然比较难以理解。其实可以参考人类学习的过程，经验E就是从大量历史数据中总结出的规律，任务T一般为对新事物的识别和新形势的预测，P当然指的就是识别和预测的准确率。古谚“老马识途”比喻的是阅历丰富的人对事物的走向把握得比较准确，也就是因为其“历史数据”很多，从而能够总结出比较客观的规律而已。

　　那么深度学习又是什么呢？关于深度学习的定义有很多，但有一点是肯定的，那就是深度学习是机器学习的一个子域(sub�瞗ield)或分支(branch)。深度学习兴起于2006年，也被称为深度结构化学习(deepstructuredlearning)、层次化学习(hierarchicallearning)或深度机器学习(deepmachinelearning)[1,2]。虽然学术界尚无对深度学习的统一定义，在此可以提供几个权威的定义供读者参考。

　　定义1深度学习方法是多层表示的表示学习方法，多层表示由一个从低到高的非线性简单模块网络获得，每个模块将表示从一个层次（起始于原始输入）转化至另一个更高的、更抽象的层次[3]。

　　定义2深度学习是机器学习的一个分支，基于一个尝试使用多复杂结构处理层或多非线性变化来模型化高层次抽象的算法集[4]。

　　定义3深度学习是一类机器学习算法：

　　�r使用多层非线性处理单元级联来进行特征抽取和转换。每个后续层使用之前层的输出作为输入。算法可能是监督的或非监督的，应用包括模式分析（非监督）和分类（监督）。

　　�r是基于多层数据特征或表示的（非监督）学习。高层特征来自低层特征以形成层级表示。

　　�r是更广的机器学习领域中的数据表示学习部分。

　　�r学习对应于不同层抽象的多层表示，不同层组成了概念的不同层级。

　　以上定义有两个共同点：（1）多层非线性处理单元；（2）每层中的监督或非监督特征表示学习，各层组成从低层特征到高层特征的层次结构。

　　定义4深度学习是机器学习中的一个算法集，在多个层次上进行学习，对应不同层次的抽象。通常使用人工神经网络。学习的统计模型中不同的层次对应不同层次的概念，高层次的概念由低层次的概念定义，相同低层次的概念可帮助定义许多高层次的概念。

　　第一个定义是机器学习界的大神Hinton在其发表于Nature上的文章“Deeplearning”中给出的定义，第二和第三个定义是维基百科给出的定义，第四个定义出自LiDeng的DeepLearningMethodsandApplications一书。这是四个足以令初学者失去继续学习勇气的定义。不过没关系，随着后面对例子的讲解，读者会对深度学习有一个直观的认识，那时再回过头来看看上述定义，就会有所理解。在此之前，只需要知道两点就足够了：（1）深度学习是机器学习的一种；（2）深度学习使用深度神经网络为主要工具，这也是其得名的原因。

　　1.2基本概念

　　在有关深度学习的文献阅读中，经常会遇到一些术语和概念。对于初学者来说，快速入门的方法莫过于对其中某些关键概念的掌握。把握整个领域的知识架构，提纲挈领地学习，避免陷入只见树木，不见森林的困境。本节意在以浅显而非专业化的语言描述机器学习、深度学习中一些关键的概念，梳理整个领域的知识架构，为进一步了解深度学习的原理和应用做好铺垫。

　　首先从一些基本的概念说起。随着人工智能领域在近些年的火爆，科技工作者的微信朋友圈经常被人工智能相关的新闻和技术帖刷屏。人工智能、机器学习、深度学习等名词成了圈内的高频词汇。这些概念都是什么意思，又有什么关系呢?

　　蒙特利尔大学深度学习大神YoshuaBengio在其即将于MIT出版社出版的Deeplearning[6]一书中对这些概念进行了阐述，借用其文氏图表示这些概念的关系如图1.1所示。