拓展支持向量机算法研究_吴青　著_9787030458568

拓展支持向量机算法研究

定价：¥50

中教价：¥39.00 (7.80折）

库存数： 0

丛书名：现代数学基础丛书

购买数量：

　　《拓展支持向量机算法研究》从**化理论与方法的角度出发，结合作者长期以来在该领域的研究工作撰写而成。《拓展支持向量机算法研究》主要内容包括**化理论与支持向量机的基本理论知识、*小二乘支持向量机的一类快速算法、新的光滑支持向量机、新的光滑支持向量回归机、支持向量机的调节熵函数法、光滑半监督支持向量机、无参数填充函数的光滑聚类算法以及基于光滑支持向量机的人脸识别等。

　　第1章绪论
　　本章首先阐明本书所选课题的研究背景，从知识发现的角度出发简要回顾机器学习的发展，重点介绍支持向量机(support vector machine，SVM)的研究进展与现状，所选课题的研究价值，*后综述本书研究的目的、意义和所做的主要工作。
　　1.1选题的背景及意义
　　人类在认识自然、改造自然的过程中，总是通过对已知事物的分析总结规律，利用这些规律进一步认识自然、改造自然。这个过程体现了人类文明和人类智慧学习的发展历程。数据已是数字化时代必不可少的研究对象，大量甚至海量的各式数据到底提供了什么样的规律？对我们以后认识更多数据或实际对象有哪些指导？这就需要基于数据的学习，特别是基于数据的机器学习。
　　基于数据的机器学习是一种重要的知识发现方法，是人工智能**智能特征、*前沿的研究领域之一。机器学习主要研究计算机如何模拟或实现人类的学习能力，以获取新的知识和技能，重新组织已有的知识结构，使之不断改善自身的性能。机器学习是人工智能的核心问题，是使计算机具有人工智能的根本途径。基于数据的机器学习问题作为人工智能研究领域的一个重要方面，其研究的主要问题是从一组观测数据集出发，获得一些不能通过原理分析而得到的规律，进而利用这些规律对未来数据或无法观测到的数据进行预测和分析。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为以下三种[1]。
　　(1)经典的统计预测方法[2]。现有机器学习方法的共同重要理论基础之一是统计学。在这类方法中，模型中参数的相关形式是已知的，用训练样本来估计参数需要已知样本的分布形式，因此具有很大的局限性。另外，传统统计学研究的是样本数目趋于无穷大时的渐近理论，但在实际问题中，样本数量却是有限的，因此一些理论上很优秀的学习方法在实际应用中可能表现得不尽如人意。
　　(2)经验非线性方法，如人工神经网络(artificial neural network，ANN)方法[3，4]。神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法。对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的*有效的学习方法。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。人工神经网络方法已在很多实际的问题中获得了惊人的成功，如手写体识别[5，6]、语音识别[7，8]和图像识别[9-11]。但是这种方法缺乏统一的数学理论，过度拟合训练数据也是人工神经网络学习中的一个重要问题。尽管人工神经网络对训练数据表现非常好，过度拟合也会导致网络泛化到新的数据时性能很差。
　　(3)统计学习理论(statistical learning theory，SLT)[12-14]。与传统的统计学相比，SLT是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到**结果。Vapnik从20世纪60年代开始致力于此方面的研究[15]，到90年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，SLT开始受到越来越广泛的重视。
　　VC维(vapnik-Chervonenkis dimension)概念[16，17]是SLT的一个核心概念。它描述函数集或学习机器的复杂性，或者说是函数集学习能力的一个重要指标。在此概念基础上发展出了一系列关于统计学习的一致性[18]、收敛速度[19]、推广性能等重要结论。
　　SLT建立在一套较坚实的理论基础之上，为解决有限样本学习问题提供了一个框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等。SLT在20世纪70年代末诞生，到90年代之前都处在初级研究和理论准备阶段，近几年才逐渐得到重视，并产生了SVM这种将理论付诸实践的有效的机器学习方法。虽然SLT和SVM方法尚有许多问题需要进一步研究，但它们正在成为继模式识别和神经网络研究之后，机器学习领域新的研究热点[20]。
　　由于SLT理论和SVM方法处在发展阶段，很多方面尚不完善。例如，许多理论目前还只有理论上的意义，尚不能在实际算法中实现。而有关SVM方法的某些理论解释也并非完美。Vapnik和Burges就曾提到结构风险*小原理并不能严格证明SVM为什么有好的推广能力[21，22]。此外，对于一个实际的学习机器VC维的分析尚没有通用的方法。SVM方法中如何根据具体问题选择适当的核函数也没有理论依据，因此在这方面有很多问题还有待解决。
　　1.2SVM的研究与进展
　　1.2.1SVM的产生
　　SVM是Vapnik等根据SLT中结构风险*小化原则提出的。SVM能够尽量提高学习机的推广能力，即使由有限数据集得到的判别函数对独立的测试集仍能够得到较小的误差。此外，SVM是一个凸二次规划问题，能够保证找到的极值解就是全局**解。这些特点使SVM成为一种优秀的基于数据的机器学习方法。SVM是机器学习理论中**的内容，也是*实用的部分，其主要内容在1992～1995年基本完成，目前仍处于不断发展阶段。可以说，SLT之所以从20世纪90以来受到越来越多的重视，很大程度上是因为它发展出来了SVM这一通用的基于数据的机器学习方法。
　　SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。与传统机器学习方法不同，SVM首先通过非线性变换将原始的样本空间映射到高维的特征空间，然后在这个新空间中求取**线性分类面。而这种非线性变换是通过定义适当的内积函数实现的。SVM成功地解决了高维问题和局部极小值问题。在SVM中只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数(radial basis function，RBF)方法、多层感知器网络等许多现有学习算法。在解决高维问题中，神经网络等方法容易陷入一个又一个的局部极小值。SVM使用了大间隔因子来控制学习机器的训练过程，使其只选择具有**分类间隔的分类超平面。**超平面对线性不可分的情况引入松弛项来控制经验风险从而使其在满足分类要求的情况下具有好的推广能力，寻找**超平面的过程*终转化为凸二次型优化问题而得到全局**解。
　　SVM方法具有较好的理论基础，在一些领域的应用中表现出与众不同的优秀的泛化性能，因此，SVM在解决分类、回归和密度函数估计等机器学习问题方面获得了非常好的效果，并成功应用在模式识别[22-24]、回归估计[25，26]、概率密度函数估计[27]等方面。例如，在模式识别方面，SVM在手写数字识别、语音识别、文本分类[28-33]、信号处理[34-36]、图像分类与识别[37-42]等多个领域都有不俗的表现。SVM算法在精度上已经超过传统的学习算法或与之不相上下。
　　1.2.2支持向量分类机(SVC)算法研究
　　尽管SVM的性能在许多实际问题的应用中得到验证，但是传统的SVM算法在计算上存在一些问题，包括训练算法速度慢、算法复杂而难以实现、检测阶段运算量大、SVM抗击噪声及孤立点能力差等。所以在SVM的研究中，如何提高训练速度、减少训练时间、建立实用的学习算法仍是一些亟待解决的问题。在SVM中，无论线性、非线性、高维问题都对应求解一个二次凸规划，从而研究的主要方面之一就是该二次规划(quadric programming，QP)的求解，这称为SVM算法研究或SVM的训练(学习)研究。对于小数据量的问题，通用的优化问题的求解算法可以直接使用，但当数据量比较大时，这些算法由于内存限制而失效，需要讨论针对此问题的专门算法。
　　目前国内外已有很多学者提出了多种算法来优化此大规模凸二次规划问题。典型的算法有选块算法(chunking algorithm)、分解算法(decomposition algorithm)、序列*小优化算法(sequential minimal optimization，SMO)、基于标准SVM的某些扰动变形算法、采用光滑化技巧的学习算法、模糊的SVM学习算法等。
　　(1)选块算法。*早由Boser等提出的块算法[43]，目的就是通过某种迭代方式求解一个子QP问题逐步排除非支持向量，将QP矩阵的规模从训练样本数的平方减少到支持向量的个数的平方，大大降低对内存的需求，在支持向量很少或稀疏矩阵时能获得很好的结果。对于训练样本数很大或支持向量个数本身就很多的问题，选块算法就变得十分缓慢了。
　　(2)分解算法。分解算法[10，44]*早是由Osuna等提出的。在每次迭代中，将求解SVM的QP问题分解为一系列较小的QP子问题，但其工作集大小保持不变，对内存的需求从与支持向量的个数呈平方关系变为线性关系，因而能克服块算法存在的问题。分解算法的关键是如何确定工作集的替换策略，该策略的好坏直接影响算法的收敛速度。后来，Joachims[45，46]对替换策略进行了重要改进，实现了SVMlight软件[46]，同时采用收缩(shrinking)思想和核缓存(kernel cache)技巧来降低计算复杂度。Lin[47]给出了SVMlight收敛性的证明。Hsu等[48]说明工作集的选择不是一个简单的工作，任何好的策略都可能会遇到例外，并通过实验观测，简化了Joachims采用的方法[45]，在复杂情况下提高收敛速度。
　　上述两种算法都包含对分解后的子系统求解QP的问题，虽然是较小规模的QP问题，但一般仍必须用数值法求解。这往往会在计算精度和计算复杂性方面带来一些问题。
　　(3)序列*小优化算法。Platt*早提出了SMO算法[49，50]，它也是一种分解算法，其主要特点是把工作集的规模减到*小，仅含两个变量，对应的QP子问题可以得到解析解，而采用两重循环选择工作集。尽管在SMO方法中，QP子问题增多了，但总的计算速度大大提高，而且这种算法完全不需要处理大矩阵，因而对存储空间没有额外要求，很大的SVM训练问题也能用个人计算机进行运算。该方法思路简单，易于实现，效率较高。特别是Platt[50]借鉴SVMlight修改了SMO方法：引入shrinking思想和kernel cache技巧提高算法效率。Keerthi等通过对SVM算法的分析在文献[51]中提出了重大改进，即在判别**条件时用两个阈值代替一个阈值，从而使算法更合理、更快。Lin[47，52]、Keerthi等[53]进行了收敛性证明，进而SMO方法发展比较完善，其线性收敛速度(在一定条件下)得到证明。特别是Keerthi等[53]给出广义SMO方法，提出“违反对(violating pair)”的概念，而基于“**违反对(maximal violating pair)”选择工作集实际相当于某种意义的*速下降方向方法，简化了问题的求解思路。*近，Takahashi等[54]指出关于SMO停止条件的证明不严格，并给出了严格的证明。
　　子问题的规模和迭代的次数是一对矛盾，SMO将工作样本集的规模减少到2，一个直接的后果就是迭代次数的增加。所以SMO实际上是将求解子问题的耗费转嫁到迭代上，然后在迭代上寻求快速算法。但是，SMO迭代策略的思想是可以用在其他迭代算法中的，可见，SMO还有改进的余地。
　　(4)基于标准SVM的某些扰动变形算法。优化专家Mangasarian等提出了迭代型算法：连续超松弛(successive overrelaxation，SOR)[55]、广义支持向量机(generalized support vector machine，GSVM)[56，57]、光滑支持向量机(smooth support vector machine，SSVM)[58，59]、积极支持向量机(acti

你还可能感兴趣

我要评论

您的姓名	验证码：
留言内容