《普通高等教育"十二五"规划教材:线性代数(理工类)》主要讨论了矩阵理论相关知识、特征值与奇异值分析、主成分分析及神经网络分析方法、次成分分析及神经网络分析方法、子空间跟踪及神经网络分析方法、总体最小二乘方法、特征提取方法应用等。全书内容新颖，不但包含信息特征提取与优化的若干方法，而且对这些迭代方法的神经网络算法的性能分析方法也进行了较为详细的分析，反映了国内外信息处理和神经网络领域在该方向上研究和应用的最新进展。 
    《普通高等教育"十二五"规划教材:线性代数(理工类)》适合作为电子、通信、自动控制、计算机、系统工程、模式识别和信号处理等信息科学与技术学科高年级本科生和研究生教材，也可供相关专业研究人员和工程技术人员参考。

     张曙翔主编的《线性代数(理工类)》是为综合性大学及师范院校理工类非数学各专业编写的。全书内容精炼，重点突出、讲解详实、例题丰富，叙述注重直观、通俗易懂，在注重强化基础知识及其训练的基础上，适当降低理论推导，尽可能地突出数学的思想方法，做到了深入浅出。教材内容包括：矩阵、可逆矩阵及矩阵的秩、线性方程组与向量组的线性相关性、特征值与特征向量、线性空间与线性变换、二次型。

前言
第一章 绪论
1.1 特征信息提取
1.1.1 主/次成分分析与子空间跟踪
1.1.2 主/次成分神经网络分析算法
1.1.3 该领域目前的研究热点
1.2 特征提取与子空间跟踪基础
1.2.1 子空间概念
1.2.2 子空间跟踪方法
1.2.3 基于优化理论的子空间跟踪
1.2.4 子空间跟踪方法的性能分析
1.3 总体最小二乘技术
参考文献

第二章 矩阵的奇异值与特征值分析
2.1 引言
2.2 矩阵的奇异值分析
2.2.1 奇异值分解
2.2.2 奇异值的性质
2.3 矩阵的特征分析
2.3.1 特征值问题与特征方程
2.3.2 特征值与特征向量
2.3.3 Hermitian特征值分解
2.4 Rayleigh商及其特性
2.4.1 Rayleigh商
2.4.2 Rayleigh商迭代
2.4.3 Rayleigh商求解的梯度和共轭梯度算法
2.4.4 广义Rayleigh商
2.5 本章小结
参考文献

第三章 主成分分析神经网络与算法
3.1 引言
3.1.1 主成分分析
3.1.2 Hebbian学习规则
3.1.3 Oja学习规则
3.2 基于Hebbian规则的主成分分析
3.2.1 子空间学习算法
3.2.2 Generalized Hebbian算法
3.2.3 其他基于Hebbian规则的算法
3.3 基于优化方法的主成分分析
3.3.1 最小均方误差重构算法
3.3.2 投影逼近子空间跟踪算法和PASTd算法
3.3.3 鲁棒RLS算法
3.3.4 NIC算法
3.3.5 成对的主成分分析算法
3.4 有侧向连接的主成分分析
3.4.1 Rubner-Tavan主成分分析算法
3.4.2 APEX主成分分析算法
3.5 非线性主成分分析
3.5.1 核主成分分析算法
3.5.2 鲁棒/非线性主成分分析算法
3.5.3 基于自联想神经网络的主成分分析
3.6 其他主成分分析
3.6.1 约束主成分分析
3.6.2 局部主成分分析
3.6.3 复数域主成分分析
3.6.4 主成分分析的其他推广
3.7 互相关非对称网络主奇异成分分析
3.7.1 提取多个主奇异成分
3.7.2 提取最大主奇异成分
3.7.3 提取非方矩阵的多个主奇异成分
3.8 本章小结
参考文献

第四章 次成分分析神经网络及性能分析
4.1 引言
4.1.1 次成分神经网络算法
4.1.2 次成分神经网络算法存在的问题
4.1.3 次成分神经网络算法的发展
4.2 次成分分析神经网络与算法
4.2.1 提取第一个次成分算法
4.2.2 次子空间跟踪算法
4.2.3 多个次成分提取
4.2.4 自稳定次成分分析
4.2.5 正交化的Oja算法
4.2.6 其他次成分分析算法
4.3 次成分分析神经网络算法发散现象分析
4.3.1 普通发散现象
4.3.2 突然发散现象
4.3.3 不稳定发散现象
4.3.4 数值发散现象
4.3.5 自稳定特性分析
4.4 高维数据流的次子空间跟踪神经网络算法
4.4.1 次子空间及其跟踪算法
4.4.2 一种自稳定的次成分分析算法
4.4.3 通过DCT方法对算法收敛性能的分析
4.4.4 算法的发散性能分析
4.4.5 通过SDT方法的算法自稳定特性分析
4.4.6 次子空间跟踪算法
参考文献

第五章 特征信息网络确定性离散时间系统
5.1 引言
5.2 神经网络确定性离散时间系统
5.3 Hebbian神经元网络确定性离散时间系统行为分析
5.3.1 DCT近似及局限性
5.3.2 Oja算法DDT系统及局部性能分析
5.3.3 Oja算法DDT系统的全局性能分析
5.4 一种新的自稳定次成分分析算法及确定性离散时间系统分析
5.4.1 新的自稳定次成分分析算法的提出
5.4.2 通过确定性DDT系统对算法的收敛性能分析
5.4.3 通过确定性DDT系统对算法的稳定性能分析
5.4.4 计算机仿真实验
5.5 统一的主/次成分分析学习算法及确定性离散时间学习分析
5.5.1 算法的收敛特性分析
5.5.2 计算机仿真
5.6 本章小结
参考文献

第六章 双目的主/次子空间神经网络跟踪算法
6.1 引言
6.2 双目的特征提取神经网络方法
6.2.1 双目的特征提取的必要性
6.2.2 Chen双目的特征提取方法
6.2.3 其他几种双目的方法的简要分析
6.3 一种新的双目的特征提取神经网络算法
6.3.1 预备知识
6.3.2 一个新颖的信息准则及其前景
6.3.3 新的双目的主/次子空间梯度流
6.3.4 计算机仿真实验
6.3.5 定理的证明与推导
6.3.6 算法小结
6.4 本章小结
参考文献

第七章 总体最小二乘与神经网络迭代求取算法
7.1 引言
7.2 总体最小二乘方法
7.2.1 经典总体最小二乘
7.2.2 加权总体最小二乘
7.2.3 结构总体最小二乘
7.3 总体最小二乘递归类方法
7.3.1 Davila RTLS算法
7.3.2 Feng快速RTLS算法
7.3.3 FengAIP算法
7.4 总体最小二乘神经网络方法
7.4.1 总体最小二乘神经网络方法
7.4.2 GAO TLS神经元方法
7.4.3 EXINTLS神经元方法
7.4.4 Bruce混合LS-TLS算法
7.5 一个新的总体最小二乘线性核及其自稳定算法
7.5.1 采用DCT对所提算法的性能分析
7.5.2 采用SDT对所提算法的瞬态行为分析
7.5.3 计算机仿真实验
7.6 本章小结
参考文献

第八章 特征信息提取神经网络与算法应用
8.1 引言
8.2 主成分提取神经网络与算法的应用
8.2.1 通信中的特征提取与降维
8.2.2 图像处理中的数据压缩
8.2.3 多重信号分类和波达方向估计
8.3 次成分提取神经网络与算法的应用
8.3.1 曲线与曲面匹配应用
8.3.2 Pisarenko法谱估计
8.4 总体最小二乘神经网络与算法的应用
8.4.1 FIR自适应滤波的总体最小二乘算法
8.4.2 在线参数估计中的应用
8.4.3 在自适应控制中的应用
8.4.4 在复杂系统故障诊断中的应用
8.5 本章小结
参考文献

第一章 绪论
1.1 特征信息提取
复杂系统输出信号中包含着丰富的反映系统本质属性的特征信息，如何描述并提取这些特征信息，进一步如何应用这些特征信息？这些问题引起了信息领域学者的广泛关注，新技术、新算法不断出现，形成了信号处理、数据分析和神经网络领域非常活跃的研究热点。经过这些年的发展，特征信息提取技术形成了主成分分析、次成分分析、子空间跟踪和独立成分分析等不同的研究方向，这几个研究方向之间既有联系，又有相对的独立性。
1.1.1 主/次成分分析与子空间跟踪
主成分（principalcomponent，PC）是指信号有最大偏差的方向，只利用数据向量的K个主分量进行的数据或者信号分析称为主成分分析（principalcomponentanalysis，PCA）。次成分（minorcomponent，MC）是指信号有最小偏差的方向，基于次成分的信号分析、系统分析或者模式分析则统称为次成分分析（minorcomponentanalysis，MCA）。主成分分析在数据或图像压缩、多重信号分类、波达方向估计、通信技术等领域得到广泛应用，而次成分分析也已经应用在总体最小二乘（totalleastsquare，TLS）、运动目标识别、曲线与曲面匹配、数字成形束、频域估计和故障诊断等领域。通常主/次成分分析都是单维的，而实际中主成分或次成分以多维为主。与数据向量的自相关矩阵r个最小特征值对应的特征向量被称为次成分。与数据向量的自相关矩阵的r个最大特征值对应的特征向量被称为主成分，这里r是主成分或次成分的个数。在一些实际应用中，有时并非要得到多个主成分或者次成分，而只要求跟踪由特征成分张成的子空间。这里将主成分张成的子空间称为主子空间（principalsubspace，PS），而将由次成分张成的子空间称为次子空间（minorsubspace，MS）。一个对称矩阵的主成分和次成分分析器可以分别收敛到主成分和次成分。类似地，一个对称矩阵的主子空间和次子空间分析器可以分别收敛到一个主子空间和次子空间。主子空间是由一个高维向量序列的自相关矩阵的主特征值相关的所有特征向量张成的一个子空间，而与该高维向量序列的自相关矩阵的次特征值相关的所有特征向量所张成而形成的子空间被称为次子空间。主子空间有时也称为信号子空间，而次子空间也称为噪声子空间。主子空间分析（principalsubspaceanalysis，PSA）为许多信息处理领域，如特征提取和数据压缩等提供了有效的方法。在许多实时信号处理领域，如自适应方向波达方向估计、自适应信号处理中的总体最小二乘的自适应解、曲线与曲面匹配等应用中，次子空间分析（minorsubspaceanalysis，MSA）是一个主要的需求。
通过数学分析，可以得出结论：所谓数据的主成分就是数据向量自相关矩阵的最大特征值所对应的特征向量，而数据的次成分是数据向量自相关矩阵的最小特征值所对应的特征向量。这样通过数学上相关矩阵特征值处理或数据矩阵奇异值处理可以得到主成分或次成分。相关矩阵特征值或数据矩阵奇异值处理的方法是基于数据的集中处理，本质上是一种批处理算法，无法实时应用，而且对于维数大的数据来说，其计算复杂度是相当大的，也容易出现数据不稳定的情况。这样寻求可以实时处理、迭代运算、数值稳定、算法简单的主成分分析、次成分分析方法或者子空间跟踪是近20年来国际上自动控制、信号处理和神经网络领域的一个研究热点，受到广泛关注。
1.1.2 主/次成分神经网络分析算法
为了实现特征信息的在线迭代与自适应提取，大量的迭代及自适应算法被提出，主/次成分分析或者主/次子空间跟踪迭代求取算法包括逆迭代、常规的和逆Chebyshev迭代、Rayleigh商迭代、神经网络等方法。其中神经网络方法是一种有效的迭代求取算法，尤其是求取主/次成分的单层神经网络及其Hebbian型算法由于其算法的简单性和有效性受到人们的高度重视，得到迅速发展，成为自适应主/次成分分析的主流算法。在该类神经网络算法的研究中，新算法不断出现，算法的性能也得到深入透彻的研究。芬兰学者Oja［1］和华裔学者Xu［2］等是该领域的开创者，他们的工作为该领域的发展奠定了良好的基础。
早在1979年，Thompson［3］就提出了估计与样本协方差矩阵最小特征值对应的特征向量的最小均方（LMS）型自适应方法，并结合Pisarenko谱估计子提供了角度/频率的自适应跟踪算法。其后，许多学者开展了特征向量及其子空间跟踪算法的研究［4］更多的是跟踪信号子空间算法的研究，有的同时更新特征值和特征向量，有的是采用，矩阵理论计算如经典的特征值分解/奇异值分解的批处理方法，有的采用优化理论来解决子空间跟踪问题［5］。
在主子空间神经网络跟踪研究领域，基于启发式推理的算法，如Oja算法［6］、对称误差修正算法［7］和对称后向传播算法［8］等相继被提出。分析表明，这几个算法本质上是相同的，被通称为Oja算法。后来，最小均方误差重构算法（LMSER）被提出［9］，在该算法中著名的梯度搜索概念用来最小化一个均方误差。不像Oja算法，该算法是全局收敛的，因为只有主子空间实现均方误差的全局最小而均方误差的其他平稳点都是鞍点。基于该均方误差，投影近似子空间跟踪算法（PAST）［10］、共轭梯度算法［11］、高斯牛顿方法［12］等算法被提出。近来，一个新颖的信息准则（NIC）被提出，基于该准则，一种新颖的梯度算法和递归类主子空间跟踪算法被提出［13］。后来，基于NIC准则和加权矩阵，一个快速提取多个主成分的梯度算法和递归类算法被提出［14］。
20世纪90年代以来，基于反馈神经网络模型进行次子空间跟踪受到高度关注，相继有多个次子空间神经网络跟踪算法被提出来［15～22］。使用膨胀方法，Luo等［15］提出了一个次子空间分析算法，该算法在运行过程中不需要任何标准化操作；Douglas等［16］提出了一个自稳定的次子空间分析算法，该算法不需要周期性的标准化操作，也没有矩阵的逆运算；Chiang等［17］显示出一个学习算法采用合适的初始化而不是膨胀方法，就可以并行抽取多个次成分。基于一个信息准则，Ouyang等［4］提出了一个自适应次成分跟踪器，该算法可以自动发现次子空间而不需要采用膨胀方法。近年来，Feng等［19］提出了一个OJAm算法，将该算法推广到用来跟踪多个次成分或次子空间，使相应的状态矩阵收敛到次子空间的列正交基。最近，性能更为优良的次成分及子空间跟踪算法［23～25］被提出来，该领域新算法仍然在不断发展中。
1.1.3 该领域目前的研究热点
1.神经网络主/次成分分析算法的收敛性与稳定性分析
对迭代或神经网络算法进行收敛性和稳定性分析是主/次成分分析领域十多年来的研究热点。算法收敛性与稳定性的直接研究和分析是一个非常难的课题，传统上这些算法的收敛性是通过某种确定性的连续时间系统（deterministiccontinuoustime，DCT）来间接分析的。由随机系统描述的特征提取神经网络算法可以由相应的确定性连续时间系统来表示，这种表示需要许多假设性条件，其中之一是要求学习因子收敛到零，这在很多实际应用是一个强加的不合理的要求。通过DCT系统证明已经收敛的算法，是否存在发散或不稳定的可能？2002年意大利学者Cirrincione等对一些次成分分析神经网络学习算法进行了研究［20］，首次根据黎曼度量来分类次成分分析线性核，并通过误差损失退化的分析证明了在接近收敛的时候算法的不同行为。同时，对算法进行了直接的随机离散时间系统（stochasticdiscretetime，SDT）分析，发现了突然发散、动态发散和数值发散，这一发现推动了该领域的研究。然而，DCT和SDT虽然可以分析得出算法是否收敛与稳定，却不能求出具体收敛与稳定的充分条件或边界条件。西班牙学者Zufiria［26］提出一种确定性的离散时间系统（deterministicdiscretetime，DDT）来间接解释由随机离散时间系统描述的神经网络学习算法的动力学系统，DDT刻画的是核节点的平均进化行为，保持了原网络的离散时间形式，要求学习因子保持常数，得到的是该类学习算法的更真实的动态行为。在此基础上，近年来我国学者Yi等［27］研究团队对DDT方法进行了深入研究和推广，研究了几乎所有现有的主/次成分分析神经网络学习算法，推导了一系列算法各自收敛和稳定的成分条件及边界条件，大大推进了次成分分析神经网络学习算法性能的研究，形成了从2005～2009年国际上神经网络领域的一个学术研究热点。
2.神经网络主/次成分分析自稳定算法
一个神经网络主/次成分分析方法以及主/次子空间跟踪算法如果在算法迭代更新过程中，神经网络的权向量或权矩阵的模值随着时间的进行发散到无穷，则不利于算法的实际应用。解决的途径有两个，一是在迭代更新过程中每步或者定期将权向量或权矩阵的模值实行规范化处理，使其模值长度等于1；另一种探索权向量模值自稳定的算法［16，19，21］，无论初始权向量模值大小，使算法在更新过程中权向量或权矩阵的模值自动收敛于某一固定值或者为1。为了克服神经网络算法在迭代过程中权向量模值发散问题，寻求权向量模值自稳定的主/次成分神经网络算法是该领域一个研究热点，在这些自稳定的学习算法中，神经网络核的权向量保证收敛到一个规范化的主/次成分或者神经网络核的权矩阵保证收敛到一个规范化的主/次子空间。当前，自稳定特性已经成为神经网络主/次成分分析方法及主/次子空间跟踪算法的一个必备的特性。
3.统一或双目的主/次成分分析自稳定算法
最初的主/次成分分析算法以及主/次子空间分析是各自独立发展的，大量的算法被提出来，并得到广泛的应用。主成分与次成分算法之间存在怎样的关系？一个自然的想法是在一个主成分分析（或者主子空间跟踪）算法中，通过改变相关矩阵的符号或者取原矩阵的逆矩阵，或者仅仅改变学习因子的符号便可以实现次成分分析（或者次子空间跟踪），反过来也一样。实践证明这样的变换常常不成立，要么不能实现另一种成分分析或者子空间跟踪，要么虽然可以实现预期的功能但是算法更新过程中，神经网络的权向量或者权矩阵由收敛变成发散。在文献［28］，［29］中，Chen等提出了主成分分析/主子空间分析和次成分分析/次子空间分析之间的一种转换机制，分析显示通过这种转换机制，每一个主成分分析算法都配有一个次成分分析算法，反过来也一样。这样基本解决了上述问题，通过这一转换机制，导出的双目算法具有不同的算法结构形式。那么，是否有一个统一的神经网络算法，该算法仅仅通过改变同一学习规则中的符号就能够进行主成分分析与次成分分析或者主/次子空间跟踪，无疑这样的算法更具有现实意义，可以减少硬件设施的复杂性和成本。近十多年来，寻求统一或双目的主/次成分分析（或者主/次子空间分析）算法是该领域的一个研究热点［29～31］。
1.2 特征提取与子空间跟踪基础
由次成分张成的子空间称为次子空间，而由主成分张成的子空间称为主子空间，单维主成分分析或单维次成分分析可以认为是主子空间跟踪或次子空间跟踪的特殊形式。在主成分或次成分神经网络领域，芬兰学者Oja等作出了开创性的工作。为了对次成分、主成分、次子空间以及主子空间及其应用有一个清晰的理解，下面从子空间的角度对这些概念及其数学描述与物理意义进行介绍［5］。