《混合神经网络技术（第二版）》在论述神经网络基本概念和基本原理的基础上，重点介绍混合神经网络技术，同时，介绍各种混合神经网络技术在电磁建模和优化问题中的应用。《混合神经网络技术（第二版）》共11章，内容主要包括神经网络的基本概念、基础知识、BP神经网络、RBF神经网络、Hopfield神经网络、粒子群神经网络、模糊神经网络、混沌神经网络、小波神经网络、知识神经网络和神经网络集成。
《混合神经网络技术（第二版）》可供从事神经网络理论与技术、计算电磁学、电磁场工程等领域研究和开发工作的科技人员和高校教师参考阅读，也可作为高等院校相关专业的高年级本科生和研究生的教学用书。
第1章绪论
人类具有高度发达的大脑，大脑是思维活动的物质基础，而思维是人类智能的集中体现。长期以来，人们想方设法了解人脑的工作机理和思维本质，向往构造出人工智能系统来模仿人脑的功能，其中的一个重要成果就是人工神经网络（artificial neural networks，ANN）。本章主要讲述人工神经网络的概念、基本性质、基本功能和应用，以及人工神经网络的性能指标、研究内容和发展趋势，*后介绍人工神经网络的电磁应用。
1.1神经网络的概念与分类
1.1.1神经网络的概念
人工神经网络又称神经网络（neural network）、人工神经系统（artificial neural systems）、自适应系统（adaptive systems）、自适应网（adaptive networks）、连接模型（connectionism）、神经计算机（neurocomputer）等，它是在对人脑认识的基础上，以数学和物理方法及从信息处理的角度对人脑生物神经网络（biological neural network，BNN）进行抽象并建立起来的某种简化模型。它是对人类大脑系统特性的一种描述，是由多个非常简单的处理单元彼此按某种方式连接而形成的计算机系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。简单地讲，人工神经网络是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。
1.1.2神经网络的分类
到目前为止，神经网络已经有几十种不同的模型，按照不同的原则，可以对神经网络进行不同的分类，通常有以下5类\[1~4\]:
（1）按照网络的结构进行分类：前馈网络、反馈网络和自组织网络。
（2）按照学习方式进行分类：有导师学习网络和无导师学习网络。
（3）按照网络的性能进行分类：连续型网络和离散型网络、随机型网络和确定型网络。
（4）按照突触性质进行分类：一阶线性并联网络和高阶非线性并联网络。
（5）按照对生物神经系统的层次模拟分类：神经元层次模型、组合式模型、网络层次模型、神经系统层次模型和智能型模型。
在人工神经网络的设计与应用过程中，人们较多地考虑神经网络的互联结构，包括５种典型结构\[5\]，如图1.1所示。
（a）
（b）
（c）
（d）
（e）
图1.1神经网络的拓扑结构
（1）前馈网络。前馈网络中，神经元是分层排列的，每个神经元只与前一层的神经元相连，如图1.1（a）所示。*上一层为输出层，*下一层为输入层，还有中间层，中间层也称为隐层，隐层的层数可以是一层或多层。
（2）输入输出有反馈的前馈网络。如图1.1（b）所示，在输出层上存在一个反馈回路到输入层，而网络本身还是前馈型的。该种神经网络的输入层不仅接受外界的输入信号，也接受网络自身的输出反馈信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的信号，也可以是经过一定延迟的信号。此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合。
（3）前馈内层互联网络。如图1.1（c）所示，在同一层内存在互相连接，它们可以形成互相制约，而从外部看还是一个前向网络，很多自组织网络大都存在内层互联的结构。
（4）反馈型全互联网络。图1.1（d）所示的网络是一种单层全互联网络，每个神经元的输出都与其他神经元相连，如Hopfield神经网络和Boltzmann机都是属于这一类网络。
（5）反馈型局部连接网络。图1.1（e）所示的网络是一种单层网络，它的每个神经元的输出只与其周围的神经元相连形成反馈的网络，这类网络也可发展为多层的金字塔形的结构。
目前，**代表性的前馈神经网络模型有：①反向传播（back propagation，BP）神经网络。它是一种多层前馈网络，采用*小均方差的学习方式，是使用*广泛的网络。这个网络的缺点是为有导师训练，训练时间较长，易于陷入局部极小等。②径向基函数（radia basis function，RBF）神经网络。它是一种非常有效的多层前馈网络，其神经元基函数具有仅在微小局部范围内才产生有效的非零响应的局部特性，因而可以在学习过程中获得高速化。这个网络的缺点是由于高斯函数的特性，该网络难以学习映射的高频部分。**代表性的反馈网络模型是Hopfield神经网络，该网络是由相同的神经元构成的单层网络，并且是不具学习功能的自联想网络，它需要对称连接。这个网络可以完成制约优化和联想记忆（associative memory，AM）等功能。
1.2神经网络的基本特征和基本功能
1.2.1神经网络的基本特征
神经网络的基本特征可归结为结构特征和能力特征。
（1）结构特征——并行处理、分布式存储与容错性。人工神经网络是由大量的简单处理单元相互连接构成的高度并行的非线性系统，具有大规模并行性处理特征。虽然每个处理单元的功能十分简单，但大量简单处理单元的并行活动使网络呈现出丰富的功能，并具有较快的速度。结构上的并行性使神经网络的信息存储必然采用分布式方式，即信息不是存储在网络的某个局部，而是分布在网络所有的连接权中。神经网络内在的并行性与分布性表现在其信息的存储与处理都是在空间上分布、时间上并行的，这两个特点必然使神经网络在两个方面表现出良好的容错性：一方面由于信息的分布式存储，当网络中部分神经元损坏时不会对系统的整体性能造成影响，这一点就像人脑中每天都有神经细胞正常死亡而不会影响大脑的功能一样；另一方面当输入模糊、残缺或变形的信息时，神经网络能够通过联想恢复出完整的记忆，从而实现对不完整输入信息的正确识别，这一点就像人可以对不规则的手写字进行正确识别一样。
（2）能力特征——自学习、自组织与自适应性。自适应性是指一个系统能够改变自身的性能以适应环境变化的能力，它是神经网络的一个重要特征。自适应性包含自学习与自组织两层含义。神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能够通过自动调整网络结构参数，对给定输入能产生期望的输出。训练是神经网络学习的途径，因此，经常将学习与训练两个词混用，神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织。神经网络的自组织能力与自适应性相关，自适应性是通过自组织实现的。
1.2.2神经网络的基本功能
（1）联想记忆。由于神经网络具有分布存储信息和并行计算的性能，因此，它具有对外界刺激信息和输入模式进行联想记忆的能力，这种能力是通过神经元之间的协同结构及信息处理的集体行为实现的。神经网络是通过其突触权值和连接结构来表达信息的记忆，这种分布式存储使神经网络能存储较多的复杂模式和恢复记忆的信息。神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息，这一能力使其在图像复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值。
（2）非线性映射。在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型，该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。
（3）分类与识别。神经网络对外界输入样本具有很强的识别和分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚、异类分离的识别与分类问题，但客观世界中，许多事物在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此，比传统的分类器具有更好的分类和识别能力。
（4）优化计算。优化计算是指在已知的约束条件下寻找一组参数组合，使由该组合确定的目标函数达到*小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数，神经网络经过动态演变过程达到稳定状态时对应的能量函数*小，从而其稳定状态就是问题的**解。这种优化计算不需要对目标函数求导，其结果是网络自动给出的。
（5）知识处理。神经网络获得知识的途径与人类相似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动地从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。另外，人的先验知识可以大大提高神经网络的知识处理能力。两者相结合会进一步提升神经网络的智能。
1.3神经网络的基本性质、优点及应用
1.3.1神经网络的基本性质
神经网络的基本性质主要包括收敛性、容错性、鲁棒性及推广性等。
神经网络的收敛性是指神经网络的训练算法在有限次迭代之后可收敛到正确的权值或权向量。神经网络良好的容错性保证网络将不完整的、污损的、畸变的输入样本恢复成完整的原型。容错性的研究归结于神经网络动力系统记忆模式吸引域的大小，吸引域越大，网络从部分信息恢复全部信息的能力越大，表明网络的容错性越大。神经网络的高度鲁棒性使网络中的神经元或突触遭到破坏时网络仍然具有学习和记忆能力，从而使网络表现出高度的自组织性。研究表明，如果记忆模式的吸引域越“规则”，那么网络抵抗干扰、噪声或自身损害的能力就越强，即鲁棒性越好。训练好的神经网络应能够对不属于训练样本集合的输入样本正确识别或分类，这种现象常称为神经网络具有良好的推广性。
人工神经网络的操作有两种过程：一是训练学习，二是正常操作或称回忆。训练时，把要教给网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（训练算法）调节各处理单元间的连接权值，直到加上给定输入后网络就能产生给定输出为止。这时，各连接权已经调节好，网络的训练完成。所谓正常操作，就是对训练好的网络输入一个信号，它就可以正确回忆出相应输出。不论是训练网络还是操作网络，人工神经网络的状态总是变化的。所谓神经网络的状态，是指神经网络所有节点的输出信号值。状态变化可以指某个节点的状态变化，也可指所有节点的状态变化。神经网络的这种动态特性受两种性能的约束，即系统的整体稳定性和收敛性。所谓稳定的神经网络，定义为这样一种非线性动态系统：当在该系统上加入一初始输入时，系统的状态发生变化，但*后达到一固定点（收敛点或均衡点），这些固定点就是存储信息的点。虽然稳定的神经网络总能保证所有输入被映射到固定点，但不能保证该固定点就是要求的固定点。不难理解，神经网络的稳定性是与反馈网络的回忆操作相联系的，这种反馈网络的稳定性可以用Lyapunov准则进行判定。收敛性是指在训练过程中，输出节点的实际输出值与要求的输出值之间的误差，*后能达到可接受的*小值。一般要求收敛过程迅速和精确，即输出能尽快趋于目标值。显然，收敛性是与有指导的训练操作相联系，收敛过程严格依赖于所采用的具体训练算法和训练参数。
1.3.2神经网络的优点
（1）很强的鲁棒性和容错性。这是因为信息是分布存储于网络内的神经元中。
（2）并行处理方法。人工神经网络在结构上是并行的，而且网络的各个单元可以同时进行类似的处理过程，使计算快速。
（3）自学习、自组织、自适应性。神经元之间的连接多种多样，各神经元之间连接强度具有一定可塑性，使得神经网络可以处理不确定或不知道的系统。
（4）可以充分逼近任意复杂的非线性关系。
（5）具有很强的信息综合能力。能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于处理复杂非线性和不确定对象。
……
新书资讯