《新型神经网络及其英文SCI论文评审论辩》以作者多年在神经网络理论与应用方面的研究成果为线索，介绍了SCI期刊论文投稿、论辩与发表方面的具体事项和相关技巧，对指导研究者进行SCI论文投稿具有重要的参考价值。
　　《新型神经网络及其英文SCI论文评审论辩》阐述了三类新型神经网络(连续ZNN、离散ZNN、WASD神经网络)的研究进展，介绍了神经网络理论与应用方面的**知识;同时也收录了11篇发表于SCI期刊的论文原文及与期刊编辑的往来信件，展示了论文从投稿到发表的全过程。

《新型神经网络及其英文SCI论文评审论辩》适合自然科学及工程科学领域的研究者和学生，以及希望在SCI期刊发表论文的读者参考阅读。

前言
绪论
第一节 新型连续递归神经网络的提出与进展
第二节 新型离散递归神经网络的提出与进展
第三节 新型前向神经网络的提出与进展
第四节 SCI 论文概述
第五节 本书内容概述
第一部分 新型连续递归神经网络
第一章 连续递归神经网络求解时变线性矩阵等式
第一节 英文 SCI 论文原稿
第二节 投稿概述
第三节 评审建议
第四节 答复与修改
第五节 录用与校样
第六节 本章小结
第二章 连续递归神经网络求解时变非线性不等式系统
第一节 英文 SCI 论文原稿
第二节 投稿
第三节 评审建议
第四节 答复与修改
第五节 录用与校样
第六节 本章小结
第三章 有限时间收敛的连续递归神经网络求解时变矩阵伪逆
第一节 英文 SCI 论文原稿
第二节 投稿
第三节 评审建议
第四节 答复与修改
第五节 录用与校样
第六节 本章小结
第四章 复数取值连续递归神经网络求解时变复数矩阵逆
第一节 英文 SCI 论文原稿
第二节 投稿
第三节 评审建议
第四节 答复与修改
第五节 录用与校样
第六节 本章小结
第二部分 新型离散递归神经网络
第五章 离散递归神经网络求解时变二次*小化
第一节 英文 SCI 论文原稿
第二节 投稿、编辑建议与答复
第三节 一审评审建议
第四节 答复与修改
第五节 二审评审建议
第六节 答复与修改
第七节 三审评审建议
第八节 答复与修改
第九节 录用与校样
第十节 本章小结
第六章 离散递归神经网络求解时变非线性等式
第一节 英文 SCI 论文原稿
第二节 之前投稿评审建议
第三节 之前投稿答复与修改
第四节 改投评审建议
第五节 答复与修改
第六节 录用与校样
第七节 本章小结
第七章 离散递归神经网络求解时变矩阵伪逆
第一节 英文 SCI 论文原稿
第二节 评审建议
第三节 答复与修改
第四节 录用与校样240第五节 本章小结
第八章 离散递归神经网络求解静态与时变立方根
第一节 英文 SCI 论文原稿
第二节 投稿
第三节 评审建议
第四节 答复与修改
第五节 录用与校样
第六节 本章小结
第三部分 新型前向神经网络
第九章 权值直接确定的 Gegenbauer 正交基神经网络及其应用
第一节 英文 SCI 论文原稿
第二节 投稿
第三节 拒稿与申诉
第四节 录用与版权协议签署
第五节 录用后的删改
第六节 本章小结
第十章 权值与结构双确定的 Chebyshev 多项式神经网络用于模式分类
第一节 英文 SCI 论文原稿
第二节 一审评审建议
第三节 答复与修改
第四节 二审评审建议
第五节 答复与修改
第六节 三审评审建议
第七节 答复与修改
第八节 录用与校样
第九节 本章小结
第十一章 权值与结构双确定的多输入前向神经网络用于数据拟合与灰度图像去噪
第一节 英文 SCI 论文原稿
第二节 投稿
第三节 二审评审建议
第四节 答复与修改
第五节 三审评审建议
第六节 答复与修改
第七节 五审评审建议
第八节 答复与修改
第九节 录用与校样
第十节 本章小结

 

　　绪论
　　人工神经网络是模拟人脑的组织结构、处理方式和系统功能的简化系统[1]。1943年，美国生理学家McCulloch和数学家Pitts在ALogical Calculu softheIdeasImmanentin Nervous Activity一文中提出了M-P神经元模型，标志着人工神经网络研究的正式开始[2，3]。70余年来，在众多研究者的不断深入研究和推动下，人工神经网络作为人工智能的一个重要分支，已成为生物学、数学、信息科学、计算机科学、物理学和电子学等众多学科共同关注的研究热点。特别是近年来高性能集成电路芯片/微处理器不断出现，如斯坦福大学Boahen副教授的研究小组2014年在Proceeding softheIEEE期刊发表的论文中指出，他们已经研制出了一款全新的电路板，称为“Neurogrid”，能够模拟100万个神经元细胞及数十亿个突触连接[4]。这些技术使得神经网络的大规模实现变得相对简单，学界更是掀起了一股新的神经网络研究热潮。
　　经过70多年的发展，研究者提出了众多类型的神经网络，常用且广为人知的就有数十种，它们可以从不同角度进行分类。例如，可以依据是否有导师（或称为监督）学习进行分类；还可以依据处理的数据是二值（离散）还是多值（连续）的进行分类。但就神经网络的拓扑结构而言，一般可分为两大类：前向神经网络（Feed forward Neural Network）和递归神经网络（Recurrent Neural Network，也称反馈神经网络）[1-3;5]。
　　前向神经网络采用层次型结构，各层按功能分为输入层、隐含层（简称隐层）和输出层。前向神经网络中的每个神经元接受前一层的输入并输出到下一层，信息按照固定方向单向传输，不存在反馈。常见的前向神经网络包括感知器神经网络、BP（Back Propagation）神经网络和径向基函数网络等。其中，BP神经网络是目前应用*为广泛的一种前向神经网络，已证明三层BP神经网络具有任意的非线性逼近能力。目前，BP神经网络及其改进算法已被大量应用到信号处理、模式分类和系统辨识等学科领域。但是值得指出的是，BP神经网络也存在着一些固有的缺陷，如收敛/迭代速度慢、结构难以确定和易陷入局部极点等。
　　递归神经网络是一种从输出到输入或网络各层具有反馈连接的神经网络，其结构比前向神经网络更为复杂。典型的递归神经网络有Hop-eld网络、Elman网络和Boltzmann模型。Hop-eld网络是美国加利福尼亚理工学院的生物物理学家JJHop-eld于20世纪80年代初期提出的。Hop-eld在1982年和1984年发表于《美国科学院院刊》的两篇论文中，引入了“计算机能量函数”的概念，也就是我们常说的Lyapunov函数，同时给出了网络稳定的判断条件及网络的电子电路实现，为神经网络的实现及应用找到了可以充分信赖的理论支持[1，2，5]。特别是，Hop-eld利用这种网络成功地解决了优化组合问题中*有代表性的“旅行商**路径”问题（Traveling Salesman Problem，TSP），引起了研究者的极大关注。Hop-eld网络的提出，开拓了神经网络用于优化计算和联想记忆的新领域，是神经网络发展历史上一个重要的里程碑，对神经网络研究的复兴有着十分重大的影响。目前递归神经已被广泛应用于图形处理、模式识别、优化计算、智能控制和无线通信等领域[1，2，5]。
　　**节新型连续递归神经网络的提出与进展
　　优化计算[6，7]、矩阵运算[8，9]和向量运算[10]等计算问题在科学、工程和社会经济等领域中广泛出现，它是许多问题求解的关键步骤，如自动控制、信号处理、模式识别和机器人运动控制等。而且这类计算问题通常需要实时或在线求解，因此可以统称为实时（数学）计算问题。另外还须注意到，在工程实践中，待求对象的参数时变现象普遍存在[11]：机械系统的力学参数、电子电路的参数、高速飞行器的气动参数、化工过程的扩散系数、经济学预测模型的回归系数和机械臂运动控制的雅克比矩阵等都为时变参数[12，13]。具体例如，在冗余机械臂的运动控制中，期望路径随着时间而变化，障碍物也可能是移动的；在无线通信中，信道随着时间快速变化。因此，冗余机械臂的运动控制以及无线通信的多用户检测实际上都可以用时变凸二次优化问题来描述[14]。总的来说，为了在实时（数学）计算问题求解过程中得到更高的准确度和更好的计算性能，就必须考虑时变参数对整个问题求解的影响。
　　对于实时（数学）计算问题，国内外学者均开展了广泛而深入的研究，以期获得高效而准确的求解算法/方法，但大多只考虑静态即时不变的情况。对于时变对象，则通常利用短时不变性的假设，将其近似等价为静态情况进行处理。鉴于递归神经网络（具体而言，Hop-eld网络）并行分布式计算特性和硬件实现上的便利，神经网络方法成为求解静态实时（数学）计算问题（以下简称静态问题）的一种常用方法。已有众多研究者提出了许多不同的基于梯度法的递归神经网络（Gradient-based Neural Networks，GNN，以下简称梯度神经网络）模型[7，9]。例如，在文献[9]中，一种梯度神经网络被提出来用以求解静态的矩阵等式。值得指出的是，这些神经网络方法都是针对静态问题而设计的，其在解决静态问题时是合适且有效的，但是用于解决时变问题就不一定可行和有效。
　　也有极少数的文献利用传统的梯度神经网络来解决时变问题[6，15]，如Myung和Kim基于梯度神经网络提出了一种时变二相位算法用以求解时变优化问题[6]，但效果往往都不是很好（特别是在求解变化频率较快的时变问题时）；具体来讲，所求结果和理论（或说理想）结果总是存在着一定的误差[15，16]。经过对这一类传统的梯度神经网络进行深入研究，可以发现其原因在于：这种方法使用/构造一个基于范数的能量函数作为误差监测函数（Error Function，EF），然后沿着使误差范数收敛到零的方向即负梯度方向来设计神经网络模型（以下简称网络模型）；对于时变问题，由于其缺少对时变系数的速度补偿，即使误差函数经过无穷时间也不能下降到零[17]。
　　2002年，笔者张雨浓等在文献[18]中首次提出了一类不同于传统梯度神经网络的新型连续递归神经网络用以实时求解时变的Sylvester方程。2005年，笔者在解决时变矩阵求逆问题时[19]，进一步给出了这类递归神经网络的设计公式、设计步骤，并归纳总结了其特点与优势。具体来说，这一类新型递归神经网络具有以下鲜明的特点与优势：①其误差函数（Zhang Function，ZF）根据具体的待求问题可以是矩阵或向量取值的、不定无界的、实数或复数取值的，利用这种误差函数和设计公式可以使每个元素的计算误差均收敛到零；②其在系统层面上利用了时变系数的导数信息，因而对时变问题求解具有预测指导能力；③其所得的解可严格收敛到时变问题的理论解，不存在滞后误差。此后，这一类新型连续递归神经网络被广泛地研究和应用，并不断发展。
　　在初期，笔者主要研究应用这一类新型连续递归神经网络来求解时变等式的相关问题，如文献[18]主要探讨时变矩阵求逆，文献[19]讨论Sylvester方程求解，本书**章给出的论文主要研究一种更具代表性的矩阵等式即A(t)X(t)B(t)+X(t)=C(t)求解[20]。随着对等式问题研究的深入，笔者发现，不等式问题广泛存在于科学、工程和经济领域中，许多新的科学进展都依赖于不等式问题的计算，如机械臂实时避障就需要求解时变不等式。但对时变不等式问题的求解不能简单套用ZNN设计公式。为此笔者及其团队精心构造误差函数，并对ZNN设计公式进行适当改进，构造了多个ZNN模型，从而成功解决了时变非线性不等式系统求解的问题，详见本书第二章所述内容[21]。另一方面，在研究新型连续递归神经网络的过程中，笔者也注意到，采用不同的激励函数将会严重影响ZNN的收敛性能。受到Li Shuai博士等学者前瞻性研究的启发，笔者及其团队进一步地研究了采用新型激励函数加速ZNN模型到有限时间收敛，相关的研究成果在本书的第三章进行了详细的阐述[22]。此外，笔者还注意到复数及复数运算广泛地出现在电气工程、信息与控制工程和生物工程等许多领域[23，24]，尝试将新型递归神经网络拓展到复数域，并且构造得到的复数值ZNN仍然能指数收敛到稳态状态。所提到的这些复数ZNN模型具有复数权值和阈值，同时处理的是复数输入和输出信号，比其他将复数问题分解成实部和虚部后再使用实数取值递归神经网络进行求解的方法更为简单。笔者在本书的第四章对关于复数取值ZNN的相关研究进行了重点讨论[25]。
　　第二节新型离散递归神经网络的提出与进展
　　目前，学界对连续递归神经网络研究得比较多，而对离散递归神经网络研究得相对比较少。这是因为，通常难以确保和证明离散递归神经网络的稳定性与收敛性[26]。但是，一方面，在连续递归神经网络用于图像处理和模式识别等问题时，往往有必要对其进行离散化进而得到离散递归神经网络；另一方面，为了便于计算机和数字电路实现，也需要对连续递归神经网络进行离散化[27]。基于以上的考虑，笔者及其团队在新型连续递归神经网络的基础上，进一步提出和探讨了一种能有效求解时变问题的新型离散递归神经网络。
　　*初，笔者研究利用Euler后向差分公式对连续ZNN模型进行离散化，从而得到用于时变二次*小化求解的离散ZNN模型。同时将所得离散ZNN模型与离散GNN模型以及牛顿迭代等方法进行了详细的对比，并主要通过大量的数值实验来验证所提ZNN模型的有效性和优越性，这部分工作主要体现在本书的第五章[28]。但是随着研究的深入，笔者了解到，离散递归神经网络并不总能保持其对应的连续递归神经网络的动力学性质，仅用数值实验来验证离散ZNN模型有效性也是不够严谨的。因而笔者需要研究使用新的数学方法/工具对离散ZNN模型的稳定性和收敛性能进行严格的理论分析与证明。进而，笔者在研究利用新型离散递归神经网络求解时变非线性等式的过程中，借助Dahl quist等价性定理等数学工具[29，30]对所提离散ZNN模型的稳定性和收敛性能进行了严格的理论推导与证明，并得出所提Euler离散ZNN模型的**稳态残差为O(2)，其中表示采样间隔，详细内容见本书第六章[31]。
　　如前文所述，Euler离散ZNN模型的求解精度为O(2)，这在一些应用场合仍然是不够的，如高精度机械臂。这也驱使笔者及其团队去开发具有更高精度的离散ZNN模型。在对ZNN模型进行离散的过程中，有很多数值差分公式供我们考虑，但是我们发现：①后向差分公式无法适应目标点一阶导数的快速变化；②中间差分需要足够多的数据点才能近似目标点的一阶导数；③很多差分公式无法得到稳定收敛的离散ZNN模型。基于以上的原因，笔者提出了一种新颖的泰勒类型数值差分公式，其不仅能对连续ZNN模型进行有效离散，而且所得到的离散ZNN模型具有O(3)的精度，这是新型离散递归神经网络研究过程中一个重要的进展。这部分工作本书的第七章进行了重点展示[32]。
　　相比连续递归神经网络，更少有研究者讨论利用离散递归神经网络来求解复数取值问题。然而目前对复数问题的研究却方兴未艾。受新型连续递归神经网络成功推广到复数域的启发，笔者进一步尝试将新型离散递归神经网络应用于复数域问题的求解（具体而言，静态/时变复数立方根）。特别地，复数取值的离散ZNN模型求解静态立方根的过程中能够产生分形，且新的分形和牛顿分形能够相互补充。这部分的具体研究进展在本书的第八章进行了重点阐述[33]。
　　第三节新型前向神经网络的提出与进展
　　BP神经网络泛指那些采用了误差反向传播算法即BP算法的多层前向神经网络。1986年，Rumel hart等学者对BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题，从实践上证实了人工神经网络具有很强的泛化能力[34]，使得BP神经网络重获新生。目前，BP神经网络及算法已成为传统人工神经