神经网络算法范文

引言：寻求写作上的突破？我们特意为您精选了12篇神经网络算法范文，希望这些范文能够成为您写作时的参考，帮助您的文章更加丰富和深入。

篇1

计算机网络在人们日常生活越来越重要，被广泛应用到各个行业。随着社会不断发展，人们需求不断加高，使计算机得到良好改善，目前，计算机网络运用集线式服务器来实现网络互连，促进网络发展。但是也有很大弊端，过多的联想信息虽然满足人们需求，但是对技术的要求也更加苛刻，现有的技术满足不了计算机网络运行，使人们日常操作不方便。为了解决这一问题，研究人员需要全面优化计算机网络，提高运行能力和性能，运用神经网络算法，使计算机更加适合现代社会发展，储存更多信息。

1神经网络算法概论分析

1.1神经网络算法整体概论神经网络算法是按照人体大脑的思维方式进行模拟，根据逻辑思维进行推理，将信息概念化形成人们认知的符号，呈现在显示屏前。根据逻辑符号按照一定模式进行指令构造，使计算机执行。目前，神经网络被广泛使用，使直观性的思维方式分布式存储信息，建立理论模型。优化网络的神经网络主要是Hop?eld神经网络，是1982年由美国物理学家提出的，它能够模拟神经网络的记忆机理，是全连接的神经网络。Hop?eld神经网络中的每个神经元都能够信号输出，还能够将信号通过其他神经元为自己反馈，那么其也称之为反馈性神经网络。

1.2优化神经网络基本基础Hop?eld神经网络是通过能量函数分析系统，结合储存系统和二元系统的神经网络，Hop?eld神经网络能收敛到稳定的平衡状态，并以其认为样本信息，具备联想记忆能力，使某种残缺信息进行回想还原，回忆成完整信息。但是Hop?eld神经网络记忆储存量有限，而且大多数信息是不稳定的，合理优化计算机联想问题，使Hop?eld神经网络能够建设模型。

1.3神经网络算法优化步骤简述人工神经网络是模拟思维，大多是根据逻辑思维进行简化，创造指令使计算机执行。神经网络算法是按照人体思维进行建设，通过反应问题的方法来表述神经思维的解；利用有效条件和能量参数来构造网络系统，使神经网络算法更加可靠；大多数动态信息需要神经网络来根据动态方程计算，得出数据参数来进行储存。

2神经网络算法的特点与应用

2.1神经网络主要特点神经网络是根据不同组件来模拟生物体思维的功能，而神经网络算法是其中一种程序，将信息概念化，按照一定人们认知的符号来编程指令，使计算机执行，应用于不同研究和工程领域。神经网络在结构上是由处理单元组成，模拟人体大脑神经单元，虽然每个单元处理问题比较简单，但是单元进行组合可以对复杂问题进行预知和处理的能力，还可以进行计算，解决问题能力突出，能够运用在计算机上，可以提高计算机运算准确度，从而保障计算机运行能力。而且一般神经网络有较强容错性，不同单元的微小损伤并不阻碍整体网络运行，如果有部分单元受到损伤，只会制约运算速度，并不妨碍准确度，神经网络在整体性能上能够正常工作。同时，神经网络主干部分受到损伤，部分单元会进行独立计算，依然能够正常工作。

2.2神经网络信息记忆能力神经网络信息存储能力非常强，整体单元组合进行分布式存储。目前，神经网络算法是单元互相连接，形成非线性动态系统，每个单元存储信息较少，大量单元互相结合存储信息大量增加。神经网络具备学习能力，通过学习可以得到神经网络连接结构，在进行日常图像识别时，神经网络会根据输入的识别功能进行自主学习，过后在输入相同图像，神经网络会自动识别。自主学习能力给神经网络带来重要意义，能够使神经网络不断成长，对人们未来日常工作能够很好预测，满足人们的需求。

2.3神经网络的突出优点近年来，人工神经网络得到越来越多人重视，使神经网络得到足够资源进行良好创新。人工神经网络是由大量基本元件构成，对人脑功能的部分特性进行模仿和简化，人工神经网络具备复杂线性关系，与一般计算机相比，在构成原理和功能特点更加先进，人工神经网络并不是按照程序来进行层次运算，而是能够适应环境，根据人们提供的数据进行模拟和分析，完成某种运算。人工神经系统具备优良容错性，由于大量信息存储在神经单元中，进行分布式存储，当信息受到损害时，人工神经系统也可以正常运行。人工神经网络必须要有学习准则制约来能够自主学习，然后进行工作。目前，人工神经网络已经逐步具备自适应和自组织能力，在学习或训练过程中改变突触权重值，以适应周围环境的要求。通过一定学习方式和某些规则，人工神经网络可以自动发现环境特征和规律性，更贴近人脑某些特征。采用并行分布处理方法，使得快速进行大量运算成为可能。神经网络的一个很大的优点是很容易在并行计算机上实现，可以把神经的节点分配到不同的CPU上并行计算。钱艺等提出了一种神经网络并行处理器的体系结构，能以较高的并行度实现典型的前馈网络如BP网络和典型的反馈网络(如Hop?eld网络)的算法。该算法以SIMD(SingleInstructionMultipleData)为主要计算结构，结合这两种网络算法的特点设计了一维脉动阵列和全连通的互连网络，能够方便灵活地实现处理单元之间的数据共享。结合粒子群优化算法和个体网络的并行学习机制，提出了一种基于粒子群优化的并行学习神经网络集成构造方法。

3结束语

全球化的发展，信息交流不断加快，促使各个行业相互融合。神经网络算法具备简单、稳定等不同优势，神经网络研究内容相当广泛，神经网络算法能够与其它算法相互结合，在一定程度提高计算机网络模型运算能力。但是计算机网络模型中神经网络算法学习能力比较低下，梯度下降法不准确，所以需要有关人员进行深度研究，探索神经网络算法，使其更加完善，从而保证计算机整体性能的提高。

参考文献：

篇2

1 绪论

随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。

1.1 国内外研究现状

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。

自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。

2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。

2 深度学习概述

深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。

深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。

3 卷积神经网络

卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。

卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。

图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。

4 R-CNN、Fast-R-CNN对比分析

卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。

在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。

R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。

4.2 Fast-R-CNN

Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。

Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。

5 实验测试

对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。

训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。

本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。

6 总结

在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。

参考文献

[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.

[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.

[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.

[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

篇3

前馈神经网络BP学习算法在理论上具有逼近任意非线性连续映射的能力,在非线性系统的建模及控制领域里有着广泛的应用。然而BP 算法存在一些不足, 主要是收敛速度很慢; 往往收敛于局部极小点; 数值稳定性差, 学习率、动量项系数和初始权值等参数难以调整，非线性神经网络学习算法Levenberg-Marquardt可以有效地克服BP算法所存在的这些缺陷。

一、前馈神经网络

前馈神经网络由输入层、隐层和输出层组成。令u=[u1,u2,Λ，um]T,y=[y1,y2,Λ,yn]T络的输入、输出向量, 令X=[x1,x2,Λ,xN]T为网络的权及阈值的全体所组成的向量。给定P组输入输出训练样本定义网络的误差指标函数为:

(1)

(2)

然后就可以按照各种学习算法开始对X进行训练, 得到最优Xopt, 使得

二、Levenberg-Marquardt神经网络算法

1.给定初始点X(0), 精度，σ，k=0。

2.对i=1,2,…,M求fi(X(k)),得向量

对i=1,2,…,M求得Jacobi矩阵

3.解线性方程组求出搜索梯度方向h(k)。

4.直线搜索,其中λk满足

5.若则得到解Xopt，转向7（停止计算）; 否则转向6。

6.F（X(k+1)）＜F(X(k)),则令,k=k+1, 转向2; 否则=*ξ,转向3。

7.停止计算

在实际操作中，是一个试探性的参数，对于给定的，如果求得的h(k)能使误差函数Ep(X)降低，则被因子ξ除；若误差函数Ep(X)增加，则乘以因子ξ。在仿真中，选取初始值=0.01，ξ=10。在采用Levenberg-Marquardt算法时，为使收敛速度更快，需要增加学习率因子α，取α为0.4。Levenberg-Marquardt算法的计算复杂度为为网络权值数目，如果网络中权值的数目很大。则计算量和存储量都非常大。因此，当每次迭代效率显著提高时，其整体性能可以大为改善，特别是在精度要求高的时候。

三、结论

前馈神经网络中，BP 算法存在收敛速度很慢，收敛于局部极小点等缺陷，而Gauss-Newton的改进算法Levenberg-Marquardt算法能有效克服BP 算法的缺陷。

参考文献：

篇4

计算机网络在人们日常生活越来越重要，被广泛应用到各个行业。随着社会不断发展，人们需求不断加高，使计算机得到良好改善，目前，计算机网络运用集线式服务器来实现网络互连，促进网络发展。但是也有很大弊端，过多的联想信息虽然满足人们需求，但是对技术的要求也更加苛刻，现有的技术满足不了计算机网络运行，使人们日常操作不方便。为了解决这一问题，研究人员需要全面优化计算机网络，提高运行能力和性能，运用神经网络算法，使计算机更加适合现代社会发展，储存更多信息。

1 神经网络算法概论分析

1.1 神经网络算法整体概论

神经网络算法是按照人体大脑的思维方式进行模拟，根据逻辑思维进行推理，将信息概念化形成人们认知的符号，呈现在显示屏前。根据逻辑符号按照一定模式进行指令构造，使计算机执行。目前，神经网络被广泛使用，使直观性的思维方式分布式存储信息，建立理论模型。

优化网络的神经网络主要是Hopfield神经网络，是1982年由美国物理学家提出的，它能够模拟神经网络的记忆机理，是全连接的神经网络。Hopfield神经网络中的每个神经元都能够信号输出，还能够将信号通过其他神经元为自己反馈，那么其也称之为反馈性神经网络。

1.2 优化神经网络基本基础

Hopfield神经网络是通过能量函数分析系统，结合储存系统和二元系统的神经网络，Hopfield神经网络能收敛到稳定的平衡状态，并以其认为样本信息，具备联想记忆能力，使某种残缺信息进行回想还原，回忆成完整信息。但是Hopfield神经网络记忆储存量有限，而且大多数信息是不稳定的，合理优化计算机联想问题，使Hopfield神经网络能够建设模型。

1.3 神经网络算法优化步骤简述

人工神经网络是模拟思维，大多是根据逻辑思维进行简化，创造指令使计算机执行。神经网络算法是按照人体思维进行建设，通过反应问题的方法来表述神经思维的解；利用有效条件和能量参数来构造网络系统，使神经网络算法更加可靠；大多数动态信息需要神经网络来根据动态方程计算，得出数据参数来进行储存。

2 神经网络算法的特点与应用

2.1 神经网络主要特点

神经网络是根据不同组件来模拟生物体思维的功能，而神经网络算法是其中一种程序，⑿畔⒏拍罨，按照一定人们认知的符号来编程指令，使计算机执行，应用于不同研究和工程领域。

神经网络在结构上是由处理单元组成，模拟人体大脑神经单元，虽然每个单元处理问题比较简单，但是单元进行组合可以对复杂问题进行预知和处理的能力，还可以进行计算，解决问题能力突出，能够运用在计算机上，可以提高计算机运算准确度，从而保障计算机运行能力。而且一般神经网络有较强容错性，不同单元的微小损伤并不阻碍整体网络运行，如果有部分单元受到损伤，只会制约运算速度，并不妨碍准确度，神经网络在整体性能上能够正常工作。同时，神经网络主干部分受到损伤，部分单元会进行独立计算，依然能够正常工作。

2.2 神经网络信息记忆能力

神经网络信息存储能力非常强，整体单元组合进行分布式存储。目前，神经网络算法是单元互相连接，形成非线性动态系统，每个单元存储信息较少，大量单元互相结合存储信息大量增加。神经网络具备学习能力，通过学习可以得到神经网络连接结构，在进行日常图像识别时，神经网络会根据输入的识别功能进行自主学习，过后在输入相同图像，神经网络会自动识别。自主学习能力给神经网络带来重要意义，能够使神经网络不断成长，对人们未来日常工作能够很好预测，满足人们的需求。

2.3 神经网络的突出优点

近年来，人工神经网络得到越来越多人重视，使神经网络得到足够资源进行良好创新。人工神经网络是由大量基本元件构成，对人脑功能的部分特性进行模仿和简化，人工神经网络具备复杂线性关系，与一般计算机相比，在构成原理和功能特点更加先进，人工神经网络并不是按照程序来进行层次运算，而是能够适应环境，根据人们提供的数据进行模拟和分析，完成某种运算。

人工神经系统具备优良容错性，由于大量信息存储在神经单元中，进行分布式存储，当信息受到损害时，人工神经系统也可以正常运行。人工神经网络必须要有学习准则制约来能够自主学习，然后进行工作。目前，人工神经网络已经逐步具备自适应和自组织能力，在学习或训练过程中改变突触权重值，以适应周围环境的要求。通过一定学习方式和某些规则，人工神经网络可以自动发现环境特征和规律性，更贴近人脑某些特征。

采用并行分布处理方法，使得快速进行大量运算成为可能。神经网络的一个很大的优点是很容易在并行计算机上实现，可以把神经的节点分配到不同的CPU上并行计算。钱艺等提出了一种神经网络并行处理器的体系结构，能以较高的并行度实现典型的前馈网络如BP网络和典型的反馈网络（如Hopfield网络）的算法。该算法以SIMD（Single Instruction Multiple Data）为主要计算结构，结合这两种网络算法的特点设计了一维脉动阵列和全连通的互连网络，能够方便灵活地实现处理单元之间的数据共享。结合粒子群优化算法和个体网络的并行学习机制，提出了一种基于粒子群优化的并行学习神经网络集成构造方法。

3 结束语

全球化的发展，信息交流不断加快，促使各个行业相互融合。神经网络算法具备简单、稳定等不同优势，神经网络研究内容相当广泛，神经网络算法能够与其它算法相互结合，在一定程度提高计算机网络模型运算能力。但是计算机网络模型中神经网络算法学习能力比较低下，梯度下降法不准确，所以需要有关人员进行深度研究，探索神经网络算法，使其更加完善，从而保证计算机整体性能的提高。

参考文献

[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2014（19）.

篇5

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）35-0212-02

计算机网络是人们多年研究科技进步最重要的成果，其被广泛运用到教育、工作、科学等方面，也具有良好的成就。目前，基于服务器的集线式网络具有实现网络互连的功能，但也成为了网络进一步发展的阻碍。虽然大量的信息能够丰富网络中的内容，但是其中的多媒体技术发展却使网络运行力不从心，比如图像、声音等，全面优化计算机网络整体性能是其发展的必要途径。将神经网络算法与计算机网络相结合，能够有效解决大规模复杂性的问题。

1浅析神经网络算法

1.1神经网络算法内涵

思维界认为，人类大脑思维包括灵感思维、逻辑思维、形象思维三种方式，神经网络模拟的就是人类思维的形象思维，是一种非线性动力学系统。神经网络算法指的是逻辑性思维根据逻辑规则推理的过程。神经网络的内容目前被广泛研究，包括建立理论模型、生物原型研究、建立网络模型与算法研究、人工神经网络应用系统等。

优化网络的神经网络主要是Hopfield神经网络，是1982年由美国物理学家提出的，它能够模拟神经网络的记忆机理，是全连接的神经网络。Hopfield神经网络中的每个神经元都能够信号输出，还能够将信号通过其他神经元为自己反馈，那么其也称之为反馈性神经网络。

1.2神经网络优化的基础

Hopfield神经网络其实是一个分线性动力系统演变的过程，通过能量函数分析系统的稳定性，将能量函数看做需要优化的问题目标函数。将能量函数的初始状态转变为稳定点这一过程，就成为求解优化问题过程，这个过程也可以称为在计算机联想记忆基础上解决优化问题的过程。

1.3神经网络优化模型的算法

反馈网络的联想记忆和优化是相对的，通过优化计算得知W，其目的就是为了找出E的最小稳定状态；联想记忆的稳定状态是特定的，要通过一些过程才能够找到适合的W。这个过程中的关键就是将问题的目标函数通过二次型能量函数进行表达。如下式所述：

Hopfield神经网络比较常见的类型有DHNN（离散型）和CHNN（连续性）两种，他们的动态方程分e为：

DHNN（离散型）动态方程：ui=fi（v1，v2，...，vN）

Vi=g（ui），vi∈{0，1}，i=1，2，...，N

式子中的gi表示为阶跃函数，vi=g（ui）[（1， ui>0）（0， ui

CHNN（连续性）动态方程：dui/dt=fi（v1，v2，...，vN）

Vi=gi（ui），i=1，2，...，N

式子中的gi表示为常用函数sigmoid，vi=gi（ui）=1/2[1+tanh（ui/u0）]，u0表示的为可控函数的斜率，当u0=0的时候，gi就为阶跃函数。【1】

1.4神经网络算法的优化步骤

其一，通过合适的问题将方法表述出来，使神经网络的输出和这一问题的解相互对应；

其二，创建有效的能量函数，要求问题的最优解能够对应最小值；

其三，使用有利条件和能量函数创建网络参数；

其四，创建对应的动态方程和神经网络；

其五，使用有效的初值，要求网络根据动态方程进行验算，直到收敛。

2基于神经网络算法的网络流优化模型

网络流优化模型的关键就是最小切割、图的划分和最大流问题，下面一一描述：

最小切割：最小切割是指寻找使隔集容量达到最小的切割。图的切割是指划分一个N―n1Un2，一个隔集为一组弧（i，j），i∈n1，j∈n2，隔集弧的权值总和为它的容量。使N=（W，T）是T=0的网络，要求能量最小为N图的最小切割。

图的划分：图的划分指的是将图划分为K个部分，要求每个部分中的节点数都相等。

最大流问题。要求有向图G（v，e）中的开始点为S，结束点为Z，边容量为Cij。如果每条边都有非负数fij，并且每条边为fij≤Cij且除了S和Z之外具有∑fij=∑fki。当S和Z有∑fsi=∑fiz=W的时候，W的最大值≤任何切割的容量。【2】

3基于神经网络算法的动态路由选择模型

通信网中的物理网络的连接一般是点到点，其可以用无向图G=（v，e）来表示，将交换节点表示为顶点，通路表示为边，每一边都有最大容量，为了能够满足网络中点和点能够相互通信，还E能够根据网络业务的量和用户呼叫为基础进行路由安排。现在一般使用的都是静态方式，能够提供给动态路由一些可能性，其的优化模型是：

如果网络图是G=（v，e），而且对网络中的边进行编号，路径经过的边表示为1，路径不经过的边表示为0，L*M神经元表示为L需要这多个路由，将备选的路由数量表示为M，如果通信网中具有N个节点，那么目标函数就是E=E1+E2+E3。【3】

4结束语

基于神经网络算法的优化网络模型有着简单、稳定、快速、规范的优势，其与其他算法相结合，能够较大程度的提高计算机网络模型的整体性能。但是Hopfield神经网络算法中的优化网络模型并不严格，它有着核心策略下降的缺点，那么在使用过程中会出现网络收敛的最优解呈局面状态、网络收敛解不可行、网络参数的不正当选择会导致偏差等，所以在今后就要深入研究计算机网络模型中的神经网络算法，使其更加完善。

参考文献：

篇6

计算机网络是一种先进的科技技术，自出现以来就极大程度的改变了人们的生活生产方式，带来了非常大的便利。我国现阶段的计算机网络连接相对比较薄弱，存在很多不完善的地方。因此，有必要采取措施优化计算机网络连接，进而维护计算机网络连接的安全稳定，营造良好的上网环境。

1 计算机网络连接增强优化

1.1 计算机网络连接增强优化的必要性

网络连接对于计算机网络的重要性不言而喻。如果出现网络连接断开的问题，就会导致计算机设备无法与通信网络进行有效的信息沟通。因此，必须优化计算机网络连接，拓扑扩展计算机网络，提升信息交流的有序性和有效性，降低影响所带来的损失。因此，在现有的网络环境中，加入合适的结点，进而完善计算机网络连接的有效率，以及提高网络容量，拓展现有网络结构，使得信息交流的交互性进一步增强，最终实现计算机网络连接的优化目的，拓扑扩展了计算机网络。现阶段，存在非常多的措施能够提升计算机网络连接的效率，扩展网络容量，以及上网环境的优化。但是，很多方法措施需要投入大量的资金作为支持，不具有实用性和经济性。而计算机网络应用要求计算机网络连接优化措施适当合理，在最小的经济支出情况下解决问题，因此，只有采取增强优化下的神经网络算法。

1.2 计算机网络拓扑结构

计算机网络拓扑结构主要是指，网上计算机或设备与传输媒介形成的结点与线的物理构成模式。通信子网直接影响计算机网络拓扑结构的形式，拓扑结构能够在一定程度上保证网络信息数据系统的安全性、可靠性、完整性，此外能够对数据信息进行共享、处理以及交换等内容。根据网络拓扑结构框架分析，可以清楚的明确计算机网络结构是由链路和节点所组成，也可以这样理解，计算机网络拓扑是由计算机组成的，网络之间设备的分布情况以及连接状态所形成的拓朴图。通常情况下计算机网络用G= 来表示，V指的是网络结点集，E指的是链路集。如果增加结构中的结点集用Va表示，增加的连接集用Eb表示，进而得出计算机网络结构为G’=。

2 基于计算机网络连接优化中的神经网络算法

2.1 神经网络算法

思维学普遍认为，人类大脑的思维分为抽象思维、形象思维和灵感思维三种基本方式。而抽象思维是一种逻辑化思想，形象思维是一种直观化思想，灵感思维是一种顿悟性和创造性思想。而神经网络思维，就是通过对上述理论的分析实践，模拟人类大脑思维的第二种方式。人工神经网络，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 相对人工神经网络来说，人工神经网络应用系统更加高级，通过对网络算法以及网络模型的合理运用，合理处理信号，或者识别某种运行模式，最终形成一套独立完善的专家系统，或者智能化的机器人。

现阶段，社会中越来越多的领域开始应用人工神经网络，在生产领域上取得了明显效果。人们也越发提高对人工神经网络算法的重视程度，神经网络算法是在此基础上逐渐发展完善的，是监督性的学习算法。但是在实际应用过程中，人工神经网络算法还存在一些不足之处，没有合理解决收敛速度缓慢的问题，无法控制收敛程度到最小点，因此增加了计算机网络记忆和学习的不稳定性，同时计算机网络连接效果也受此影响。

2.2 均场神经网路算法

通过建立科学合理的场均神经网络模型，有利于进行计算机网络连接增强优化中的均场神经网络算法研究工作，进而评判网络效果。需要注意的是，利用函数法构建模型时，应当加强目标函数的构建问题工作，可以用以下方式表现构建模型：Hopfield计算网络中的神经元状态，可以用Fi进行表示，如果Fi=1，那么表示网络选中了连接i，能够正常连接；如果Fi=0，那么表示网络没有选中连接i，不能正常连接。之后可以利用罚函数法结构，创建网络模型，保证Z=max（ΣPi*Xi） 和 ΣMi*Xi ≤ A成立，需要对目标函数进行控制，主要有I = ?γ/2*[∑ρiFi]2+ψ/2*[a ?∑mifi]2，其中a=（γripi-ψmimi）d，Ii=βami，γ和ψ表示Lagrange 参数，构造Lyapunov能量函数为：E = ?1/2*∑∑AiFiFi ? ∑ IiFi，Hopfield神经网络结构为：Fi=1/2*[1+tanh（Bi/T）]，Bi=∑AiFi + I。利用均退火技术，将随机变量函数的均值由随机变量均值的函数替代，可以得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈∑AiFi + Ii〉=∑Ai Fi + Ii。如果随机变量均值〈Fi〉由均场变量Ri替换，可以得出均场网络结构：Ri=1/2[1+tanh（∑AiRi+Ii/T）]，均场网络的能量函数为：E（v）= ?1/2∑∑AiRiRi ? ∑ IiRi。通过对算法步骤的简单分析，可以看出：第一、根据问题设置参数；第二、初始化，Ri=rand（d，1-d），i可以是大于零的整数；第三、重复以上操作，知道满足停止规则。

3 总结

总而言之，计算机网络在社会各个领域中，都在发挥的无可替代的作用。如果计算机网络连接出现问题，将会严重影响相关企业或者设备的正常运转，进而降低经济效益。因此，必须提高计算机网络连接的重视程度，进一步完善优化连接效率，维护网络连接的稳定性和可靠性，为我国计算机事业的未来发展奠定坚实的基础。

参考文献

[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2014（19）：16-16.

[2]王颖华，金爱花.计算机网络连接增强优化中的均场神经网络算法[J].硅谷，2013（15）：61-62.

篇7

中图分类号：TP183 文献标识码：A 文章编号：1009-3044(2009)05-1197-02

BP Artificial Neural Network's New Algorithm

SONG Shao-yun, ZHONG-tao

(Yuxi Normal University, School of Information Technology and Engineering, Yuxi 653100, China)

Abstract: The BP neural networks algorithm presented in this paper is based on the existing algorithm, which basic principle is choosing a freedom weight, by solving the linear equations to achieve hidden layer, combination freedom weight, then obtain weight is necessary weight. This algorithm hasn't the traditional method such as the local minimum and the slower rate of convergence in BP neural networks algorithm.

Key words: neural network; MATALB simulation; new BP algorithm

1 引言

BP人工神经网络实际上是通过梯度下降法来修正各层神经元之间的权值，使误差不断下降以达到期望的精度。从本质上讲，这种计算过程是一种迭代过程，迭代算法一般都与初值的选择密切相关，如初值选择的好，则收敛速度快，如初值选择不好，则收敛速度慢或根本不收敛。当采用梯度下降算法调整权值时，不可避免地存在陷入局部极小的问题。尽管很多文献都报道了各种各样的改进方法来加快收敛速度，如变学习率，加惯性项(也称动量项)等方法。然而，由于这些方法都由于迭代及优化的基本思想，不可能从根本上解决对初值的依赖性及局部极小问题。

篇8

中图分类号： TN926?34； TP393 文献标识码： A 文章编号： 1004?373X（2016）20?0012?03

Abstract： The application of swarm intelligence optimizing neural network in network security and a network traffic detection model based on neural network algorithm are studied in this paper. QAPSO algorithm is used to optimize the basis function center and base function width of RBF neural network， and the connection weights of the output layer and the hidden layer as well. The detection model studied in this paper is analyzed by means of an example. The collected data is used to train the network traffic identification system and test its performance. The method researched in this paper is compared with the algorithms based on the conventional PSO and HPSO. The results show that the detection method has a faster recognition speed and better recognition accuracy， and can avoid the occurrence of local optimal solutions.

Keywords： network traffic detection； swarm intelligence algorithm； RBF neural network； network security

0 引 言

随着互联网技术不断发展和普及，互联网络中的应用和服务类型不断增加，为了提高网络安全，保护网民、公司企业以及政府部门等的财产与利益，需要对网络流量进行高效的监测[1?2]。

RBF神经网络具有强大的非线性拟合能力，即非线性映射能力，以及自学能力，同时便于计算机实现，因而在网络流量检测等网络安全领域得到了广泛应用。但是RBF神经网络的性能特别依赖网络参数选取的好坏，而传统RBF神经网络参数通常由人为按经验或随机选取，因此网络的性能具有较强的随机性[3?4]。

近年来，群智能优化算法逐渐发展并得到较为广泛的应用，其中粒子群优化算法是一种能够全局优化，具有建模速度快、收敛效率高的群智能优化算法，然而使用常规PSO算法优化神经网络仍然存在收敛速度和全局优化能力不能够达到平衡等问题[5?7]。因此本文研究一种基于量子自适应粒子群优化算法（QAPSO），对RBF神经网络的基函数中心[Ci]、基函数的宽度[σi]以及输出层与隐含层的连接权值[wi]进行优化。

1 基于群智能优化的神经网络算法

本文研究的QAPSO优化算法主要分为4部分，分别为初始化种群、估计进化状态、控制参数自适应以及处理变异[8]。

1.1 初始化种群

2 实例分析

为验证本文建立基于QAPSO优化RBF神经网络的网络流量检测模型的性能，使用基于Libsvm软件包的C#程序并结合数值计算软件Matlab R2014对网络流量进行采集、计算以及分类。网络流量检测类型如表2所示。

表2 网络流量检测类型

使用常规PSO优化算法及HPSO优化算法对RBF神经网络进行优化，并建立同样的网络流量检测模型，使用同样的训练数据样本进行训练，使用同样的测试数据样本进行性能测试。常规PSO优化算法的参数为空间维度[D=24]，粒子数量[N=30]，最大迭代次数[tmax=200]，连接权值[w=0.9～0.4]，加速系数[c1]和[c2]均为2。HPSO优化算法的参数为空间维度[D=24]，粒子数量[N=30]，最大迭代次数[tmax=200]，连接权值[w=0.8～0.2]，加速系数[c1]和[c2]均为2.5，[Vmaxd=0.5×Range]。QAPSO算法的参数为空间维度[D=24]，粒子数量[N=30]，最大迭代次数[tmax=200]，连接权值[w=0.8～0.2]，加速系数[c1]和[c2]为1.5～2.5，[Vmaxd=Range]，[r1d]和[r2d]为0～1之间的随机数。

从图1可以看出，常规PSO优化算法使得适应度函数收敛到稳定值时的迭代次数为171次，HPSO优化算法使用了112次，而本文研究的QAPSO优化算法只使用了76次。同时，本文研究的QAPSO优化算法的收敛值更低，适应度函数的值即为RBF神经网络的训练误差，因此适应度函数越小，RBF神经网络的训练误差越小，性能越好。因此，本文研究的QAPSO优化算法相比另外两种PSO优化算法具有更快的收敛速度和更高的收敛精度，极大地提高了RBF神经网络的泛化能力。使用本文研究的QAPSO?RBF检测模型及常规PSO和HPSO优化RBF算法的检测模型对实验数据进行识别。表3为三种检测模型的检测准确率与反馈率对比。图2为三种模型的平均检测率和反馈率对比。

通过表3的数据可以看出，本文研究的QAPSO?RBF检测模型对12种类型网络服务与应用均有较好的识别准确率和反馈率，平均识别准确率达到了92.81%，比HPSO?RBF算法的平均识别准确率高出3.49%，比PSO?RBF算法的平均识别准确率高出6.99%。QAPSO?RBF识别算法的平均识别反馈率达到了94.81%，比HPSO?RBF算法的平均识别反馈率高出3.51%，比PSO?RBF算法的平均识别反馈率高出7.28%。可表明相比其他粒子群优化算法，本文研究的QAPSO优化算法在进行多次迭代后仍然具有较好的活跃性，跳出局部最优解，对最佳值的全局搜索能力具有非常显著的提高，加快了算法收敛速率，提高了识别准确率。

3 结 论

本文研究一种群智能优化神经网络算法的网络流量检测模型。通过实际测试验证，相比其他粒子群优化算法，本文研究的QAPSO优化算法在进行多次迭代后仍然具有较好的活跃性，跳出局部最优解，对最佳值的全局搜索能力具有非常显著的提高，加快了算法收敛速率，提高了识别准确率。

参考文献

[1] 卢金娜.基于优化算法的径向基神经网络模型的改进及应用[D].太原：中北大学，2015.

[2] 钟建坤，周永福.群智能算法优化神经网络在网络安全的应用研究[J].激光杂志，2015，36（4）：143?146.

[3] 李博.粒子群优化算法及其在神经网络中的应用[D].大连：大连理工大学，2005.

[4] 蒋林利.改进的PSO算法优化神经网络模型及其应用研究[D].厦门：厦门大学，2014.

[5] 陈伟.基于群体智能算法的人工神经网络优化及其应用[D].无锡：江南大学，2007.

[6] 刘晓刚.群体智能算法在RBF神经网络中的应用[D].青岛：青岛大学，2008.

篇9

（①Faculty of Land Resource Engineering，Kunming University of science and Technology，Kunming 650093，China；

②The Yellow River Survey Planning and Design Co.，Ltd.，Zhengzhou 450003，China）

摘要： 随着神经网络理论的深入研究，神经网络已在图像的分类中起到非常重要的地位。本文章使用IDL语言来实现神经网络在权值调整过程算法优化，并在ENVI上集成，已达到神经网络分类速度快，且精度可靠的目的。

Abstract： With the deep research in the theory of neural network, neural network has played a very important role in the classification of the image. This article uses the IDL language to implement the algorithm to optimize the weights of neural network to the adjustment process, and on the ENVI integration, has reached the neural network classification speed, precision and reliable.

关键词 ： 神经网络；图像分类；ENVI；IDL；集成；精度

Key words： neural network；image classification；ENVI；IDL；integration；precision

中图分类号：P237 文献标识码：A

文章编号：1006-4311（2015）06-0234-02

0 引言

ENVI是一套功能强大的遥感图像处理软件，在ENVI上进行遥感图像分类中有很多方法，如神经网络、最大似然、最小距离、 ISODATA算法、决策树和面向对象等分类方法，神经网络在分类时比其它分类所花费时间要长，且速度很慢，因为从算法机理可知神经网络在权值调整时是迭代收敛的过程，其分类过程自然很慢。针对此问题，决定使用IDL语言来编程优化算法。

1 IDL的语言环境

IDL（Interactive Data Language）是美国RSI公司推出的面向矩阵的第四代计算机语言，它语法简单，自带大量的功能函数，使用很少的代码就能实现其它语言很难实现的功能。IDL是进行数据分析、可视化及跨平台应用开发的最佳选择，利用IDL可以快速地进行科学数据读写、图像处理、集成数学统计、信号分析、数值计算和三维图像建模等。IDL集可视、交互分析、大型商业开发为一体，为您提供了最完善、最灵活最有效的开发环境。

IDL的开发应用已经深入到了人类日常生活的方方面面，给人类对未知领域的探索与发现提供了强有力的工具，推动了人类向前发展。对IDL的语言环境熟悉之后，紧接着就开始针对目前存在的基于神经网络的遥感图像分类问题进行改进，并结合ENVI软件，使用IDL语言设计出改进后的优化算法。

2 ENVI中基于神经网络分类的剖析

ENVI中采用的神经网络属于BP网络，含有输入层、输出层以及处于输入输出层之间的隐含层，如果进行非线性分类，输入的区域并非线性分类或需要两个超平面才能区分类别时候，隐层数设置为大于或等于一。隐含层的状态影响输入与输出之间的关系，改变隐含层的权系数，可以改变整个多层神经网络的性能。

ENVI中采用的BP神经网络通过误差函数的最小化过程来完成输入到输出的映射。为了完成最小化过程，这种BP反向传播算法分正向传播和反向传播两步进行。在正向传播中，输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐含层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响；在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出，则进入反向传播过程。在反向传播过程中，反向传播把误差信号按原来正向传播的通路反向传回，反复修改（这是个迭代的过程）各节点的权重和阈值，逐渐减小误差，直到达到预先设定的要求。当误差小于某一相当小的正数或迭代误差不再减少时，完成BP网络的训练、输入与输出的映射的确定。

我们的落脚点是在BP网络的反向传播过程中网络各节点权值的迭代调整，但是该网络在此方面存在缺陷，就是迭代时间长，尤其对处理大数据，需要花费很长时间才能达到收敛。针对BP网络中学习算法收敛速度慢的缺点，运用数学中埃特金加速收敛算法，对传统的BP算法进行改进，然后使用IDL语言进行汇编，最后在ENVI上进行功能的扩展，已达到适用的生产目的。

3 编写迭代函数

为了能在ENVI菜单上调用埃特金迭代收敛函数，需要在ENVI菜单中创建一个新的菜单项，并定义一个此用户函数。这个用户函数可以通过在ENVI菜单中选择这个新的菜单项来进行调用。具体工程如下：

①在现有的ENVI菜单基础上创建新的功能菜单，首先用文本编辑器打开envi.men文件，添加如下部分：

PRO MY_PROCESS_DEFINE_BUTTONS, buttonInfo

COMPILE_OPT IDL2

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘New Function’, $

/MENU, REF_VALUE = ‘Supervised’, REF_INDEX = 0, $

POSITION = ‘last’

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘Function1’, $

UVALUE = ‘Function 1’, EVENT_PRO = ‘my_process_event’, $

REF_VALUE = ‘New Function’

END

如果ENVI已经打开，需要关闭并重新启动ENVI,然后在ENVI主菜单上，会看到Classification菜单下的Supervised的子菜单内增加了新的菜单“New Function”。

②编写迭代函数。在运行ENVI的IDL开发环境中，迭代功能函数的部分代码如下：

ENVI_NEURAL_NET_DOIT

FUNCTION bm_func,X,[X0，X1……Xn]

nx=Xn,

t = FINDGEN(nx-X)

… … … … …

4 实验过程与精度评定

本实验主要运用ENVI4.8版本图像处理软件进行图像分类，使用的数据是网上下载的经过数据预处理后的Landsat5 TM研究区影像。调用迭代函数开始进行基于神经网络的遥感图像分类，其分类时间所反映的进度条如图1所示，以及最终的迭代均方根训练函数如图2所示。

在神经网络分类结束后，所花费时间很短，分类速度很快，具体的分类结果图如图3所示。对调用迭代函数的神经网络分类结果进行精度分析，使用混淆矩阵，具体报表如图4所示。从混淆矩阵报表可知，总体分类精度为94.2374%，其Kappa系数为0.9272，分类效果很好，精度很高，满足要求。

5 结束语

ENVI上调用迭代函数的神经网络总体上比原来的神经网络分类要优越，其鲜明的特色就是分类速度快，精度也高。这大大提速原有的神经网络分类速度，尤其在处理大数据优越明显。但是ENVI上仍存在神经网络分类单一化现象，怎样使其减少人为的干预，使其更智能化是今后的研究趋势。

参考文献：

篇10

1 神经元基础模型分析

单神经元是一种被称为MoCulloch-Pitts（1943年）模型的人工神经元。它是模仿生物神经元的结构和功能、并从数学角度进行描述的一个基本单位，由人脑神经元进行抽象简化后得到。人工神经元是神经网络的最基本的组成部分。

2 基于神经网络的辨识

系统辨识（System Identification）是现代控制理论中一个很重要的组成部分。在现代的控制过程中，由于系统越来越复杂，被控对象的实际数学模型已经无法进行精确的给定与描述，故需要一门控制理论，在掌握被控对象的变化规律下，由另一种方法确定一个近似的、易于描述与控制的数学模型来近似代替这个不可知的复杂模型。

根据L.A.Zadel的系统辨识的定义（1962），辨识就是在分析输入和输出数据的基础上，从一组给定的模型类（Model Set）中，按照一定的规则，确定一个与所测系统等价的模型，如果所测系统模型未知，那么这个等价的模型就可以来近似代替系统模型。从定义中可以得到辨识的三要素：输入输出数据、模型类、等价准则。

神经网络对非线性函数的逼近能力非常好，当神经网络满足一定条件时，可以以任意精度逼近任意非线性连续的函数或者分段连续的函数。因此，用神经网络来完成非线性系统辨识功能是一个很好的选择。

神经网络系统辨识一般有并联型和串-并联型两种辨识结构。并联模型由待辨识系统、神经网络、误差反馈实现。串―并联型模型由待辨识系统、时延网络、误差反馈与神经网络实现，这两种系统都可以实现通过误差对系统进行在线调整，但是后者用待辨识系统的输入输出数据作为辨识信息，并用误差进行校正，能使系统更收敛、稳定，因此，串―并联型模型应用较多。

这两种模型均属于正向模型，是利用多层前馈神经网络（指BP网络类型的神经网络），通过训练与学习，建立一个模型，使其能表达系统的正向动力学特性。另外还有一种逆模型，前提是其拟辨识的非线性系统可逆，因为并不是所有的系统都满足这一点，故其应用没有正向模型广泛。

基本结构的的Elman神经网络是阶层结构，类似于一般的多层前馈神经网络，也有输入层，隐含层和输出层。但除此之外，Elman神经网络还有一层特殊的结构单元―衔接层，衔接层中的节点一一对应于隐含层中的节点，隐含层的输出经过一步延迟后反馈到衔接层，将隐含层过去的状态与神经网络下一时刻的输入一起作为隐含层单元的输入，从而使得Elman神经网络具有了动态记忆能力。

3 基于神经网络的非线性自整定PID控制

PID控制是发展最早的经典控制算法之一，而且PID控制器一直是控制领域的基本控制方式，其算法简单，可靠性高，利用系统的偏差，基于比例（P）、积分（I）、微分（D）来进行控制。

3.1 PID控制基本原理

经典PID控制器系统如图1所示。

经典的PID控制器是一种线性控制器，该系统由PID控制系统与被控对象组成。它将输入值rin（t）与实际输出值yout（t）的偏差e（t）作为控制量输入，将偏差的比例（P）、积分（I）和微分（D）进行线性组合，作为被控对象的控制量u（t），对其进行控制。其控制器的输入输出关系可用式3来描述。

在计算机技术日益普及的现代工业生产过程中，将PID控制算法等控制方法应用于计算机中，组成计算机控制系统，能够完成更多更复杂的计算与控制。由于计算机处理的是数字量，故需将PID控制算法数字化。

3.2 基于神经网络的非线性PID自整定原理及设计

将神经网络应用于PID参数的自整定方案设计如图2所示。

其中NNC与NNI神经网络均采用递归神经网络，经过上面的研究我们知道Elman神经网络具有很好的跟踪特性，故在这里应用Elman神经网络，并用梯度下降法进行修正。NNI是神经网络系统辨识过程，在上面已经介绍过，所以在下面只介绍神经网络控制器NNC的学习算法。

我们知道，u（k）的求出需要u（k-1），e（k），e（k-1），e（k-2）四个数据，神经网络的作用在于在线调整Kp、KI、KD三个系数，故神经网络的输出为这三个数。给定神经网络的输入为u（k-1），y（k-1），隐含层个数为hc个（可以改变）。其学习算法如下：

3.2.1 前向计算

基于递归神经网络的非线性自整定PID控制器算法过程归纳如下：

（1）设定初始状态与参数初始值，包括NNC系统的连接权值wc、vc，学习速率，和一些中间变量的初始化。

（2）进行离线辨识过程，在训练有限步数后，使得y（k）与充分逼近，取此时的连接权值，用于在线过程。

（3）用上一步得到的连接权值用NNI进行在线辨识，求出系统输出y（k），并进行修正，

记录下修正后的的值。

（4）给定系统的输入yr（k），求出y（k）与yr（k）的误差E（k）。

（5）用u（k）、y（k）作为NNC的输入，求出PID控制器的三个参数，并用式3-9求出下一步的输入u（k+1），前两步时e（k-1）、e（k-2）未知，默认初始值为0。并用梯度下降法进行连接权值的修正，也即NNC网络的输出的修正，完成PID控制器的参数在线自调整。

（6）使k=k+1，返回第三步重新计算，直到完成设定的训练步数上限。

4 结论

通过以上分析可以看出本论文提出Elman神经网络进行非线性自整定PID控制器的设计，并加入神经网络的非线性系统辨识过程，用辨识过程中的中间值参与参数自整定环节，可以使自整定环节更加精确，从而提高系统的工作性能。

参考文献

[1]陶永华.新型PID控制及其应用[M].北京：机械工业出版社，2002，17-49.

篇11

中图分类号：TP393 文献标识码：A 文章编号：1671-7597（2013）15-0061-01

自计算机网络产生以来，人们的生活、工作都获得了极大的便利。计算机网络作为一门先进的应用技术，为了避免其因满足不了用户需求而被时代淘汰，就必须在应用发展过程中不断创新。而在当前，国内计算机网络连接环节相对薄弱，网络连接问题频繁发生，甚至于无法为用户创设一个良好的上网环境。为了改善这一状况，必须对计算网络连接进行优化，并采取适当措施进行计算机网络拓扑扩展，达到提高网络容量，优化网络效率的目的。针对计算机网络连接优化问题，现就网络连接优化下的均场神经网络算法作相关论述。

1 计算机网络连接增强优化

1.1 计算机网络连接增强优化的必要性

众所周知，对于计算机网络来说，如果网络连接出现问题，那么计算机设备与通信网络之间是没有办法进行信息交流的，或者说信息的交流交互性会受到影响而大大减小，这时就需要对其网络连接加以优化，也可称为计算机网络拓扑扩展。而如何增强优化计算网络的连接，拓扑扩展计算机网络结构？这便需要选择合适的结点，并将其添加到现有网络环境中，以此来提高网络容量和连接效率，达到网络结构拓扑扩展，增强信息交流交互性的目的。

在当前情况下，能够实现计算机网络连接增强效率，提高计算机网络的容量，优化用户上网环境的方法很多，但大多数优化方法都不具备良好的经济实用性，而如何在利益最大化情况下实现计算机网络连接优化又正好是计算机网络应用的基本要求，鉴于此，就必须采用增强优化下的均场神经网络算法。

1.2 计算机网络拓扑结构

计算机网络拓扑结构主要指计算机连接网络以后，自身设备与传输媒介所形成的一种的物理构成模式。计算机网络拓扑结构的形式由通信子网来决定。结构的主要功能是实现数据信息的网络交换、处理以及共享，并在一定程度上提高网络数据信息系统运行的可靠性。从网络拓扑结构来看，计算机网络结构的主要构成部分是结点和链路，也就是说，计算机网络其实是由一组结点和多条链路共同组成起来的一种模拟结构。

一般用图G=来表示计算机网络，图中的V代表网络结点集，E表示链路集。而如果我们用Va来表示结构中增加的结点集，用Eb来表示增加的连接集，那么应该得到拓扑扩展的计算网络结构应该为G′=。

2 基于计算机网络连接优化下的均场神经网络算法

本文中所指的均场神经网络算法，实质上是均场退火技术和神经网络算法的结合，利用该方法来增强计算机网络连接，能得到更快、更优化的连接效果。从某种意义上说，均场网络算法其实是一种利润最大化的网络优化算法，能最大限度的提高计算机网络的性价比。

2.1 神经网络算法

思维学将人的大脑思维分为抽象、形象以及灵感等三个部分，认为人类大脑思维是由逻辑思维、直观思维以及顿悟思维共同组成的。其中逻辑思维是一中抽象化思想，直观思维是客观、形象化思想，灵感则属创造性。根据这一理论，可以判断出神经网络便是对人类大脑思维第二种方式的模拟。

人工神经网络属于非线性动力学系统，能够对信息进行分布式存储和协同处理。立足于人工神经网络之上的人工神经网络应用系统，能够利用网络模型和网络算法来处理某种信号，或对某种运行模式进行识别，进而构建成一个独立的专家系统，或者构成机器人。当前，人工神经网络在多个生产领域中都得到了广泛的应用，在其基础之上发展起来的人工神经网络算法作为一种监督性学习算法，也越来越受到人们的关注。但是，由于人工神经网络算法在实际应用时存在显著的收敛速度慢的问题，没有办法保证将收敛程度压制到全局的最小点，进而造成计算机网络学习和记忆的不稳定性增强，影响计算机网络连接效果，所以在实际生活中，人们对改进神经网络算法的探讨一直持续。

2.2 均场神经网络算法

2.2.1 网络模型构建

基于计算机网络连接增强优化下的均场神经网络算法，在对其进行研究，并想要判断其网络效果时，首要任务是建立一个比较完整的均场神经网络模型。建立时应重点管理好以下几个方面，严格控制好函数法构造过程中的目标函数。

2.3 实例仿真分析

根据上述计算所得的结果，最后判定出均场网络算法的可行有效性。计算结果比较图如图1。

在上述所例举的例子中，分别采用遗传算法、模拟退火算法以及均场神经算法来进行分别计算，计算次数保持在100次乃至以上，最后得出利用模拟退火算法需要计算99次，才能计算出规定的连接集，并获得一定的利润；而遗传算法需要86次，均场神经网络算法需要98次。

从实验计算结果比较图可以看出，在均场神经网络计算法、遗传算法以及模拟退火算法三种方法中，均场神经网络算法所获得的网络连接效果相对来说更加快速、有效，更适用于计算机网络连接的增强优化以及网络结构的拓扑扩展。

3 结束语

综上所述，随着计算机网络技术以及国民经济的不断进步，计算机网络在人们生活、生产中的应用已经十分广泛，甚至于社会中各个生产企业或工作部门在开展经济管理活动时都会计算机网络。在这样的前提条件下，为了防止计算机网络连接出现故障，给企业或计算机上网用户造成影响，损害其经济利益，就必须在计算机网络的应用基础上，增强优化连接效率，提高计算机网络容量和效率，促进计算机网络技术进一步发展。本文通过对均场神经网络算法的分析，指出利用均场神经算法可实现计算机网络连接优化目标，并适宜在计算机网络系统中进行应用。

参考文献

[1]彭国震，邱毓兰，彭德纯.计算机网络连接增强问题的模拟退火解决方法[J].计算机工程与科学，2000（02）.

篇12

中图分类号：TP39 文献标识码：A 文章编号：1671－7597（2012）0220180－01

1 介绍

神经网络是一个复杂的网络系统，它通过模拟人脑的神经工作过程来处置信息，可以实现并行处理和非线性变换。该网络有很强的自学能力，自适应能力，良好的容错性与联想记忆和同时处理等功能。在所有种类的神经网络算法中，BP算法是一种典型的算法，并且他解决了多层次前馈型神经网络的训练问题，并已得到广泛应用。但是，传统的BP神经网络算法很容易陷入激增并且只是局部最优，而且其收敛速度慢。相反，用遗传算法来寻找全局最优的能力是很强的。遗传算法是从自然进化论中发展而来的，它是一类有效的并行全局搜索算法。它有很好的鲁棒性，并已成功应用于解决全局优化问题。如果神经网络是按照优化和遗传算法设计的，该算法不仅易于实现全局最优，而且很容易提高神经网络的性能。许多学者在这方面都有很不错的成果。

然而，大多数现有的神经网络设计方法优化的目标是在结构，初始权重和阀值方面，而忽视训练比率和动量因子。事实上，当设计一个神经网络时，初始权重和阀值是随机产生的，而训练比率和动量因子以及网络的结构通常是由人们的经验获得的。这些因素都影响了网络的训练速度和神经网络的直接处理能力。只有全面的优化这些参数，才能使得网络整体性能得以改善。因此，本文提出基于高性能遗传算法的彻底进化神经网络的BP算法。该算法可用于建立诊断电力变压器和电源变压器的模型，而该模型是基于神经网络的。

2 遗传算法和它的改进

遗传算法是一种随机全局搜索算法，他通过模拟自然进化和自然选择过程中的遗留生物来解决复杂问题。在遗传算法中，问题空间由代码空间来替换，性能评价的标准是合适的函数，进化的基础是代码个数，由许多不同基因个体的代码来确定选择和遗传机制。一个重复的过程由该方法来形成。许多不同的个体是通过不断演变的基因和代码位链的一些重要基因的随机组合产生的，由此不断地最优化和逐步实现问题的最终解决。考虑到遗传算法的低收敛速度和低精度等的局限，本文提出了一些改进的遗传算法。

2.1 选择算法的改进

通过竞争性遗传算法在两代之间选择出优良个体，基因个体分为男性和女性。排列方式决定了所有男性和所有父代女性及其下一代。然后选择前者的N/2的男性优秀个体分别与女性个体结合形成新的人口规模N。将这n个个体放入配对区，他们将分别互相配对。这样，不仅可以保证交叉操作的个体的有效配对，而且可以保留每个优秀个体的特征，可以淘汰不好的个体。因此将不会失去好的基因和特征。他将有利于尽快找到一种全局最优的算法。

2.2 增加一种帮助操作

为了加强算法的能力，以跳出局部最优并提高收敛速度，一种用来改善遗传算法的帮助操作被提出，通过帮助的可能性来增加帮助的个体。帮助操作位于选择操作之后，在匹配操作之前。它的程序如下：

1：i=1；

2：定义一个实数r，使得0≤r≤1，如果r≤Ph，执行3，否则跳转到6

3：j=1；

4：如果 =0，则令 =1；但是如果由于执行该操作产生 个体的自适应性，则保持 =0；

5：j++，如果j＞n，执行6，否则跳转到4；

6：i++，如果i＞n，执行7，否则跳转到2；

7：停止。

其中，Ph表示帮助可能性，表示的是i个体，表示i个体的j位，n表示编码无性别长度，N代表群体大小。

2.3 匹配方法改进

在本文的算法中，相同性别的个体不进行。即雄性只能与雌性。而且，为了获得个体们较好的排列顺序，用这样的算法操作来实现，即按照依次优劣排序的雌体与用同样排序的雄体进行。这样有利与遗传算法加快寻找全局最优的速度，增强了全局收敛性。

为了避免近亲繁殖，不同性别的个体还需要检查它们的区别，如果两个个体是相同的或者区别他们相对应的二进制码值为一，他们不能进行而且必须将它们进行修正，比如，最高码值的个体与最低码值的个体必须修正为最高码值和最高码值的个体的。因此，可以保证远血缘个体之间的，从而提高遗传算法的效率。

3 基于改进遗传算法的BP神经网络的彻底进化（IGA-BP算法）

3.1 BP神经网络算法的规则

从结构的角度来看，BP神经网络属于前馈型神经网络，它由输入层，输出层和一些隐层组成，相邻层之间由节点连接，而同一层不需要节点连接。典型的BP神经网络是由输入层，输出层和隐层这三层组成的，这是最常用的BP神经网络。

在BP神经网络训练的过程中，用到的是误差反向传播。它的简称是BP算法。BP算法是一种辅助训练算法，他实际上是一种通过梯度下降法来找到最优解的静态算法。权值w（n）仅仅是随时间梯度下降的方法来进行修正的，而并不是考前们的经验获得。由于在训练的过程的频繁冲击或陷入局部最小，因此收敛速度很慢，为了避免这一点，我们增加了一个动量因子。这个方法也就是增加一个与原来变量和目前变量以及权值和阀值相匹配的数据项，新的权值和阀值是通过反向传播来产生的。新增加的权值和阀值的动量因子由以下方式来进行调节：

其中k表示训练时间，表示训练率，mc表示动量因子，和mc由个人经验来确定。

3.2 IGA-BP的基本思想

首先，改进的遗传算法是用来全面解决和设计结构，初始权值和阀值，

训练率和神经网络的动量因子的，并且在解决空间问题的过程中，更好的寻找到空间。因此BP算法是在小范围内寻找到最优解。

3.3 编码方法

所有神经网络的结构，权值和阀值，训练率以及动量因子都需要被认作是一系列染色体，通过二进制来将其编码。每个个体的编码都包含六个部分，第一部分时权值编码，第二部分是阀值的二进制码，第三部分是节点之间连接状况的编码，第四部分是训练率的编码，第五部分是动量因子的编码，第六部分是个体性别的编码，其值为0或1，表1表示个体编码的结构：

假设权值，阀值，训练率以及动量因子的参数值之间的关系可有以下式子来表示：

其中，bin表示N位特征字符；表示权值，阀值，训练率动量因子的变化范围：

表示网络的实际输出，表示网络的理想输出，表示实际输出与理想输出之间的误差。

参考文献：

[1]Rumehart D E, Hintion G E, Willams R J. Leaming Intemal representations by error propagation in parallel distributed processing [M]. Gambridgef :MIT Press,1986: 318-362.

[2]Yao X,Liu Y.Anew evolutionary system for evolving artificial networks[J].IEEE Transactions on Neural Networks,1997,8(3):694-713.

[3]Sietsma J, Dow R J F, Creating artificial neural networks that generalize[J].Neural Networks,1991,4 (1):67-79.

[4]Ash T.Dynamic node creation in back propagation networks[J].

Connection Science, 1989,1(4):365-375.

[5]梁化楼、戴贵亮，人工神经网络与遗传算法的结合：进展及展望[J].电子学报，1995，23（10）：194-200.