时间:2023-06-29 09:32:52
引言:寻求写作上的突破?我们特意为您精选了4篇神经网络研究现状范文,希望这些范文能够成为您写作时的参考,帮助您的文章更加丰富和深入。
一、人工神经网络概述
要对人工神经网络技术的应用进行了解,首先要掌握人工神经网络的基本模型和结构。它的结构是并行分布的,通过大量的神经元的模型组成,是用来进行信息处理的网络。各个神经元之间相互联系,相互之间联系的方式很多,每个特定的链接之中都有相应的权系数,而各个神经元的输出是特定的。
二、人工神经网络技术的应用现状
人工神经网络技术由于其结构上的优势和对信息处理的高效性,使得在很多方面都有广泛的应用,例如,运用人工神经网络技术进行图像处理、智能识别、自动监控、信号处理、机器人监控等,使得其在生活的各个方面都发挥了重要的作用,为交通、电力、军事等部门提供了便利。下面对人工神经网络技术的具体应用做简单的分析。
第一,BP神经网络。基于人工神经网络技术的BP神经网络,在进行优化预测、分类和函数逼近等方面有着广泛的应用。网络的应用大体有分类、函数逼近、优化预测等方面。比如,将胃电图和心电图进行分类,对某些函数的最小二乘进行逼近,对工业生产过程中的数据进行整合,对电力系统中的负荷量和一些数据进行优化和预测等。特别是在进行时间序列的预测中,发挥着重要的积极作用。使用BP神经网络还能对国家经济发展中的一些数据进行处理。相对其它人工神经网络技术的网络而言,BP网络复杂性较低,所以在很多工业产业上应用较多。在某些需要进行控制的系统内,BP神经网络能够对系统进行有效的控制。其具体的优势主要有以下几点:利用BP神经网络在识别和分类中的优势,能够及时快速的判断一些系统中的故障,相比以往的谱分析技术,其工作效率有了较大的提高。BP神经网络中也存在着一些不足,表现在其网络的鲁棒性和容错性不够,在对故障进行判断和检测时,不能有效地确保其准确性。此外,这种算法的收敛速度不快,在选择网络隐层节点中还没有形成完善的配套理论。这些都在某种程度上对其应用造成了影响。
第二,ART神经网络。基于人工神经网络技术的ART神经网络,广泛的应用在对图像、语音。文字等的识别过程中。其在某些工业产业中也普遍应用,主要应用在对系统的控制方面。例如,对故障判断,问题预警和事故检测等较为繁琐的生产过程进行控制,进行数据挖掘,从有关的数据中找到能够应用的数据。ART神经网络在应用中的优势主要是其具有很强的稳定性,能够在环境变化的情况下稳定的工作,其算法也十分简单而且为快速。其缺点主要是在要求对参数和模型等进行准确的判断时,其网络的结构还需要进行完善。
第三,RBF神经网络。基于人工神经网络技术的RBF神经网络目前在建模、分类、函数近似、识别、信号处理等方面有着广泛的引用。比于其他的神经网络,RBF神经网络的结构较为简单,其在非线性的逼近上的效果较为显著,收敛的速度也较快,能够有效的对整体进行收敛。其存在的缺点是,在函数逼近方面还不够完善,仍然要进行性改进。
第四,Hopfield神经网络。作为反馈神经网络的一种,Hopfield神经网络能够在连接性较高的神经网络中进行集中自动的计算。目前其在工业产业中有着广泛的应用。优点是,对于一些线性问题,避免了只是用数学方法所带来的繁琐,在进行数模之间的转化时,能够快速准确的进行。
三、人工神经网络技术的发展
人工神经网络技术和理论的不断发展和进步,在较多领域中,人工神经网络技术引起了人们的关注。但是,目前在技术的运用和技术本身仍存在着一些问题。
关键词:
人工神经网络;岩土工程;应用
岩土工程的研究对象分为两大类:其一为岩体;其二为土体。岩土工程涉及的介质存在两大特性,即模糊性和随机性,这两大特性又统称为不确定性。近年来,不少学者在岩土工程研究过程中,提出了人工神经网络这一概念,即利用人工神经网络,将其应用到岩土工程研究领域当中,从而为深入了解岩土工程的某些介质特征奠定有效基础[1]。从岩土工程研究的优化及完善角度考虑,本文对“人工神经网络在岩土工程中的应用”进行分析意义重大。
1人工神经网络分析
1.1人工神经网络概念
对于人工神经网络来说,是一种对人脑结构与功能进行反映的数学抽象模型;主要通过数理策略,经信息处理,进一步对人脑神经网络构建某种简化模型,进一步采取大量神经元节点互连,从而形成复杂网络,最终完成人类思维及储存知识的能力的模拟。神经网络无需构建反映系统物理规律的数学模型,与别的方法比较,在噪声容忍度方面更强[2]。与此同时,还拥有很强的非线性映射功能,对于大量非结构性以及非精准性规律存在自适应能力,具备超强的计算能力,可完成信息的记忆以及相关知识的推理,且其自身还具备自主学习能力;与常规算法相比,优势、特点突出。
1.2BP网络简述
从研究现状来看,基于实际应用过程中,人工神经网络模型大多数采取BP网络。BP网络即指的是多层前馈网络,因多层前馈网络的训练通常使用误差反向传播算法,所以将BP网络称之为属于一类误差反向传播的多层前馈网络。对于其网络而言,具备输入节点和输出节点,同时还具备一层隐层节点与多层隐层节点,基于同层节点当中不存在耦合状态。其中的输入信号从输出层节点依次传过各个隐层节点,进一步传输至输出节点,每一层节点的输出只对下一层的节点输出产生影响。
2人工神经网络在岩土工程中的应用分析
在上述分析过程中,对人工神经网络的概念有一定的了解,由于其模型算法的优越性,可将其应用到岩土工程研究领域当中,从而为解决岩土工程问题提供有效凭据。从现状来看,人工神经网络在岩土工程中的应用主要体现在以下几大方面。
2.1在岩石力学工程中的应用
岩石力学工程是岩土工程中尤为重要的一部分,将神经网络应用到岩石力学工程当中,主要对岩石非线性系统加以识别,同时还能够为工程岩体分类提供有效帮助,此外在爆破效应预测方面也具备一定的应用价值。对于人工神经网络来说,存在从有限数据中获取系统近似关系的优良特性,而岩石当中的各项参数之间又存在很复杂的关系,并且难以获取完整的参数集。在这样的情况下,使用人工神经网络技术,便能够使岩石非线性系统识别问题得到有效解决[3]。此外,有研究者将岩石抗压强度、抗拉强度以及弹性能量指数等作为岩爆预测的评判指标,进一步对岩爆预测的神经网络模型进行构建,然后预测了岩爆的发生与烈度。通过计算得出结论:采取人工神经网络方法进行岩爆预测行之有效,值得采纳借鉴。
2.2在边坡工程中的应用
对于岩土工程中的边坡工程来说,边坡失稳状况突出,且是由多因素造成的,比如边坡失稳的地质形成条件、诱发因素的复杂性以及随机性等。与此同时,由于边坡动态监测技术从目前来看尚且不够成熟,因此边坡失稳在岩土工程研究领域一直视为是一项难以解决的工程项目。而对于神经网络方法来说,因其具备非常好的预测功能,因此相关岩土工程研究工作者通常会采取人工神经网络对岩土工程中的边坡工程问题进行求解。并且,从现有研究成果来看,将人工神经网络应用于岩土工程的成果突出。有学者对影响岩质边坡的稳定性的相关因素进行了分析,包括地形因素、岩体因素以及外部环境因素等,并构建了边坡稳定性分析的BP网络模型[4]。此外,还有学者将大量水电边坡工程的稳定状况作为学习训练样本及预测样本,对以人工神经网络技术的边坡岩体的稳定性进行了研究,结果显示,采取人工神经网络对边坡岩体的稳定状况进行预测可行性高。
2.3在基坑工程中的应用
采取人工神经网络对基坑变形进行预测主要分为两种情况:其一,对会影响基坑变形的各大因素及位移的神经网络模型加以构建;其二,把变形监测数据作为一个时间序列,以历史数据为依据,将系统演变规律查找出来,进一步完成系统未来发展趋势的分析及预测。有学者针对基坑变形利用了人工神经网络方法进行预测,结果表明:对前期实测结果加以应用,使用此方法能够对后续阶段的基坑变形实时预测出来,并且预测结果和实测结果保持一致性。此外,还有学者根据具体工程项目,采取人工神经网络,对深基坑施工中地下连续墙的位移进行了深入分析及预测,结果显示:使用人工神经网络方法进行分析及预测,在精准度上非常高,值得在深基坑工程相关预测项目中使用[5]。
2.4在地铁隧道工程中的应用
在地铁隧道施工过程中,存在地表变形和隧道围岩变形等状况,为了深入了解这些状况,可将人工神经网络应用其中。有学者在对地层的影响因素进行分析过程中,列出了可能的影响因素:盾构施工参数、盾构物理参数以及地质环境条件,进一步利用人工神经网络,构建了人工神经网络模型,进一步针对盾构施工期间的地层移动进行实时动态预测,最终得到了不错的预测成果。此外,还有学者对BP网络算法进行改进,然后对某地铁工程中隧道上方的地表变形进行了未来趋势预测,结果表明:和其他地表变形预测方法相比,人工神经网络预测方法的应用价值更为显著。
3结语
通过本文的探究,认识到基于人工神经网络模型的算法具备很高的优越性,由于岩土工程地质条件复杂,为了深入研究岩土工程,可将人工神经网络应用其中。结合现状研究成果可知,人工神经网络在岩石力学工程、边坡工程、基坑工程以及地铁隧道工程中均具备显著应用价值。例如:将人工神经网络应用于岩石力学工程当中,能够预测岩爆的发生与烈度;应用于边坡工程当中,能够边坡工程的稳定性进行精准预测;应用于基坑工程当中,实现对基坑工程变形的实时动态监测;应用于地铁隧道工程当中,能够进一步了解地铁工程中隧道上方的地表变形情况。
总而言之,人工神经网络在岩土工程中的应用价值高,值得相关工作者采纳应用。
作者:张洪飞 单位:山东正元建设工程有限责任公司
参考文献
[1]郑惠娜.章超桦.秦小明.肖秀春,等.人工神经网络在食品生物工程中的应用[J].食品工程,2012(01):16-19.
[2]邹义怀.江成玉.李春辉,等.人工神经网络在边坡稳定性预测中的应用[J].矿冶,2011(04):38-41.
0 引言
期货市场传递的价格信息能比较准确地反映未来供求状况的预期情况及其变动趋势,是市场供求状况的超前反应,对现货市场的波动有着特有的前瞻性。因此,选择有效的期货预测方法来分析和预测期货市场,对保障金融市场的稳定和维护整个经济体系有着重要的作用。由于期货价格的变化是一个非线性的时间序列,因此使用传统的统计方法直接对期货价格进行分析和预测,其预测结果的偏差是比较大[1]。基于神经网络的期货预测研究是神经网络技术在金融领域应用的一个非常重要的方面[2],那是因为RBF神经网络具有大规模并行数据处理以及非线性模拟能力[3]。但是,目前在采用RBF神经网络进行期货预测的众多文献中[4-5],大多的只是单纯使用RBF神经网络对大量数据进行学习、模拟。本文试图通过目前对基于RBF和数据挖掘技术的期货预测的研究现状进行梳理、比较,为期货预测的研究起借鉴和启示意义。
1 我国期货市场现状及发展
1.1 我国期货市场的现状
作为商品流通体制改革、价格市场化的重要产物及市场经济发展的一个重要标致,我国期货市场历经20多年的探索实践,取得了令人瞩目的成绩,在相关产业及国民经济发展中开始发挥越来越重要的作用,尤其是在服务国民经济、促进现代农业的发展、影响国际大宗商品价格等方面中正在成为国家宏观调控的一个抓手。
1.2 我国期货市场的发展趋势
中国的期货市场作为一种新生事物经过十几年的发展,从无到有,并且逐渐走向规划化。回顾从前,我国期货市场的发展可以说是坎坷多难,道路曲折。审视现在,我国的期货市场已进入规范发展的时期,并且正不断地走向成熟。展望未来,我国宏观经济环境良好,长期基础制度建设积累了一定基础,外部环境不断改善,期货市场风险控制能力逐渐加强,同时科学化管理水平稳步提高,这些都为期货市场的健康、快速发展奠定了坚实的基础。
2 数据挖掘简介及RBF神经网络算法概述
2.1 数据挖掘简介
近年来,随着Internet、计算机技术、信息技术和数据库技术的快速发展,计算机在各行各业中的使用也越来越广泛。由此产生的数据,随着时间的积累也越来越多。在这海量的数据中隐藏着许多重要的信息,但是目前的数据库系统却无法发现这些数据的内在联系,更无法根据现有的数据来预测其未来的发展趋势。而数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的一个过程。
2.2 RBF神经网络概述
径向基函数(RBF-Radial Basis Function)神经网络是在80年代末由J.Moody和C.Darken提出的一种神经网络模型,RBF网络是由输入层、隐含层和输出层构成的三层前向网络[7-9],其拓扑结构如图1所示。神经网络信息的传输为:对于输入层,只负责信息的传输。对于隐含层:每个神经元将自己和输入层神经元相连的连接权值矢量 与输入矢量之间的距离乘以本身的阈值作为自己的输入。隐含层神经元采用径向基函数作为激励函数,通常采用高斯函数作为径向基函数。对于输出层,它对输入模式的作用做出响应。由于输入到输出的映射是非线性的,而隐含层空间到输出空间的映射是线性的,从而大大加快学习速度并避免局部极小问题。
图1 RBF神经网络结图
隐含层和输出层采用径向基函数作为激励函数,该径向基函数的一般高斯函数表达式如下式:
由此可知,需要选择合适的权值wi和神经网络中心ci即可实现非线性基函数的线性转换,从而实现从现有数据到未来数据的预测。
3 RBF和数据挖掘技术在期货市场中网络模型的比较
3.1 基于主成分分析的RBF神经网络模型
RBF神经网络模型[11-12]使用基于主成分分析法对原始数据进行降维,再用这些个数较少的新变量作为RBF神经网络的输入进行模拟预测。利用SPSS软件,选择前3个成分作为主成分;同样利用SPSS软件,得到其成分矩阵。然后,设计一个三层的神经网络,输入层有3个神经元,输出层神经元为1个。利用下式对输入、输出值进行标准化,可使得输入、输出值均落在[-1,1]之间。
Xn=2*(x-minx)/(maxx-minx)-1
利用MATLAB的神经网络工具箱中用newrb函数设计这个径向基函数网络,用其做函数逼近时,可自动增加隐含层神经元,直到达到均方误差为止。经过试验,该网络模型的预测误差较小,见图2。
图2 两种方法预测期货后5日均价结果比较
由于主成分之间是相互独立的,所以由各主成分组成的输入空间不存在自相关性,从而有效地简化了RBF神经网络在高维时难以寻找网络中心的问题,提高了预测精度。不过径向基网络本身对扩展速度的选择没有一个固定的标准,不同的值得到的结果又较大的偏差,这是该网络模型的一个缺陷,值得深入地研究。
3.2 基于分段取中心值的RBF神经网络模型
由于RBF神经网络对近似线性时间序列数据预测误差较大,我们提出了一种改进的算法。该算法以分段取中心值算法为依据,使径向基函数中心点值的确定更加合理,从而使近似线性时间序列数据预测的准确度提高。
RBF网络模型[13]的学习过程可分为两步:RBF网络径向基函数的中心与宽度选择,网络输出层和隐含层权值之间的确定。改进的RBF网络模型采用改进的分段取中心值算法来确定RBF网络径向基函数的中心与宽度,同时利用最小二乘法来确定网络输出层和隐含层之间的权值。
最后确定RBF神经网络的权值,再利用MATLAB进行训练、计算。经过述理论分析和期货预测实验结果可以知道,提出的基于分段取中心值算法的 RBF 神经网络在时间序列变化较平缓且近似有规律的小幅度的上升或下降时具有较佳的拟合性能,同时也说明了 RBF 神经网络在期货预测上的准确性和可行性,为短期期货价格的走势提供了参考。
4 结论与讨论
上述研究表明,RBF和数据挖掘技术在期货预测中的应用比较广泛。总结当今神经网络的研究取得的成果,对几种RBF网络模型进行梳理、比较和研究,可以知道RBF和数据挖掘技术对期货交易的短暂的走向可以做出预测。同时,这几种RBF神经网络算法还是存在很多的不足之处,需要更加深入地进行研究,才能对期货交易进行更好地预测,使得期货市场发展的更好,我国的金融市场更加稳定。
【参考文献】
[1]申,申荣华.改进的RBF神经网络对期货价格的预测分析[J].现代商贸工业,2008,11:183-184.
[2]蒋综礼.人工神经网络导论[M].北京:高等教育出版社,2001.
[3]李学桥.神经网络工程应用[M].重庆:重庆大学出版社,1995(24).
[4]高博,王启敢,张艳峰.权证定价中的神经网络方法[J].统计与决策,2010(14).
[5]张秀艳,徐立本.基于神经网络集成系统的股市预测模型[J].系统工程理论践,2003(9).
[6]张屹山,方毅,黄琨.中国期货市场功能及国际影响的实证研究[J].管理世界,2006,04:28-34.
[7]葛哲学,孙志强.神经网络理论语MATABLER2007实现[M].北京:电子工业出版社,2007-09.
[8]刘志杰,季令,叶玉玲,等.基于径向基神经网络的集装箱吞吐量组合预测[J].同济大学学报:自然科学版,2007,35(6).
[9]郑丕谔,马艳华.基于RBF神经网络的股市建模与预测[J].天津大学学报,2006,33(4).
[10]刘书明,苏涛,罗军辉.Tiger SHARC应用系统设计[M].西安:西安电子科技大学出版社,2004.
中图分类号:TP183文献标识码:A文章编号:1009-3044(2008)30-0710-02
A Review of the Research and Development of the Artificial Neural Nets
WANG Hui
(Xinjiang Petroleum Institute,Urumqi 830000,China)
Abstract: This paper reviews the history and the current situation of the theory of neural nets. It discusses two aspects: the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets. It also touches upon such research areas as calculation theory, methods and application of neural nets.
Key words: neural nets;Vapnik-Chervonenkis dimension;Data Mining
1 引言
本世纪初,科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作,人脑含有数亿个神经元,并以特殊的复杂形式组成在一起,它能够在计算某些问题(如难以用数学描述或非确定性问题等)时,比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍,然而,大脑的信息处理速度比电子元件的处理速度快许多倍,因此科学家推测大脑的信息处理方式和思维方式是非常复杂的,是一个复杂并行信息处理系统。1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作,McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数,这标志着神经网络学科的诞生。
2 发展历史及现状
2.1 人工神经网络理论的形成
早在40年代初,神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中,神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作[1],从人脑信息处理观点出发,采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性,他们提出了第一个神经计算模型,即神经元的阈值元件模型,简称MP模型,他们主要贡献在于结点的并行计算能力很强,为计算神经行为的某此方面提供了可能性,从而开创了神经网络的研究。50年代初,神经网络理论具备了初步模拟实验的条件。Rochester,Holland与IBM公司的研究人员合作,他们通过网络吸取经验来调节强度,以这种方式模拟Hebb的学习规则,在IBM701计算机上运行,取得了成功,几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元,而每个神经元又只有16个结合点。再往下做试验,便受到计算机的限制。人工智能的另一个主要创始人Minsky于1954年对神经系统如何能够学习进行了研究,并把这种想法写入他的博士论文中,后来他对Rosenblatt建立的感知器(Perceptron)的学习模型作了深入分析。
2.2 第一阶段的研究与发展
1958年计算机科学家Rosenblatt基于MP模型,增加了学习机制,推广了MP模型。他证明了两层感知器能够将输入分为两类,假如这两种类型是线性并可分,也就是一个超平面能将输入空间分割,其感知器收敛定理:输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型,首次把神经网络理论付诸工程实现。1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型,是一种连续取值的线性网络,主要用于自适应系统。他们研究了一定条件下输入为线性可分问题,期望响应与计算响应的误差可能搜索到全局最小值,网络经过训练抵消通信中的回波和噪声,它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说,他们对分段线性网络的训练有一定作用,是自适应控制的理论基础。Widrow等人在70年代,以此为基础扩充了ADALINE的学习能力,80年代他们得到了一种多层学习算法。
Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中,建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法,从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(ART),这是感知器较完善的模型,即superrised学习方式。本质上说,仍是一种unsuperrised学习方式。随后,他与Carpenter一起研究ART网络,它有两种结构ART1和ART2,能够识别或分类任意多个复杂的二元输入图像,其学习过程有自组织和自稳定的特征,一般认为它是一种先进的学习模型。另外还有Werbos提出的BP理论以及提出的反向传播原理;Fukushima 提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。
2.3 第二次研究的阶段
Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架,随后,引起许多学者研究Hopfield 网络的热潮,对它作改进、提高、补充、变形等,至今仍在进行,推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的,即固体热平衡问题,通过模拟高温物体退火过程的方法,来找全局最优或近似全局最优,并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型,借用统计物理学中的概念和方法,引入了模拟退火方法,可用于设计分类和学习算法方面,并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进,提出了高阶Boltzmann机和快速退火等。
1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition两卷书出版,对神经网络的进展起了极大的推动作用。它展示了PDP研究集团的最高水平,包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论,主要致力于认知的微观研究。尤其是,Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法,这就是后来著名的BP算法。
2.4 新发展阶段
90年代以来,人们较多地关注非线性系统的控制问题,通过神经网络方法来解决这类问题已取得了突出的成果,它是一个重要的研究领域。1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法,它可表示非线性特性,增强了鲁棒性。他们给出了一种新的辨识与控制方案,以multilayer网络与recarrent网络统一的模型描述非线性动态系统,并提出了动态BP 参数在线调节方法。尤其是进化计算的概念在1992年形成,促进了这一理论的发展。1993年诞生了国际性杂志Evolutionary Computation。近几年它成为一个热点研究领域。1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法,他们将进化策略引入区域指引,它经过选优过程,最终达到求解问题的目的。
从上述各个阶段发展轨迹来看,神经网络理论有更强的数学性质和生物学特征,尤其是神经科学、心理学和认识科学等方面提出一些重大问题,是向神经网络理论研究的新挑战,因而也是它发展的最大机会。90年代神经网络理论日益变得更加外向,注视着自身与科学技术之间的相互作用,不断产生具有重要意义的概念和方法,并形成良好的工具。
3 神经网络的发展趋势
3.1 神经网络VC维计算
神经计算技术已经在很多领域得到了成功的应用,但由于缺少一个统一的理论框架,经验性成分相当高。最近十年里,很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题 。PAC(Probably Approximately Correct)学习模型就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量,VC维(Vapnik-Chervonenkis dimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维,则我们可以估计出要训练该网络所需的训练集规模;反之,在给定一个训练集以及最大近似误差时,可以确定所需要的网络结构。
Anthony将VC维定义为:设F为一个从n维向量集X到{0, 1}的函数族,则F的VC维为X的子集E的最大元素数,其中E满足:对于任意S?哿E,总存在函数fs ∈F,使得当x ∈ S时fs(x) =1,x?埸S但x∈E时fs(x) =0。
VC维可作为函数族F复杂度的度量,它是一个自然数,其值有可能为无穷大,它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族,可定义相应的指示函数族,该指示函数族的VC维即为原实函数族的VC维。
3.2 基于神经网络的数据挖掘
1996年,Fayyad、Piatetsky-Shapiro和Smyth对KDD(Knowledge Discovery from Databases)和数据挖掘的关系进行了阐述。但是,随着该领域研究的发展,研究者们目前趋向于认为KDD和数据挖掘具有相同的含义,即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。
数据挖掘的困难主要存在于三个方面:首先,巨量数据集的性质往往非常复杂,非线性、时序性与噪音普遍存在;其次,数据分析的目标具有多样性,而复杂目标无论在表述还是在处理上均与领域知识有关;第三,在复杂目标下,对巨量数据集的分析,目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中,研究者们主要是将符号型机器学习方法与数据库技术相结合,但由于真实世界的数据关系相当复杂,非线性程度相当高,而且普遍存在着噪音数据,因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘,将可望借助神经网络的非线性处理能力和容噪能力,较好地解决这一问题。
4 结束语
经过半个多世纪的研究,神经计算目前已成为一门日趋成熟,应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述,主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是,除了上述内容之外,神经计算中还有很多值得深入研究的重要领域,例如:与符号学习相结合的混合学习方法的研究;脉冲神经网络(Pulsed Neural Networks)的研究;循环神经网络(Recurrent Neural Networks)的研究等;神经网络与遗传算法、人工生命的结合;支持向量机(Support Vector Machine)的研究;神经网络的并行、硬件实现;容错神经网络的研究。
参考文献:
[1] McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943.
[2] N.维纳著,郝季仁译,控制论,科学出版,1985.
[3] Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in Behavior; The Hixon Sympsium, 1951.
[4] Hebb D O. The Organization of Behavior, New York:Wiley, 1949.
[5] 陈世福,陈兆乾. 人工智能与知识工程[M]. 南京: 南京大学出版社,1998.