时间:2023-06-15 09:28:33
引言:寻求写作上的突破?我们特意为您精选了4篇网络流量分析的方法范文,希望这些范文能够成为您写作时的参考,帮助您的文章更加丰富和深入。
中图分类号:TP393.06
近年来,随着经济社会的发展和科学技术的进步,计算机网络技术得到了充分发展。在这种形势背景下,网络在人们生产生活中的应用越来越广泛,比如,我们可以通过网络浏览网页、观看视频、网上聊天以及网上购物等。由此可见,网络在人们生活中发挥着重要作用。在网络的运行过程中,网络流量直接关系着网络的速度,对网络功能的发挥具有重大意义。但是,从现实情况来看,在一些中小型网络使用的过程中,由于服务器管理不当、恶意程序以及P2P下载等原因,导致网络流量不断增长,最终致使网络出现堵塞,网页打不开,影响人们的正常工作和学习。鉴于此,我们必须采取一些措施控制网络流量,使它更好地为人们的生产生活提供服务。
1 中小型网络流量控制方法
1.1 加强对P2P应用的管理。在很多中小型网络应用的过程中,人们会运用到很多P2P应用,比如,快车下载、迅雷视频播放器等。这些P2P应用在运行的过程中会占用大量的流量资源,给网速造成严重影响。针对这个问题,在中小型网络运行中我们可以采取封禁P2P的应用端口或者对并发连接数进行限制等方法来控制网络流量。首先,对P2P的应用端口进行封禁。正如上文所述,在中小型网路中各种下载工具和视频播放工具等P2P占用了很多流量,我们可以使用电脑中的路由器或者防火墙等对P2P应用进行封禁。这种方法在运用的早期收到一定的成效,后来的流量控制效果并不是十分理想。其次,限制并发连接的数量。当我们在运用P2P软件在网络上查找资源的时候,会带到很多的网络连接,此时便会使网络流量大量增加。如果我们对连接到主机上的并发连接数量进行控制,就可以有效限制它所占用的流量。这种方法有一定的成效,但会在一定程度上对网络正常运行造成影响。
1.2 运用专业的流量控制设备。在中小型网络运行中,我们还可以使用专业的流量控制设备对其进行流量控制。就目前的技术水平来看,主要的流量控制技术包括深度报文检测(DPI)和深度流行为检测(DFI)等。以此技术为基础,现在应用比较多的专业流量控制设备厂商主要有华三、思科以及Allot等。这些厂商生产的专业流量控制设备具有良好的流量控制作用,但是,它也存在一定的缺陷,比如,专业流量控制设备的价格比较昂贵。
1.3 对网络用户的流量和宽带进行限制。为了控制中小型网络中的流量,我们还可以采用限制用户流量和宽带的方法进行控制。首先,限制用户流量。我们可以使用城市热点或者防火墙等设备对网络中用户的流量进行控制。这种方法确实发挥了控制流量的作用,但是,有时用户正在使用网络,由于流量限制导致无法上网,就会影响到用户的工作和学习。其次,限制用户宽带使用数量。这种方法也在一定程度上发挥控制网络流量的功效,但是,由于用户无法得到全部宽带,致使网络运行的速度比较缓慢。
2 流量控制方法在中小型校园网络中的应用
从上文的论述中,我们可以了解到,各种流量控制方法各有优劣,在实际的应用过程中,我们要从中小型网路的实际情况出发,综合分析多方面因素,选择科学合理的流量控制方法。下面,我们就结合某学校一中小型的校园网络,对流量控制方法的具体应用进行分析。
2.1 校园网概况。某学校为了满足教学工作需要,建设了一个校园网。在该校园网中,由2个10兆的互联网与当地的教科网和电信网进行连接,依据教学的功能,校园网中被划分成多个VLAN,从而为学校教学和教务工作的开展提供网络服务。但是,从现实情况来看,校园网中存在客户端安全问题、接入控制问题以及上网速度慢问题等,致使校园网在使用的过程中出现网页打不开甚至断网等问题,影响了校园网正常功能的发挥。
在上图的校园网流量控制设备部署中,我们利用流量网络开关,有效实现了对校园网的流量控制。具体来说,流量控制主要表现在以下几个方面。(1)对P2P应用进行了控制。为了保证P2P应用的正常使用同时减少它对网速的影响,我们设立了P2P应用流量通道,对快车、迅雷等P2P应用软件的流量限制在一定范围之内,并根据网速变化作出一些动态调整。比如,在校园网高峰期,我们可以适当降低对P2P应用的限制,当校园网处于低谷期,我们可以调高对P2P应用的限制,从而保证校园网络的有效利用。(2)对不同用户实施不同部署。在校园网运行中,针对不同用户的需求,我们制定了不同的网络流量管理方法。比如,针对学校的办公网络,我们可以适当限制P2P应用的流量,而对于学校教学机房中的网络,则要严格控制P2P应用的流量,尽量减少这些与教学无关的应用占用大量的流量,保证教学网络速度。(3)加强校园网接入安全管理。在过去,由于缺乏相应的技术和管理设备,校园网中对客户端接入缺乏安全管理,校外其他一些用户可以随意接入到校园网中,不仅占用了校园网的流量,而且给校园网安全造成严重威胁。针对这个问题,我们可以采取客户端接入控制和安全性检测等方法对校园网接入安全进行管理,这样一来,只有符合要求的用户才可以接入到校园网中,不仅提高了校园网的运行的安全性,而且对校园网流量控制具有一定的作用。
3 结束语
综上所述,近年来,随着经济社会的发展,中小型网络在我们生产生活中的作用越来越突出。鉴于此,我们要加强对中小型网络的管理,使它更好地为人们提供网络服务。但是,在现实中,由于多种原因导致中小型网络流量增加,影响了网络的正常运行。针对这个问题,我们在分析网络实际情况的基础上,选择恰当的流量控制方法对网络流量进行有效控制,促使中小型网络资源得到合理利用。
参考文献:
[1]郑林江.基于交换机流量和网络线路的监控系统[J].计算机应用,2009(S2):18-19.
[2]胡俊,程瑾.网络流量管理控制技术在校园网的应用研究[J].中国教育信息化,2009(21):58-59.
[3]牛军,余萍萍,李思恩.校园网流量控制初探[J].中国教育信息化,2009(04):152-153.
0 引言
随着社会的飞速发展和网络技术应用领域的扩展,使得网络通信问题日益成为人们关注的焦点。当前,人们对网络的需要也日益增多,人们对网络通信也有了越来越高的要求。通过Internet的迅速发展使社会经济结构和人们的生活方式发生了巨大的变化,网络服务越来越重要,而IP流量正是网络管理的重要数据基础,通过IP分析流量数据,可以帮助网络管理员发现各种恶意网络攻击,对攻击源进行追溯和定位,从而对网络中的计算机进行有效的保护尤其在中小网络中网络安全起着至关重要的作用。IP分析中数据的统计是不允许出现任何错误的。因为网管人员在做好防护的同时也要对IP包进行捕获和流量分析。网络上的信息流量是通过计算机的网卡转换把网上的信息展现出来的,通过对流经网卡的数据包的分析,如果发现有恶意连接或是异常流量的时候,网络管理员就可以及时的做出相应的措施来保护网络的通畅和安全,这也就是进行IP包流量分析的重要性。
1 IP包流量分析的研究
1.1 IP流量分析
每个网络都有自身的运行规律,对于每一个高级的网络管理员,要管理好网络上承载关键业务的网络系统,首先要对自己所管理的网络建立深入的了解,提高自身的网络管理技术水平,掌握有效的IP流量分析技术并能够在工作中灵活的运用。网络管理和网络的结构、应用特点等紧密相关,通过IP流量分析,能够帮助网络管理人员掌握网络系统运行的规律。网络上重要的应用在运行时,如每一次访问,每一个交易处理,数据都是通过网络来传输的,就是这些数据的传输导致了网络流量的产生。通过分析应用运行所产生的网络流量,能够清楚的了解应用运行时对网络通信的影响。通过IP流量分析程序可以获取到数据包的内容及其数量。在网络带宽一定的情况下,每个用户的网络行为都将相互影响,同时会对整个网络的运行产生影响。伴随着每个用户在网络中的行为都有网络流量的产生,通过对网络用户的IP流量进行分析,能够直观地了解网络用户的网络使用情况。IP流量分析可以为网络和应用问题的分析提供依据,特别是数据包级的分析,因为这些依据是真实的,有效的,它们是实实在在的在网络中传输的数据包,这也是流量分析能够大大提高网络和应用问题分析效率的原因。IP流量分析是有助于维护网络持续、高效和安全运行的一种手段,IP流量分析有助于网络管理员对网络运行管理、应用运行管理和网络应用问题分析。
IP包流量分析的主要方法是通过实时连续地采集网络数据并对其进行统计,计算得到主要成分性能指标,结合网络流量的原理,通过统计出的性能指数观察网络状态,分析出网络流量变化的趋势,找出影响网络性能的因素。
1.2 系统总体设计
通过研究与分析简单IP包流量分析程序的用户需求可以发现,用户需要系统实现对本机基本信息的获取,如IP地址,主机名,MAC地址和子网掩码等信息;需要实现对网络流量的监控,即对流入和流出网卡的数据包进行检测并对数据包的长度进行累加,从而得到流量数据,最后将网络输入流量,网络输出流量,网络总流量能在对话框对应的网格处显示;需要实现捕获流经本计算机网卡的所有数据包,对所获取到的数据包进行解析,从而得到相关信息,如源地址,源端口,目的地址,目的端口,数据包的协议类型,数据包大小,数据等信息。根据分析IP包流量分析系统可以具有三个主要功能部分:基本信息显示、网络流量监控、IP包解析。系统设计图如图1所示。
1.2.1 基本信息模块
对于一台计算机来说,一般只有一个计算机名称,但是可以有多个IP地址。例如当计算机通过拨号上网的时候,在验证完用户名和口令以后,就会动态分配一个IP地址,此时计算机就拥有了两个IP地址,一个是自己设定的局域网用的IP地址,另外一个就是拨号上网动态分配的IP地址了。
基本信息模块实现的主要功能是获取本机的主机名和本机IP地址,并以对话框的形式显示出来。此模块中所获取的IP地址是自己设定的局域网用的IP地址,而不是拨号上网时动态分配的随机IP地址。它设计的主要目的是为了方便网络管理人员快捷地了解本机的一些基本信息。
1.2.2 网络流量监控模块
网络管理人员一般会根据计算机在不同时段的网络流量变化情况来对计算机进行各项参数的优化,以及了解是否存在异常流量。而对于个人用户来说,实时了解本机网络流量情况是很重要的,尤其是对那些拨号上网的用户,对网络流量的了解可以有效的帮助他们节约上网费用。
网络流量监控程序的本质是对流入和流出网卡(Modern)的数据包进行测量,在单位时间内的流入量实际上就是在单位时间里流入网卡的数据包的字节数,在单位时间内的流出量实际上就是在单位时间内流出网卡的数据包的字节数。而总流量就是流入量和流出量之和。
1.2.3 IP包解析模块
因为要捕获经过网卡的所有数据包,需要将网卡设置为混杂模式。在实际编程的过程中,通过使用网络嗅探器可以把网卡设置于混杂模式,并可实现对网络上传输的数据包的捕获与分析。在网络安全方面,网络嗅探手段可以有效地探测在网络上传输的数据包信息,通过对这些信息的分析利用将有助于对网络安全进行维护。IP包解析模块就是通过使用网络嗅探器技术来实现完成的。
2 IP包解析模块的实现
IP包解析模块是系统实现的重要模块,在实现中主要实现函数见表1。
3 结束语
IP包流量分析系统是一个相对复杂的系统,通过研究需求设计了系统的主体框架,通过编写套接字、访问注册表等方法实现了系统部分主要功能,下一步准备完成详细指标分析等功能。
参考文献:
1网络流量分析的内容
网络通信流量分析的目的是了解网络工况,及早发现可能存在的数据流量问题和应对措施。需明确的是,计算机网络通信的核心作用是传输数据,而网络流量的分析就是采集和分析计算机网络中传输的海量数据流,网络数据流的分析从计算机及传输相关的物理硬件底层的数据流到应用层的数据流分析,也称为网络通信协议分析。网络管理人员若想了解和管控好一个网络,其最重要的就是对网络的了解,所谓知己知彼,包括并不限于了解网络的拓扑结构、配置参数和设备类型等,但要保证网络通信的服务质量,这样的认知是还是远远不够。对网络通信流量的分析能使网管更深入地了解计算机网络,包括计算机网络运行规律、网络运行模式和用户的上网行为。
2网络异常的行为
计算机网络异常的发现是建立在充分认知和网络阀值为基础的,一旦网络流量突破了网管人员预设的网络流量阀值,就需要通过发现、询因、流控等技术手段,以防止网络流量的无限暴增,进而能为网络通信保持一定的高性能运行提供重要的保障。通常的网络异常情况如下:(1)网络运行异常:网络中流量的异常,包括资源利用率、数据包数的异常。(2)网络应用异常:进程连接数量、用户应用响应、应用程序流量的异常,都能通过长期的主动分析来及时预警和发现。(3)用户的异常上网行为:异常的上网行为也有鲜明的流量特征,如被蠕虫病毒感染、不知情的情况下安装了后门程序等,长期的数据流量分析能及时发现上网用户的这些异常网络行为,如何及时发现网络用户的异常上网行为是解决其影响网络正常高效运行的关键。
二建立机器学习的计算机网络通信流量分析
模型计算机网络流量的突变性、弱耦合性和影响的非线性等特性,对传统计算机网络通信理论提出了新的挑战,导致对网络流量和协议概率分布的准确建模变得异常困难。
1模型拟解决的问题
针对计算机网络通信流量分析的特点,提出了一个基于机器学习的计算机网络通信的流量分析概念模型。提出该模型的真正目的在于:最大限度地利用获得的流量数据和网管人员的监测信息,自动完成流量分析的各个任务,自适应各种上层应用及对网络的性能优化。同时,模型通过计算机主动学习,指导主动式监测的进行。从通信流量分析的具体任务而言,如果已经较好地获得了数据流量的概率分布特性,有两个基本的问题:(1)正常情况,计算机监控程序能否利用已得到的概率统计特性来预测可能发生未知的数据流量情况;(2)数据流量的特性突变之时,计算机监控程序能否快速、有效地发现这种流量突变。这分别对应于网络数据流量预测和异常网络数据流量检测,可以通过具有自学习能力的计算机程序自动实现上述预测和检测。
2机器学习的概念
模型所谓机器学习的本质是计算机程序的性能随着经验的累积能自我完善。恰当选择计算机的机器学习算法,可最大限度地使用上述经验和监测信息,从而完成流量分析各任务的自动化处理,并根据应用环境对网络的性能进行优化。为此,机器算法是处理上述问题的理想选择。首先给出基于机器学习的网络流量分析模型,接着从机器学习的角度,阐明基于改进Boosting的机器学习算法。机器学习的本质是将人类的经验积累和长期的监测到的统计数据通过计算机程序以自动提高其性能,根据计算机通信网络分析的一般流程,提出机器学习模型。此类模型利用网络监测算法测量获得的流量数据,然后利用机器学习的方法,自动完成流量分析的各项作业任务,支持各种上层应用对网络的性能优化。当网络管理人的监督信息可以获得的时候,该数据信息可以作为机器学习算法的储备和先验知识,结合人类的智慧以进一步提高算法的性能,如此往复,循环提升,不断提高系统的数据流量分智能。
3改进Boosting算法
改进Boosting算法是一类使得学习算法的性能得以提高的学习策略。基于Boosting的学习算法的思路:找到许多简单粗略的判断准则要比找到一条非常准确的准则容易得多。通过不断调用这种算法,每次用训练样本的不同子集对它进行训练,循环多次后,这些准则就会结合成一条基本学习规则。
中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)1210099-01
随着IT、网络技术的迅猛发展和企业信息化程度的不断提高,各种网络应用越来越丰富。因此,如何保证网络的可用性和关键业务的畅通运行,对网络正常健康的发展将起到至关重要的作用。维持正常网络运转,就需要有相应的技术手段,明确了解网络上各种应用的带宽占用情况,分析用户流量行为,以便合理的规划和分配网络带宽,有效地保障关键业务应用的正常运行。尤其是在发生流量异常的同时,迅速有效的分离和抑制异常流量,对非法业务实行遏止,使网络流量能保持其健壮性。
常用的网络流量和协议分析有四种方法:
一、基于SNMP
MRTG是最常使用并且最典型的一种基于SNMP的产品。其安装过程非常简便,其结果输出采用Web页面方式,因此需要在相应的平台上安装系统,如NT上需要安装IIS,UNIX则需要安装apache。MRTG通常被网络管理人员用来收集网络节点端口流量统计信息,是典型的监视网络链路流量负荷的工具。MRTG的定制非常方便,一般可以在网络的重要节点端口和故障发生频繁的网络设备处利用MRTG进行监视,这些监视包括:关键链路流量和关键节点性能状况。
MRTG的优点是安装、定制简单,结果采用Web方式输出方便实用,而且是免费产品,在世界各地有很多的开发人员不断对其升级和改进。MRTG的缺点是功能较单一,分析功能不强,其收集到的流量信息是端口的统计信息,不能用于复杂的分析。
二、基于网络探针(Probe)
流量探针是一种用来获取网络流量的硬件设备,使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。流量探针安装非常方便,可以实时将RMON II的流量信息完全记录下来,这对分析网络的性能和故障很有价值。如果将流量探针串接到Catalyst系列交换机端口,开启端口映射(Span Port)功能,将各个端口的流量映射到安装了流量探针的端口,则仅通过对一个端口的监测就可以收集到多个端口的流量信息。端口映射(Span Port)是由Cisco公司提出的概念,在其Catalyst系列设备上都可以实现。其它厂商如Foundry公司的交换机也提供端口映射的功能,但现在还不支持跨交换机的映射。
流量探针的安装很简单,可以用于高速(千兆)的网络而不影响网络性能,流量探针可以实时捕捉包,但其成本高,不同的物理链路,因其采样方法也不同,而需要使用不同种探针。
三、基于实时抓包分析
基于实时抓包的分析技术提供详细的从物理层到应用层的数据分析。但该方法主要侧重于协议分析,而非用户流量访问统计和趋势分析,仅能在短时间内对流经接口的数据包进行分析,无法满足大流量、长期的抓包和趋势分析的要求。常见的产品有NAI的Sniffer Pro,免费的tcpdump、ethereal等。
通过端口映射Sniffer Portable可以实时采集多种数据并保存到数据库中,同时可以通过其分析部件实时监视和显示这些数据的统计信息。利用Sniffer Portable的数据捕捉功能可以在短时间内对网络流量进行实时采集,这些采集到的流量数据可以包含整个包的信息,也可以只是包的一部分。利用捕获到的包可以进行协议分析、数据重组(如重组E-mail)等工作。对包的解码和分析是Sniffer工具的一个最有特色的,也是最强大的功能。
当不采用厂家的特殊硬件系统,Sniffer Portable只能用于100Mbit/s
及以下速率链路,网络中可以安装多个Sniffer Portable,但它们都是相互独立的,分别有各自的数据库,收集到的数据独立存放,这对于整个网络的分析带来一定难度,因此它特别适合小范围内的性能维护和分析;Sniffer Portable分析能力特别强大,可以解析近370种协议。当要求对更高速(GE或POS 2.5Gbit/s)的链路采集流量,或者是全面收集大型网络的流量时,可以采用Sniffer的硬件产品及其分布式系统,但其价格昂贵。
四、基于流(Flow)的流量分析
目前基于流的分析技术主要有两种:sFlow和NetFlow。sFlow是由InMon、HP和Foundry Networks联合开发的一种网络监测技术,它采用数据流随机采样技术,可以适应超大网络流量(如大于2.5Gbps)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。目前,仅有HP、Foundry和Extreme Networks等厂商的部分型号的交换机支持sFlow。NetFlow[13]是Cisco公司开发的技术,它既是一种交换技术,又是一种流量分析技术,同时也是业界主流的计费技术之一。它可以回答有关IP流量的如下问题:谁在什么时间、在什么地方、使用何种协议、访问谁、具体的流量是多少等问题。NetFlow因为其技术和Cisco网络产品的市场占有率优势而成为当今主流的流量分析技术之一。NetFlow的配置非常方便、安装简单,除了需要在路由器上配置之外,只需要一台UNIX工作站作为流的收集工作站,所有路由器或交换机上发送的NetFlow流都将送到此工作站集中,方便处理和分析。NetFlow流信息量特别丰富,可以为流量分布、业务分布等性能分析提供最充足的数据,但需要消耗一定的路由器资源(CPU和内存)且不能实时捕捉数据包。根据NetFlow的特点可知,其非常适用于大型的网络,和流量探针、Sniffer等比较,NetFlow成本最低,实施最方便,而且不受速率的限制,是数据流量采集的发展方向。
基于Flow的分析方法将成为趋势,在上面所提到的四种方法中,基于Flow的分析方法应该是网络流量分析技术的趋势。这是它的技术实现理论所决定的。
参考文献:
[1]朱士瑞,基于小波分析的异常检测系统[D].江苏大学硕士学位论文,2006.
[2]陈宝钢、张凌、许勇,基于P2P应用的网络流量特征分析[J].计算机应用,2005,Vol.27,No.3.