大数据互联网论文范文

时间:2023-01-18 09:54:59

引言:寻求写作上的突破?我们特意为您精选了12篇大数据互联网论文范文,希望这些范文能够成为您写作时的参考,帮助您的文章更加丰富和深入。

大数据互联网论文

篇1

二、文化大数据的传播

同时随着社会的信息化、网络化程度不断不加深,移动互联网产生了海量的文化大数据。这些文化大数据无法在常规的时间内用传统的软件工具和技术标准对其内容进行各种处理,如抓取、传输、存储和处理。从文化产品传播方面看,大数据可以成为文化产品传播行为的显微镜,拥有文化产品的人的传播行为和社会状态被广泛记录,并通过进一步提取、整合与分析,形成可视化的数据,产生巨大的价值[4]。文化大数据的社会意义在于人类将进入智能时代,计算机和网络更加智能,人与人之间有关的文化产品的合作,任务之间的对接会更精确,文化产品的创作和传播的社会成本和经济成本会更低。在传统的文化产品传播工作中,数据采集方式不仅需要科学地确定调查对象,还需要通过标准化的报表进行数据采集、汇总和分析。[5]然而随着信息化、网络化时代的到来,尤其是移动互联时代,每一个文化产品的购买者、欣赏者、传播者都可以通过手持平台多渠道、多角度的通过评论、传播等行为产生文化大数据,如对某一著名的电影作品,往往通过微信中朋友圈的传播和评论,可以很快的影响其众多潜在观影者对于电影的态度,买票看电影还是等待看影视的光盘,甚至由于不良的评价,取消对电影的欣赏态度。对这些正在源源不断地产生海量的、即时的电子化大数据。四、文化大数据的分析文化大数据发展趋势中所增加的大部分数据都是在自然环境下产生的非结构型数据,如网络言论、图片、视频等不受控的东西,从纷杂的信息中提炼有价值的信息,这也是统计信息的收集、加工整理所面临的挑战。在统计的基础上,通过对外部、不完整数据集的探索与发现,形成观点与交互,实现宏观预测,这正是大数据应用的体现[6]。而研究如何能够从非结构型的文化大数据中抽象出有效地信息,或者说智能的融合大数据,使其能够最大限度的发掘出有价值的信息。

篇2

1 大数据和数据挖掘 

随着博客、微信、社交网络、基于位置服务的新型信息方式的不断涌现,人们对数据的需求呈现出多维度的特点,与此同时,数据正以前所未有的速度不断增长与累积,大数据时代真正进入了我们的生活。早在2008年,《Nature》就推出Big Data专刊,计算社区联盟在2008年发表报告,阐述在数据驱动的研究背景下,解决大数据问题所需的技术和面临的挑战。近年来,随着物联网论文、云计算等数据挖掘技术的发展,大数据在人民日常生活、科学研究中的作用日益凸显,对大数据的研究也成为科学研究的主流。目前对大数据没有统一的定义,但大数据不是传统意义上大量数据的集合体,与海量数据也有着本质的区别。麦肯锡认为,“大数据”是指其本身超出了典型数据库软件的采集、储存、管理和分析等能力的数据集。IT业界认为,大数据具有4V特征,即规模(Volume)、种类(Variety)、速度(Velocity)和最重要的价值(Value)。规模是指巨大的数据量并持续增长以及数据的完整性,如医疗卫生、电子商务、影视娱乐等每天都有大量数据涌现;种类是指数据类型的多样性,不仅包括结构化数据分析利用,更强调半结构化和非结构化数据的分析与应用;速度指处理速度快、响应时间短;价值则是指海量数据中蕴含着巨大的社会价值和商业价值。 

数据挖掘(Data Mining,DM)是从大量数据(包括结构化数据、半结构化数据和非结构化数据)中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程;是利用各种分析工具在海量数据中发现模型和数据之间关系的过程。也就是从数据中获取智能的过程。通过数据挖掘分析,能帮助企业发现业务的趋势,揭示已知的事实,预测未来的结果。 

2 服装连锁企业物流决策支持系统 

决策支持系统(DSS)是管理信息系统(MIS)向更高一级发展而产生的先进信息管理系统,辅助决策者通过数据、模型和知识,以人机交互方式进行半结构化或非结构化决策的计算机系统。简而言之,DSS就是在数据仓库的支撑下,通过数据挖掘技术建立模型,从而帮助决策者进行决策。从功能上来看,MIS系统主要解决结构化问题,而DSS主要解决半结构化和非结构化问题;MIS完成的是例行业务活动中的信息处理问题,而DSS完成的是辅助支持决策活动,通过人机交互提供决策所需的信息。因此,MIS的目标是高效率,而DSS的目标则是有效性。服装连锁企业物流决策支持系统是服装连锁企业决策支持系统的一个子系统,对解决服装连锁企业物流日常业务中遇到的半结构化问题、增强决策者经验与信心、提高企业物流信息化水平、改进工作方式等都有着积极作用。 

3 传统服装连锁企业物流管理决策支持系统 

传统服装连锁企业物流管理决策支持系统的结构如图1所示。该系统对配送中心选址、库存控制、运输和路径优化提供辅助决策支持,使各部门、人、物、车等要素协调工作,提高运输效率。为了完成这些辅助功能,该DSS必须完成对服装连锁企业物流管理中相关信息的采集并存储到数据仓库中,通过模型库和方法库进行数据挖掘和处理,利用知识库对系统决策进行评价和优化,最后通过人机交互为正确的决策提供支持。传统服装连锁企业物流管理决策支持系统与大数据背景下的服装连锁企业物流管理决策支持系统的主要区别在于,大数据背景下是以占有数据开始。在本文中,我们以数据仓库来进行大部分资料的自助采集。 

3.1 数据仓库 

数据仓库之父William认为,数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合。它是一种数据处理体系结构,实质是企业各业务部门有联系的数据进行统一和综合的中央仓库,是相互联系的数据库的集合。服装连锁企业物流管理决策支持系统的数据仓库系统如图2所示。物流决策支持系统将收集到的基础资料存储到这些数据库中,然后将数据仓库中的数据通过联机分析服务进行数据挖掘,得出进行下一步处理的数据,为决策支持系统提供支持。因此,由于基础数据的获得是数据仓库进行分析处理的基础,所以传统服装连锁企业物流决策支持系统数据库中的数据量越大,款式越齐全,分析处理就越全面,就越能体现出决策支持系统的优越性。 

图2 数据仓库系统结构图 

3.2 模型库和方法库 

服装连锁企业物流决策支持系统通过自动匹配建模和相似模型的转化来对基本数据进行模块化处理,从而实现人机智能交互。整个物流决策支持系统以人为本,把数据信息与模型库中的预定条件进行比较,通过进一步处理,得到分析或解决问题的方案,然后通过人机交互,确定相应方案的评价方法,并对不同评价方法下的方案进行决策分析,从而进行决策。在“互联网+”时代,客户的需求日新月异,要求服装连锁企业物流决策支持系统具有更强的适应性,因而模型库中的有关建模方法、分析方法要与数据挖掘技术的最新进展相适应。

3.3 知识库 

由于知识库中某些陈述性或者过程性的知识已经被常识化,因而某些具体的决策支持系统往往忽略了知识库。但从整体来看,因服装连锁企业物流决策支持系统的知识库主要起辅助和支撑作用,因而必须深化认识知识库的内容。知识库通过人机交互,将专业领域与数据挖掘联系起来,起到桥梁作用,它包括大量各领域的信息、使用规则及与实际业务的关系过程。与模型库和方法库一样,知识库中的内容也随着人们对服装连锁企业物流业务的不断了解而日益完善,从而为服装连锁企业物流决策支持系统提供更好的支持。 

4 基于大数据背景的服装连锁企业物流决策支持系统 

服装零售业因连锁化、信息化、规模化,已成为当今社会的支柱产业。服装连锁企业物流的目标通常包括5个方面 (即5S目标): 

(1)无缺货、货损、货差等现象,费用低、准时供货、柔性供货等,实现服务目标(Service); 

(2)按用户指定的地点和时间迅速、及时地送货,实现快捷目标(Speed); 

(3)有效利用面积和空间,实现节约目标(Space saving); 

(4)以物流规模作为物流系统目标,追求规模效益,实现规模目标(Scale optimization); 

(5)正确确定库存方式、库存数量、库存结构、库存分布等,实现库存目标(Stock control)。 

相对于工业物流,服装连锁企业物流具有变价快、订单频繁、折零、退货、更换、保质期等特点,这使得服装连锁企业的物流要求更快的反应、更复杂的技术和信息支持。因此,大数据背景下的服装连锁企业物流决策支持系统是我国物流连锁企业物流决策支持系统的发展方向。 

大数据背景下,在服装连锁企业物流供应链上,作为终端用户(即消费者)的年龄、性别、对品牌的喜好、服装款式、不同款式服装的着装时间、场合、服装更换的频率等系列属性数据,无疑是整个服装连锁企业物流决策支持系统大数据的基础数据。除此之外,还包括原材料的供应与生产、面(辅)料的生产与加工、配送、废弃纺织服装的回收等其他数据。因此,大数据背景下的服装连锁企业物流决策支持系统占有更多的资料,通过数据挖掘技术,分析出物流各环节的关键点,借助该系统,管理者可以在各项业务中不断提高效益,改进工作方式与方法,提升服务水平。 

4.1 数据仓库 

大数据背景下,数据仓库中的海量信息可通过人工或者智能设备收集并随时更新,存储在相应的数据库中。与传统采样方式不同,大数据背景下的数据仓库直接采集最完整、最原始的数据(包括半结构化数据)进行存储与分析,利用已确认价值的规范性数据;为了保持资料的完整性,将那些具有潜在价值却无明确分析方法的数据存储起来。 

4.2 模型库和方法库 

模型是对特定的业务按照某个特定目标的抽象化概括,通过对服装连锁企业物流业务流程的某个节点的数据分析,对实际运行状态予以量化,通过相关算法,找出实际业务的关键点,同时对实际业务未来的状态进行预测。在大数据背景下,模型库与方法库更加协调,模型越来越具有针对性,对于不同的问题,所采用的模型也不同,服装连锁企业物流决策支持系统的核心在于海量数据的处理方法,方法库中所采用的数据挖掘方法包括决策树、遗传算法、蚁群算法、神经网络以及传统的统计分析方法等。随着技术的不断发展,人们对模型的研究进一步深入,基于大数据的服装连锁企业物流决策支持系统将更加成熟与完善。 

4.3 知识库 

在“互联网+”时代,知识通过各种方式不断累积,知识库中的陈述性、过程性知识也得到不断扩充,使得知识库中的知识得到不断完善,从而对数学模型的解释更加清晰、人机交互更加明了。基于大数据的服装连锁企业决策支持系统与传统的服装连锁企业决策支持系统相比,知识在不同层级的流通更加有序、快捷,物流各环节更加协调,促进服装连锁企业物流向有利于客户个性体验的方向发展。 

5 基于大数据背景下的服装连锁企业物流决策支持系统业务实例 

服装连锁企业物流决策支持系统主要包括库存控制管理系统、设备设施管理系统、运输管理系统、信息处理系统、日常业务管理系统等,本文以服装连锁企业物流中心的配送业务为例,介绍基于大数据背景的服装连锁企业物流决策支持系统的应用。 

5.1 配送中心装车 

在配送中心装车时,要注意以下两点: 

(1)车辆装车时要进行电子登记。通过手持式RFID设备,对装有服装的纸箱进行扫描,然后将该纸箱装进配送车辆。 

(2)装车完毕后的配送安全。为了方便配送途中的监管,将服装配送车辆统一安装电子挂锁。 

5.2 途中监管 

由于随车配有电子挂锁与手持机,配送车辆向服装连锁店送货的途中,可以随时与配送中心的业务管理平台保持联系。手持设备内置有RFID,本身具有定位与通讯功能。通过手持RFID终端与配送中心的业务管理平台的连通,配送中心可以实时掌握车辆运行途中的信息、车载服装状况,并可通过微信、视频、语音等手段与司机或送货员进行沟通,以便即时处理突发事件。 

5.3 卸货交接 

车辆抵达服装连锁店时,手持机读取连锁店的定位标签,对电子挂锁实现定点、定时解封,从而顺利打开车门,在对车上服装纸箱进行扫描后卸货,通过配送中心业务管理平台实现无纸化交接,相关信息存储在配送中心的业务管理系统中。 

6 结 语 

服装连锁企业物流决策支持系统可为仓储、配送、分拣等子系统提供决策支持和服务,该系统不仅需要进行理论研究,更重要的是要进行实践,通过实践对系统进行优化。在“互联网+”时代,研究基于大数据背景的服装连锁企业物流决策支持系统无疑具有非常重要的意义,尤其在数据挖掘技术的研究与模型库的充实上。 

参考文献 

篇3

由系统管理员管理的结构化计算机环境和只有一台或几台孤立计算机组成的计算机环境的主要区别是服务。这种只有几台孤立计算机的典型环境是家庭和那些很小的非技术性的办公室,而典型的结构化计算机环境则是由技术人员操作大量的计算机,通过共享方便的通信、优化的资源等服务来互相联结在一起。当一台家用电脑通过互联网或通过ISP 连接到因特网上, 他就是使用了ISP 或其他人提供的服务才进入网络的。

提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。只有在这几个方面都符合要求的服务才是真正的服务。

1 服务的基本问题。

创建一个稳定、可靠的服务是一个系统管理员的重要工作。在进行这项工作时系统管理员必须考虑许多基本要素,其中最重要的就是在设计和开发的各个阶段都要考虑到用户的需求。要和用户进行交流, 去发现用户对服务的要求和预期,然后把其它的要求如管理要求等列一个清单,这样的清单只能让系统管理员团队的人看到。

服务应该建立在服务器级的机器上而且机器应该放在合适的环境中,作为服务器的机器应当具备适当的可靠性。服务和服务所依赖的机器应该受到监控,一旦发生故障就发出警报或产生故障记录清单。

作为服务一部分的机器和软件应当依赖那些建立在相同或更高标准上的主机和软件,一个服务的可靠性和它所依赖的服务链中最薄弱环节的可靠性是相当的。一个服务不应该无故的去依赖那些不是服务一部分的主机。一旦服务建好并完成了测试, 就要逐渐转到用户的角度来进行进一步的测试和调试。

1.1 用户的要求。

建立一个新服务应该从用户的要求开始,用户才是你建立服务的根本原因。如果建立的服务不合乎用户的需要,那就是在浪费精力。

搜集用户的需求应该包括下面这些内容:他们想怎样使用这些新服务、需要哪些功能、喜欢哪些功能、这些服务对他们有多重要,以及对于这些服务他们需要什么级别的可用性和技术支持。如果可能的话,让用户试用一下服务的试用版本。不要让用户使用那些很麻烦或是不成功的系统和项目。尽量计算出使用这个服务的用户群有多大以及他们需要和希望获得什么样的性能,这样才能正确的计算。

1.2 操作上的要求。

对于系统管理员来说, 新服务的有些要求不是用户直接可见的。比如系统管理员要考虑到新服务的管理界面、是否可以与已有的服务协同操作,以及新服务是否能与核心服务如认证服务和目录服务等集成到一起。

从用户期望的可靠性水平以及系统管理员们对系统将来要求的可靠性的预期,系统管理员们就能建立一个用户期望的功能列表,其内容包括群集、从属设备、备份服务器或具有高可用性的硬件和操作系统。

1.3 开放的体系结构。

有时销售商使用私有协议就是为了和别的销售商达成明确的许可协议,但是会在一个销售商使用的新版本和另一个销售商使用的兼容版本之间存在明显的延迟,两个销售商所用的版本之间也会有中断,而且没有提供两个产品之间的接口。这种情况对于那些依靠它们的接口同时使用两种产品的人来说,简直是一场恶梦。

一个好的解决方法就是选择基于开放标准的协议,让双方都能选择自己的软件。这就把用户端应用程序的选择同服务器平台的选择过程分离了,用户自由的选择最符合自己需要、偏好甚至是平台的软件,系统管理员们也可以独立地选择基于他们的可靠性、规模可设定性和可管理性需要的服务器解决方案。系统管理员们可以在一些相互竞争的服务器产品中进行选择,而不必被囿于那些适合某些用户端应用程序的服务器软件和平台。

在许多情况下, 如果软件销售商支持多硬件平台,系统管理员们甚至可以独立地选择服务器硬件和软件。

我们把这叫做用户选择和服务器选择分离的能力。开放协议提供了一个公平竞争的场所,并激起销售商之间的竞争,这最终会使我们受益。

开放协议和文件格式是相当稳定的, 不会经常改动(即使改动也是向上兼容的),而且还有广泛的支持,能给你最大的产品自主选择性和最大的机会获得可靠的、兼容性好的产品

2 其它需要考虑的问题。

建立一个服务除了要求可靠、可监测、易维护支持,以及要符合所有的我们基本要求和用户的要求外,还要考虑到一些特别的事情。如果可能的话,应该让每个服务使用专门的机器,这么作可以让服务更容易得到支持和维护,也能减少忘记一些服务器机器上的小的服务的机会。在一些大公司,使用专门的机器是一条基本原则, 而在小公司,由于成本问题,一般达不到这个要求。

还有一个观念就是在建立服务时要以让服务完全冗余为目标。有些重要的服务不管在多大的公司都要求完全冗余。由于公司的规模还会增长,所有你要让所有的服务都完全冗余为目标。

2.1 使用专门的机器。

理想的情况,服务应该建立在专门的机器上。

大网站应该有能力根据服务的要求来调整到这个结构,而小网站却很难做到。每个服务都有专门的机器会使服务更可靠,当发生可靠性问题是也容易调试,发生故障的范围更小,以及容易升级和进行容量计划。

从小公司成长起来的大网站一般有一个集中管理的机器作为所有重要服务的核心,这台机器提供名字服务、认证服务、打印服务、邮件服务等等。最后,由于负荷的增长,机器不得不分开,把服务扩展到别的服务器上去。常常是在这之前,系统管理员们已经得到了资金,可以买更多的管理用的机器,但是觉得太麻烦,因为有这么多的服务依赖这机器,把它们都分开太难了。当把服务从一台机器上分开时,IP 地址的依赖最难处理了, 有些服务如名字服务的IP 地址都在用户那里都已经记得很牢固了,还有一些IP 地址被安全系统如路由器、防火墙等使用。

把一个中心主机分解到许多不同的主机上是非常困难的,建立起来的时间越长,上面的服务越多,就越难分解。使用基于服务的名字会有所帮助,但是必须整个公司都使用标准化的、统一的、始终如一的名字。

2.2 充分的冗余。

充分的冗余是指有一个或一系列复制好的服务器, 能在发生故障的时候接管主要的故障设备。冗余系统应该可以作为备份服务器连续的运行,当主服务器发生故障时能自动连上线,或者只要少量的人工干预, 就能接管提供服务的故障系统。

你选择的这类冗余是依赖于服务的。有些服务如网页服务器和计算区域,可以让自己很好的在克隆好的机器上运行。别的服务比如大数据库就不行,它们要求连接更牢固的崩溃恢复系统。你正在使用的用来提供服务的软件或许会告诉你,冗余是以一种有效的、被动的、从服务器的形式存在的,只有在主服务器发生故障并发出请求时,冗余系统才会响应。不管什么情况,冗余机制必须要确保数据同步并保持数据的完整。

如果冗余服务器连续的和主服务器同步运行,那么冗余服务器就可以用来分担正在正常运行的负荷并能提高性能。如果你使用这种方法,一定要注意不要让负荷超出性能不能接受的临界点,以防止某个服务器出现故障。在到达临界点之前要为现存系统增加更多的并行服务器。

冗余的另一个好处就是容易升级。可以进行滚动升级。每次有一台主机被断开、升级、测试然后重新开始服务。单一主机的故障不会停止整个服务,虽然可能会影响性能。如果你真的搞杂了一个升级那就关掉电源等你冷静下来再去修它。

友情链接