时间:2022-12-23 14:48:00
引言:寻求写作上的突破?我们特意为您精选了4篇大数据分析论文范文,希望这些范文能够成为您写作时的参考,帮助您的文章更加丰富和深入。
2.1大数据分析的概念大数据分析
是指数据量急剧积累迅速超出主流软件工具和人类思维处理的极限,大数据与传统数据比较起来,有四大特征:数据体量巨大(Volume)、数据类型繁多(Variety)、数据价值密度低(Value)、更新速度快时效高(Velocity)。大数据分析需要全新的数据处理理念和分析工具,洞察发现海量高速增长信息中潜藏的价值[4]。从理念上,大数据分析与传统数据分析有三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。针对大数据,既有的技术架构和分析工具已经无法满足要求,需要全新的数据分析方法和技术,这其中包括:(1)大数据分析可视化方法;(2)大数据挖掘算法;(3)预测性分析能力;(4)语义处理能力;(5)数据质量和数据管理技术。
2.2大数据分析系统的建设
根据大数据处理和分析的理念,煤矿安全大数据分析系统的建设目标包括:数据综合集成、安全知识集成、三维虚拟可视化展示、煤矿安全动态分析诊断。具体建设内容包括:(1)基于物联网/云计算技术的煤矿安全综合数据库。建设煤矿安全大数据分析诊断系统,首先要利用物联网和云计算技术实现全面综合的数据集成,将基础空间和属性数据、在线监测的实时性数据、专业业务系统的事务性数据综合集成起来,构建煤矿安全综合数据库。(2)基于专家系统的煤矿安全专家知识库。针对知识集成的目标,整理规范规程体系中的经验或者理论知识(煤矿安全规程、煤矿作业规程、三违行为知识、隐患界定知识、评估模型、设备操作规程知识、工种操作规程知识),构建煤矿安全动态分析诊断的专家知识库。(3)建设三维虚拟矿井可视化平台。针对信息和知识三维虚拟矿井可视化展示分析,主要的建设内容是基于高精度地质模型理论研究开发三维虚拟矿井平台,实现地层建模、钻孔建模、断层建模、工作面建模和巷道建模等工作。然后,基于三维虚拟矿井平台,实现数据和知识可视化、煤矿安全生产活动可视化、分析和决策过程可视化。(4)研发煤矿安全动态分析系统。针对基于专家知识库的煤矿安全生产分析决策,需要利用煤矿安全综合数据库中的基础数据、实时监测数据以及事务性数据,根据煤矿安全专家知识库进行煤矿安全生产状况评估、推理和演绎,动态分析诊断煤矿安全生产的现状与趋势、预测未来,并针对煤矿应急现象做出科学合理的响应对策。
[1]谢显忠等,基于TDD的第四代移动通信技术[M].电子工业出版社,2005.
[2]解梅,移动通信技术及发展[J].电子科技大学学报,2003,02.
[3]宋文涛、罗汉文,移动通信[M].上海交通大学出版社,1996.
[4]何林娜,数字移动通信技术[M].机械工业出版社,2004.
[5]吕昌春,李林园.移动互联网产业链平台竞争与电信运营商增值业务发展策略研究[J].邮电设计技术,2012(11):16-20.
[6]张洁.影响中国移动通信产业发展竞争力的因素分析[J].经济视角(下),2011(01):52-53.
关于移动通信论文参考文献:
[1]张洁.影响中国移动通信产业发展竞争力的因素分析[J].经济视角(下),2011(01):52-53.
[2]吕昌春,李林园.移动互联网产业链平台竞争与电信运营商增值业务发展策略研究[J].邮电设计技术,2012(11):16-20.
[3]刘文婷.以运营商为主导的移动互联网业务商业模式研究[J].中国工业经济,2012(08):66-74.
[4]冯文高.我国移动通信产业的竞争均衡分析[J].现代经济信息.2009(16)
[5]张洁.影响中国移动通信产业发展竞争力的因素分析[J].经济视角(下).2011(01)
[6]马云泽.我国移动通信产业的市场结构与规制改革[J].经济问题.2009(01)
[7]张平王卫东陶小峰《WCDMA移动通信系统》人民邮电出版社
[8]詹炳根,《工程建设监理》,中国建设工业出版社,1997
[9]谢坚勋浅谈工程监理与项目管理接轨建设监理2004(2)
关于移动通信论文参考文献:
[1]赵刚.大数据:技术与应用实践指南[M].北京:电子工业出版社,2013.
[2]漆晨犧.电信企业大数据分析、应用及管理发展策略[J].电信科学,2013(3):12-16.
[3]刘洁,王哲.基于大数据的电信运营商业务精确运营平台的构建化[J].电信科学,2015,29(3):22-26.
[4]张俊.移动通信网络中大数据处理的关键技术研究[J].电信网技术,2014(4):10-12.
[5]康波,刘胜强.基于大数据分析的互联网业务用户体验管理[J].电信科学,2013,29(3):32-35.
[6]谢华.大数据在移动通信中的应用探讨[J].科技创业家,2014(1).
[7]夏磊.探巧大数据下的智能数据分析技术[J].科技创新导报,2014(10):21.
[8]侯优优,隋化严.网络优化中的大数据应用[J].互联网天地,2014(l):34-37.
在过去的二十年里,商务智能与分析(Business intelligence and analytics,BI&A)与大数据相关的分析随着大数据的发展在工业界及学术界变得越来越重要。来自于Bloomberg商业周刊的报道(2011)显示,97%的超过1亿市值的公司使用了商务分析技术。据麦肯锡全球机构预测,到2018年,仅美国一年就会面临14到1万人的深度分析技术人才的需求,同时约有150万数据分析经理的缺口[1]。
“智能”一词自20世纪50年代被人工智能方面的研究人员提出并沿用至今。而商务智能(Business intelligence)则随着信息技术的发展在20世纪90年代被企业界和学术界熟知。自2008年大数据的一系列论文在NATURE上发表,大数据分析技术已被应用到从文本、计算机日志、传感器、社交媒体等产生的大量非结构化、体量巨大、类型繁多、价值低密度、要求快速处理的大数据。BI&A经历了BI&A1.0,BI&A2.0和BI&A3.0的演进。他们分别对应面向基于关系数据库的结构化数据、基于web的非结构化数据、基于移动及传感器的非结构化大数据。因此,BI&A3.0是面向大数据分析的新兴领域。
BI&A3.0面向大数据可能产生的巨大影响,它涵盖了电子商务及营销智能、电子政务及政治2.0、科学与技术、智慧健康、安全及公共安保等方面。涉及的技术领域包括大数据分析,例如统计学习、序列及暂时挖局、空间挖掘、过程挖掘、网络挖掘、web挖掘、基于列的数据库挖掘、内存数据库、并行数据库、云计算、Hadoop、Mapreduce,文本分析,例如静态NLP信息抽取、主题模型、问答系统、选项挖掘、情绪及影响分析等。除此之外,还包括web分析、网络分析、移动分析等大的技术分析方面。因此,BI&A3.0是未来管理科学与工程专业研究生培养的重要基础和研究热点。
BI&A3.0的发展和应用对管理科学与工程硕士研究生的培养提出了挑战。主要表现在以下几个方面,BI&A聚焦于理解、解释、战略并服务于组织。一些学科对BI&A的发展作出了贡献,例如信息管理、计算机科学、统计学、管理学和市场营销学。
然而,目前的课程体系设置相对于商务分析技术及大数据的发展来说较滞后。虽然大部分学校针对学生的研究方法及研究能力的培养开设了一些BI&A课程,例如复杂系统分析与决策、随机过程、应用统计学、矩阵分析、Matlab、现代管理分析技术等。这些课程的设置对于面向大数据的BI&A3.0的研究及应用来说尚有差距,缺乏系统性和前沿性。因此,面向BI&A3.0的研究生课程体系改革具有一定的现实意义及急迫性。
1.教学研究的内容及实践内容
围绕如何培养面向大数据及BI&A3.0数据分析及研究能力进行课程体系改革研究。借鉴国际国内针对从BI&A1.0到BI&A3.0的知识体系及技能相关的教学改革,注重管理科学与工程的专业内涵。
(1)教学研究的内容
①对国内和国际当前的面向BI&A3.0大数据分析能力培养的知识体系及技能进行梳理。
②对本校管理科学与工程专业主要的研究方向进行梳理,调研面向BI&A3.0大数据分析的具体能力和层次要求。
③结合国际国内面向BI&A3.0的知识及技能体系与本校管理科学与工程主要的研究方向,提出面向BI&A3.0的管理类研究生课程体系改革的具体方案,包括课程设置、教学方式、考核方式、教学目的与要求。
(2)实践内容
通过设计与理论相配套的课程实验、研讨与课程内容密切相关的科学问题、及时追踪研究热点,使得实践环节成为提高研究生BI&A3.0创新和研究的推动器,同时也提高学生在实践方面的兴趣和动手能力。
2.教学及实践改革的目标
(1)教学目标。通过建立面向BI&A3.0的管理类研究生课程教学体系,使得研究生掌握BI&A3.0的基本知识体系、知识网络、基本研究能力,并最终培养研究生掌握面向BI&A3.0的创新能力。
(2)实践目标。通过培养学生面向BI&A3.0的实践技能,培养研究生面向BI&A3.0的实践能力,包括文献检索能力、借助计算机的分析能力、数学建模能力、数据收集能力。
3.课题研究要解决的问题
围绕面向BI&A3.0的管理类研究生课程体系的建设,本课题将要解决如下问题:
(1)如何划定面向BI&A3.0的分析及计算机技能。面向BI&A3.0的分析及计算机技能涵盖的面十分广泛,本校管理类研究生所依附的学科方向及研究重点决定了这些技能需有选择地纳入。因此,需要解决具体纳入哪些分析及计算机技能的培养。
(2)如何结合研究方向与BI&A3.0的应用。培养面向BI&A3.0大数据分析能力的目的是将BI&A3.0大数据分析应用到具体的研究方向。物流、市场营销、工程管理、运营管理等方向的研究需要将这些领域的知识和BI&A3.0的应用结合起来才能达到培养的目的。
4.拟采取的方法
(1)借鉴国内外先进的BI&A3.0教学教改经验。对国际和国内BI&A3.0相关的教学教改文献进行分析,并参加相关的国际国内会议,与国内外同行进行交流学习。
(2)对本校管理类研究生现状及改革反馈进行调研。通过以往教学实践的总结、专家学者的讨论、课题组集体研究的方式,调研适合本课程体系服务学科专业的研究生课程教学内容、目标、方法与手段。
(3)对企业界进行调研发掘BI&A3.0实际应用能力的需求。通过对企业界进行调研,发现潜在的BI&A3.0应用方向。通过这些方向的发掘弥补课程体系设置的不足。
“大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方法,成为新发明和新服务的源泉,而更多的改变正蓄势待发……”互联网专家维克托·迈尔一舍恩伯格在《大数据时代》一书中这样描述大数据。在这个时代大数据无处不在。Gartner公司的分析师声称信息量每年正以最少59%速度在递增。IDC最新的数字宇宙(DigitalUniverse)研究估计,到2020年世界上的数据存储总额将达到35 ZB(zettabytes)(lzettabyte等于一万亿GB字节)。
信息爆炸让数据像空气那样无处不在。和朋友一起吃饭,对新上桌的美味进行拍照,上传到自己SNS账号与更多的人分享。这个过程在产生大数据;在淘宝上购物,选择中意的物品,填写送货地址,点击确定,进入付款页面,选择付款银行付款,这个过程也在产生大数据。工厂机器的GPS数据、维修记录等也是大数据,产品销售记录、客户行为习惯资料等也是大数据;矿山、气象等资料也是大数据;平安城市计划中的物联网更是大数据。
大数据来自无所不在的IT设施,人人成为了数据制造者:短信、微博、照片、录像、可穿戴设备产生的信息都是数据;数据来自无数自动化传感器、自动记录设施,生产监测、环境监测、交通监测、安防监测等等;来自自动流程记录:刷卡机、收款机、ETC、互联网点击、电话拨号等设施以及各种办事流程登记等。大量自动或人工产生的数据通过互联网聚集到特定地点,如电信运营商、互联网运营商、政府、银行、商场、企业、交通枢纽等机构,形成了大数据之海。总之,你信或不信,大数据就在我们身边。
数据分析才是关键所在
拥有大数据并不是我们的目的,我们的目的是从这些数据中了解真实信息,使数据能够真正在管理、决策、监测、评价,以及人们的生活中产生价值。大数据分析上可影响国家政治,没有大数据分析奥巴马就不会赢得美国总统大选;下可改变我们的日常生活,就连追女孩子都可以使用大数据分析的方法来制定策略。
“面对海量数据,谁能更好地处理、分析数据,谁就能真正抢得大数据时代的先机。”这几乎是业界所有人的共识。对海量数据的分析已经成为了企业、政府非常重要且迫切的需求。在数据分析方面的能力将决定企业市场份额的得失、政府决策能力的高低。大数据分析让IT有机会增加价值,增进业务部门间的关系,增加收入和提高利润。
大数据分析对医疗行业的发展非常重要。医疗行业早就遇到了海量数据和非结构化数据的挑战,大数据分析技术的发展让这些数据的价值得以充分发挥,其中,基因组学是大数据在医疗行业的经典应用。以云计算为基础的大数据分析技术不仅加速了基因序列分析的速度,也让其成本不断减低。
经济的快速发展促使城市机动车辆大幅度增加,传统的交通系统已难以满足当前复杂的交通需求,交通堵塞成为城市的通病。随着交通信息化与交通规划的融合程度越来越高,大数据发挥的功能和信息获取渠道都将更加广泛。中国城市交通研究中心吴洪洋博士表示,公交刷卡数据挖掘、出租车轨迹挖掘、手机数据挖掘、社会化网络数据挖掘将成为未来大数据应用的主要方向。
大数据分析技术加速制造业从传统的以生产为核心向客户需求为核心转型。在大数据分析技术的驱动下,一些制造业的企业开始转向与订单用户或者最终消费客户群进行直接的互动。通过更透明、更可用的数据,企业可以释放更多蕴含在数据中的价值。实时、有效的数据可以更好的帮助企业提高产品品质、降低生产成本。企业领导者也可根据真实可靠的数据制订正确战略经营决策,实现企业效益最大化。
破解密码——Hadoop
数据的非结构化已经成为企业的重大挑战。由于这些数据的结构问题及大数据类型的复杂关联,导致无法应用现有的传统技巧进行大数据分析。这为企业带来了新的任务,需要开发一套全新方法,不仅能够处理传统数据,而且可以便捷地分析和应用这些新兴数据。Hadoop恰恰可以满足大数据分析这种需求。
Hadoop已成为公认的新一代大数据处理平台。Hadoop是一个能够对大量数据进行分布式处理的软件框架。它以谷歌的MapReduce及谷歌文件系统技术研究论文为基础。Hadoop充当着众多“大数据”分析工具的底层技术,旨在对由web访问、服务器日志及其它各类数据流所产生的海量数据进行筛选,在分布式环境下提供海量数据的处理能力。
Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。它以计算元素和存储会失败为前提,维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop以并行的方式工作,通过并行处理加快处理速度,能够处理PB级数据。此外,Hadoop依赖于社区服务器,所以它又具有低成本的优点。
目前,几乎所有的主流厂商都提供了基于Hadoop的大数据分析工具。如IBM、EMc、英特尔、甲骨文等都纷纷投入到Hadoop怀抱。
IBM很早就开始在实验室尝试使用Hadoop,但是,直到2012年才推出了首款大数据分析产品:IBM InFoSphereBigInsights。该产品既可以分析数据库中的传统结构化数据,也可以分析例如文本、视频、音频、图像、社交媒体、点击流、日志文件、天气数据等非结构化数据,帮助决策者根据数据迅速采取行动。
EMC基于Hadodp的发行版PivotalHDs可以让数据团队和分析团队在该平台上无缝共享信息、协作分析。其最大的优势是能够与Greenplum数据库进行整合,而不仅仅是在Hadoop中运行SQL这么简单。