时间:2022-03-30 14:26:28
引言:寻求写作上的突破?我们特意为您精选了12篇大数据平台解决方案范文,希望这些范文能够成为您写作时的参考,帮助您的文章更加丰富和深入。
1 引言
电信数据平台承载着电信网中各类用户数据的收集过滤,存储聚合,分析挖掘等功能,为企业对于用户的各种决策提供一定数据支撑。同时,电信数据平台也通过收集相关的信令数据,监控电信网的实际运行情况,是企业的核心系统之一。
传统电信数据平台由数据仓库和关系型数据库构成。数据采集端收集各种信息,如用户状态,用户位置,终端日志,网络状态等一系列异构的数据信息,并统一汇总到数据仓库。数据仓库中存储有全量信息,通过运行各种ETL程序,将庞大的数据仓库的信息分门别类转移到例如Oracle,DB2,Sybase等各类关系型数据库的各个表中。数据分析人员一般通过类似于商业智能的平台,通过撰写SQL语句,提取关系型数据库中的有用数据,来简单的分析各类问题。传统的电信数据平台,具有集中式,造价昂贵,部署和运维复杂等特点。在相当长一段时期内,由于单位时间生成的数据规模没有显著增加,没有到达数据库的使用瓶颈,传统的电信数据平台可以较好的应对各种需求。但随着单位时间内,采集端生成的数据飞速膨胀,每天生成数十亿乃至上百亿的各类异构数据需要存储和分析,传统的电信数据平台逐渐暴露了其不足之处。
传统的电信数据平台组织方案有以下两个方面的不足需要改进。首先是对于海量数据存储和查询较为困难。中心型的关系型数据库难以承受较高的用户查询负载,并且关系型数据库的成本开销较为昂贵,并不支持简单的线性扩展,若采用数据库分库和分表等辅助手段,则整个数据平台的复杂性有较大提升并且难以维护,所以传统的电信数据平台不能应对海量数据的存储和查询。第二点不足是实时性不足。一般而言,数据在数据仓库构建就需要很长的数据,由数据仓库经ETL程序归并到各类数据库同样耗时巨大且有很多冗余的处理,同时批处理系统分析数据的延时在小时级别以上,随着越来越多数据采集端的部署,数据产生速度越来越快,规模越来越大,实时对数据进行分析,并把结果进行可视化,对于实时监控的需求越来越重要,传统的电信数据平台延时较大,不能够适应数据实时性的要求。
针对以上分析的不足,本文提出一种基于Lambda架构的电信数据平台解决方案。Lambda架构,是Nathan Marz提出的一个实时大数据处理框架,具备高吞吐量和低延时的特点。本文结合Lambda架构,阐述了新型电信数据平台的基本构成和各层的职责,同时也具体介绍了各层使用的互联网开源大数据项目,描述了整个工作流程和数据流向,体现了新型电信数据平台具备的高吞吐量,低延时,高容错性的特点,解决了传统电信数据平台难以应对海量数据存储和查询,以及不能实时分析的不足。为电信网各数据平台在新需求下的转型提供了一个良好的尝试。
2 相关技术介绍
2.1 Lambda架构
Lambda架构是由Nathan Marz提出的一种大数据处理架构,结合了批处理计算和实时计算的特点,融合了不可变性,读写分离和复杂性隔离等一系列架构原则,具备高容错、低延时和可扩展等特点。一般分为批处理层,服务层和速度层,如图1所示。
批处理层对全量数据进行迭代计算,全量数据可以认为是一个不可变的持续增长的数据集。批处理层对于全量数据进行批处理计算,得到批处理视图,存储到服务层。服务层可以根据查询条件,对批处理视图的结果进行再次合并等处理。批处理层通过定时的重复批处理视图的更新,可以保证数据的高容错性,但是计算时间一般较长,延时较大,适用于全局规模的分析和预计算。批处理层一般由大数据批处理框架来实现。
服务层的任务是对于用户查询提供支持。它根据查询条件,随机访问视图,组合批处理视图和实时视图的结果,最终反馈给用户。服务层一般由NoSql数据库实现,但是为了降低复杂性,不允许对视图结果进行随机写操作,仅提供对于批处理视图和实时视图的加载和随机读取操作。
速度层负责实时计算增量数据。由于批处理计算比较耗时,随时而来的实时增量数据等不到有效计算,通过引入速度层解决这一问题。速度层只处理最近的数据,采用快速,增量的算法,通过实时计算,维护较小规模的实时视图,是对批处理视图更新是较高延时的一种补充。同时,由于全量数据计算的准确性,允许批处理视图最终覆盖实时视图。速度层一般由消息系统随时拉取新增的数据,并通过实时流式计算框架完成实时视图的生成。
2.2 Hadoop
Hadoop是一个处理海量数据的分布式系统基础架构。Hadoop 2.0架构由HDFS,YARN和MapReduce构成。HDFS是Hadoop中的分布式文件系统,它将海量数据存储于DataNode中,由NameNode维护各DataNode的元数据信息。YARN是Hadoop中的资源管理系统,监控每个节点,并协调MapReduce任务的分配。MapReduce是Hadoop中分布式数据处理框架,它将数据处理分为两个阶段,即Map和Reduce两个阶段,提供批处理并行计算的框架。对于Map阶段,对输入数据应用Map Function,执行结果为Key和Value的元组,相同Key的元组通过执行Reduce Function进行合并,最终生成结果。Hadoop有很丰富的其他组件支持各种需求的分析,如Pig,Hive,Impala等,这些高级工具可以自动将高级原语翻译为MapReduce任务执行,有更好的使用体验。本文,Hadoop作为Lambda架构中批处理层实现,全量数据存储在HDFS上,应用MapReduce计算,生成批处理视图。
3 结束语
本文结合Nathan Marz提出的Lambda架构和电信数据的特点,提出了基于Lambda架构的电信数据平台解决方案。本方案既可以通过全量数据的定期迭代计算,离线分析电信网收集的相关数据,生成批量视图,同时也可以通过流式计算框架,对增量数据进行实时分析,生成增量视图。同时,将批量视图和增量视图聚合,一起组合为查询服务,使得平台既有实时系统的吞吐量,有具备离线系统的完备性。
参考文I
[1]Marz N,Warren J.Big Data:Principles and best practices of scalable realtime data systems[M].Manning,2015.
[2]Chaudhri A B."Next Gen Hadoop:Gather around the campfire and I will tell you a good YARN"[J].
中桥咨询的一份大数据调查报告显示,大部分中国用户还处于“系统整合”阶段,需要对来自企业内外部的大量数据进行收集和整理。
“为什么现在用户对大数据解决方案求贤若渴?”高国辉自问自答,“因为传统的技术和解决方案已经无法解决用户当前遇到的诸多应用难题,比如实时交易数据的处理和分析等。金融行业提出‘小核心、大’,电信运营商积极构建双活的数据中心都是从各自的实际需求出发,以应对大数据带来的新挑战。美国的某电信运营商就采用戴尔的SharePlex技术构建了双活的数据中心。”
其实,无论企业的数据量有多大,数据是结构化还是非结构化,戴尔都可以提供具有针对性的解决方案。Spansion是一家知名的制造企业,它希望通过升级现有的数据库来更好地支持其关键统计流程,从而达到提升业绩的目标。为此,它采用了戴尔的SharePlex技术对原有的Oracle数据库进行升级,不仅安全地完成了数据库的迁移,而且节省了大量资金。
“诸如此类的例子还有许多。”高国辉介绍说,“不同的用户,在大数据方面的需求不同,而且对价格的敏感度不同,这就决定了用户在选择大数据解决方案时有其‘个性化’的需求。比如,许多互联网企业十分热衷采用基于Hadoop的解决方案,就是考虑到经济性的问题。戴尔的优势就在于,可以为不同的用户提供适合其需求的大数据解决方案。”
戴尔软件事业部已成为戴尔企业级端到端解决方案的核心组成部分。具体到软件解决方案本身,戴尔也强调端到端,比如戴尔软件可以提供从移动办公管理到信息数据管理再到数据中心和云计算的全面软件解决方案。其中,信息数据管理软件就与大数据直接相关,它包括数据库管理、应用系统及数据集成,以及大数据分析等产品。
全面的软件解决方案
像往年一样,IBM每年在这个时候召开IOD大会。今年是自2006年以来,IBM IM(信息管理)部门召开的第七届大会。此次IBM大会为期三天,主题分别是“Think Big”、“Big Data”和“Big Future”,足见IBM对大数据的重视程度。同去年大会相比,今年IBM更注重技术带来的商业机会,并一口气推出数个解决方案,均与数据分析和管理、内容管理相关。除此还有PureData一体机,这是IBM落实大数据战略的又一个解决方案。
大数据正在带来大商机。
搭建大数据平台
大数据表现在何处?从会场略见一二。美国拉斯维加斯曼德拉贝酒店的体育中心座无虚席,1.2万参与者纷纷打开手机、平板电脑或者笔记本电脑,数秒之内,若干字节通过网络传到数据中心,与世界分享IOD大会。当然,这些数据在大数据时代微不足道。大数据时代真正的数据来自于企业商业环境、社交网络。
“相比较移动终端、云计算、BPM和信息安全,大数据分析更能驱动企业创新和业务增长。”IBM软件集团信息管理部门总经理 Arvind Krishna认为,大数据带来挑战也带来商机,从IT所占企业成本比重即可看出。在2003年,IT 仅仅占到企业23%的经营和管理成本;而到2013年,这个成本将上升到68%,对此,企业应该善用IT,将成本中心转为利润中心,将大数据转为商业机会。
在大会中,IBM推出了全新数字营销系统和大数据软件,其目的是为企业和机构提供分析和决策能力,用以应对企业当前面临的大数据挑战——也就是说,面对移动、社会和数字网络生成的巨量数据流,企业如何评估这些数据、如何获取更加智慧的决策,都需要重新考虑。
作为IBM大数据平台的组成部分,此次推出的PureData系列新品能在几个小时内部署完成,并在几亚秒的反应时间内分析PB量级的行业和社交媒体数据,可持续分析运行中的地理空间、金融服务、电信等数据。
PureData是IBM pure家族的后续产品,可以看做解决方案一体机,共有三种类型,分别是交易型、分析型和操作分析型。这三种机型各有特点,交易型只读不写,会在大量数据中找到关键性的信息,为客户服务;分析型立足在快速分析,注重高性能计算能力;而操作分析型则是两者的混合,关注PB级别的数据。
IBM直言不讳地将其和友商的一体机对比:PureData的速度更快,操作更为简单。更为重要的是,扩展性极强,内置了IBM合作伙伴的多种解决方案和软件集成系统——无论是关键性业务还是非关键性业务。而这种扩展性是那些封闭性的一体机所不能比拟的。“PureData要做企业iOS平台和应用商店,让用户根据需要下载软件。”Pure系列的研发团队如此说。
此次大会中,IBM明确了大数据平台架构。架构分为四个部分,最底层是大数据的基础架构,其上是大数据平台,然后是信息的分析和管理软件,最后是各个行业的解决方案,包括金融、电信、政府等行业。如此一来,大数据的存储、分析和管理,以及行业属性等一一落地,真正做到“有方案可依,有数据可查。”
重在商业机会
大数据归根结底是对数据的分析和管理,从中挖掘商业机会。由于数据繁多,分析和管理也越来越精细化,所以,IBM了一系列解决方案,重要的有以下三种。
首先是云解决方案。IBM将以云的方式把分析能力带给各个行业。但在行业中,企业对公有云和私有云历来有争论,在大数据时代更是如此。IBM认为,两者的模式完全不同。私有云更适合大企业,将大数据的管理和分析放在一个平台之中。而在公有云方面,IBM将会根据不同行业的情况,为各个行业建立公有云。“企业不用花费更多费用,直接利用基础设施展开云计算,私有云更有利于它们展开大数据的分析和管理。”IBM Netezza兼大数据平台总经理兼副总裁Brad Terrell说,对中小企业来说,IBM提供类似交钥匙工程,给中小企业提供强大的工具,方便中小企业利用大数据,从中发现商机。
其次是DAA(数字营销系统)解决方案,这等于是Netezza加客户应用的解决方案,不过这个一体机更是在硬件、软件和计算能力上调优,速度更快。
“DAA是一种创新,帮助企业创造价值、开拓市场,而不仅是不同产品的组合。”Brad Terrell说,从DAA角度看,可以在用户原有投资的基础上升级,而不必重新更新,从而保护了用户投资。
创新无止境
HDS是一家典型的技术型厂商,一贯奉行“少说多做”的原则,所以人们很少听说或看见HDS在跟风炒作某个新概念。闪存、软件定义存储、云计算等,HDS都不是第一个推出相关产品或解决方案的。但是,一旦产品后,HDS就一定能保证这些产品是具有HDS特色的、成熟且可以大规模商用的,能够给企业客户带来实实在在的价值。
在存储虚拟化技术领域,HDS基于存储控制器的虚拟化技术在业界一枝独秀,尽管当时基于存储网络的虚拟化技术风光正劲,但HDS始终“我行我素”。最终结果表明,HDS的存储虚拟化技术是过硬的,其存储虚拟化产品一直保持着很高的用户认可度。在很多用户的印象中,HDS一直是一家专业的存储厂商。
但是进入云计算时代,一向比较谨慎、低调的HDS开始变得活跃起来。从技术和产品的角度看,HDS很快便采纳了“融合”的理念,推出了业界影响力可与其经典的存储产品相媲美的统一计算平台。如今,在亚太地区,HDS统一计算平台已经成了最受企业客户欢迎的解决方案。
多在技术上下功夫,很少谈及理念的HDS如今也开始热衷于谈论新的概念,并陆续抛出了与云计算、软件定义等最新趋势相关的战略、技术框架和蓝图。许多人能够脱口而出的HDS“三朵云”战略――基础架构云、内容云、信息云,成了HDS云计算的行动纲领。HDS的新产品研发和市场推广策略都是围绕着“三朵云”展开的。
云计算是基础架构,是工具,它的价值在于可以更好地支持行业客户的应用。在以大数据、物联网、智慧城市等为代表的新一波应用浪潮兴起时,云计算开始慢慢走向后台,成为推动大数据、物联网、智慧城市等应用发展的幕后的那只手。云计算技术与大数据、物联网、智慧城市等应用之间的互相渗透、融合将成为IT市场发展的主旋律。
HDS全球解决方案、社会化创新营销副总裁Ravi Chalaka表示:“以前,人们都知道HDS是一家存储公司。但是今天,HDS的技术和解决方案已经跨越了多个市场和应用领域。HDS已经从一家专注于存储的厂商演变为提供融合性解决方案的厂商,产品包含服务器、存储、网络、嵌入式软件等。近几年,HDS一直在大力发展自己的软件,并取得了突破性的成果。HDS的软件解决方案主要包括虚拟化软件、管理软件和应用软件等。”
今天的HDS已经不再是人们印象中那个专注于存储的HDS了。特别是经过过去几年云计算、大数据的洗礼,HDS已经有了新的定位,制定了新的战略。
HDS的变化主要表现在以下几方面。第一,HDS最直接的竞争对手已经不再是EMC、IBM这样的存储厂商,而是像通用电气公司、西门子、Oracle这样在社会化创新领域有很大投入的企业。第二,HDS进一步明确了自己的目标市场,就是大中型企业客户。目前,HDS在全球拥有1.4万个客户。在“财富100强”企业中,81%是HDS的客户。第三,HDS公司内部软件和硬件的收入比重也发生了很大变化。最新的统计数据显示,HDS业务收入的54%来自于软件和服务,而三年前这一比例只有25%。在过去4年中,HDS进行了大大小小9次收购,被收购的厂商大部分是做软件、服务或大数据解决方案的。从收入比例来看,HDS不再是一家单纯的提供存储硬件的厂商,而是正慢慢转型为一家解决方案提供商。
为了配合解决方案的需要,HDS越来越重视与生态系统中的合作伙伴的合作,特别是与增值分销商、系统集成商的合作。通过这些合作伙伴,HDS可以更好地为企业级客户提供服务。
Pentaho是敲门砖
以前,HDS也能为大数据提供支持,但仅限于硬件和存储架构。以收购数据集成、可视化和分析软件厂商Pentaho为标志,HDS真正融入了大数据领域,并打开了通往物联网市场的大门。
在今年4月举行的HDS Connect 2015大会上,HDS对Pentaho的收购成了谈论最多的话题之一。当时,由于HDS还没有完成对Pentaho的收购,Pentaho这样一个很可能决定HDS未来大数据策略走向的产品是继续保持其独立性,还是完全融入HDS原有的产品中成了人们关注的焦点。
6月,尘埃落定,HDS正式完成了对Pentaho的收购。Pentaho成为HDS公司旗下一员,但原品牌名称保持不变。Pentaho平台除了继续独立提供服务以外,也会与HDS的其他相关分析软件结合,从而进一步扩展HDS的大数据解决方案。
以前,HDS的大数据解决方案主要集中在基础架构层面,为大数据分析提供平台支撑。有了Pentaho的分析软件以后,HDS可以深入大数据分析的核心,也更贴近客户的应用,可以把大数据分析的主动权尽量掌握在自己手中。
还记得HDS著名的“三朵云”吗?在HDS公布的大数据愿景中,基础架构云、内容云和信息云仍起到了核心的支撑作用,但也有了细微的变化,变成了相对应的软件定义基础架构、内容管理云架构和信息智能云。在这三层云架构之上是HDS通用的高端数据分析和访问平台。三层云架构与数据分析与访问平台合在一起,构成了HDS社会化创新的基石。
HDS倡导的社会化创新与物联网市场是遥相呼应的。在社会化创新方面,HDS选定了六大行业作为突破口,包括电信、医疗、商业分析、公共安全、石油和天然气、汽车。“物联网是下一轮技术革新的重点。”Ravi Chalaka分析说,“一台大型机可以支持数百个客户,一台小型机可以支持数千个客户,而在物联网时代,数以十亿计的设备被连接在一起,每个设备,甚至每双鞋都在产生数据。这就是物联网的能量。在未来的20~30年中,大部分的数据分析和计算都会围绕着由物联网产生的数据和信息进行。HDS关注的只是物联网中能够产生价值的那部分数据。只有通过对这些有价值的数据和信息进行分析,才能产生洞见,才能让整个社会变得更加健康、安全、美好。HDS希望更快速地交付能够达到上述目标的物联网解决方案。”
确立主导地位
2012年,在美国旧金山召开的秋季英特尔信息技术峰会(IDF)上,柏安娜接受了本刊的独家专访,这是她近期首次对中国媒体就英特尔的大数据战略进行详细的解读。她透露了自己的目标:五年内英特尔数据中心的相关业务将会实现倍增,2016年时达到200亿美元,而这一高速增长的乐观期望,正是来自于云服务商提供的大数据业务。
移动设备爆炸带来变革机会
云计算会吸引更多人上网,接入更多设备,从而产生更多海量数据——这个即将出现的循环将带来巨大的机会。
《数字商业时代》:云计算的出现让全世界所有信息和通信技术覆盖的地方,都试图通过技术来生成一个数字化的投影。这种更彻底的数字化浪潮将为商业和经济带来怎样的影响?
柏安娜:云计算从提出到取得飞速发展是最近五年的事,它在面向消费者和企业的相关服务及应用的数量都在快速增加。云计算模式很有吸引力,它可以在低运营和低拥有成本的基础上进行大规模的扩展,而且它具有按需提供服务的能力,因为它的基础设施是共享的。可以看到,中国和美国的云建设都在飞速发展。这就像一个虚拟的循环,随着越来越多的人上网——目前有23亿人上网,他们会购买更多设备。这些设备与数据中心连接,需要建设云基础设施来支持这些设备。这会推动新服务和解决方案的创新,从而吸引更多人上网。这些推动了云计算的发展,并推动相关服务的发展。在这个令人惊叹的循环中,随之带来的是我们从未想过的新式服务和解决方案。就像你所说的,我们现在真正处于数字创新时代,新服务在线上不停地涌现,因为我们能够在云中进行新功能的快速部署。
《数字商业时代》:与这种数字化浪潮最为匹配的技术,似乎就是大数据分析技术,现在和未来一段时间内,有哪些因大数据技术而生的商业模式值得人们关注?
柏安娜:一直有很多企业数据,但从来没有分析和利用这些数据的高效方式。这种情况下,数据就没有发挥作用。现在围绕大数据有很多行业创新。一个是计算成本继续增加,例如横向扩展存储等。一个重大成本是这些数据的存储成本,传统存储方式太过昂贵。因此,你看到存储创新,基于英特尔平台的横向扩展存储。然后是围绕开源数据分析解决方案的大量创新。Hadoop是个非常好的开源框架,让你能够提取所有这些数据,高效地存储并实时分析。计算存储平台和分析解决方案相结合,让企业和消费者都能看到重大数据。有个很好的例子,中国政府要求电信运营商为消费者提供90天的交易记录,让消费者能够上网了解过去90天的所有消费情况,这是一个重大的大数据问题,涉及的数据量也非常巨大。我们与电信运营商合作,利用Hadoop向他们提供一个稳定、优化的Hadoop平台以分析和报告这些信息,从而满足政府的监管要求。我们目前是Hadoop框架的分销商,我们现在所做的是以前从未做过的事情。
数据就是价值
大数据时代,IT将不再是成本,而成为价值。
《数字商业时代》:有迹象表明在云计算与数据的时代它将开始主导企业业务的发展甚至是变成一个核心业务,简而言之就是变成企业的盈利中心,你对这一趋势有何看法?
打造一站式解决方案
随着大数据技术研究和应用的迅速发展,美国奥巴马政府意识到大数据技术的重要性,将其视为“未来的新石油”,作为战略性技术大力推动其发展。3月29日,奥巴马政府在白宫网站了《大数据研究和发展倡议》,旨在提升充分利用大量复杂数据集合获取知识和洞见的能力,并将为此投入两亿美元以上资金。
我国的学术界对大数据的关注也越来越密切。作为一个组成部分,大数据和数据库技术一样,关乎国家的信息安全。国产数据库专家、人大金仓首席科学家王珊教授指出,在大数据应用环境下,若国产数据库不能满足用户在数据管理、数据分析、数据挖掘等方面的需求,用户则只能选择国外厂商的产品,这对国家信息安全将构成重大隐患。
这个问题已经引起了我国数据库厂商的关注。作为我国本土数据库厂商的代表,人大金仓希望从单一的数据库产品提供商向数据整体解决方案供应商转型。
人大金仓总裁任永杰表示:“在大数据时代,用户的需求已不仅仅局限于数据存储,而是向数据管理、分析、展现、挖掘等多元化方向发展。我们计划用3-5年的时间,将人大金仓打造成为国产大数据中心一站式解决方案提供商。”
收购思迈特
任永杰透露,几年前人大金仓就已经在布局相应的解决方案。
记者从会上了解到,作为人大金仓以数据为核心的整体方案提供商发展战略的核心产品,人大金仓数据库产品Kingbase ES V7在刚刚结束的第十届中国国际软件和信息服务交易会上以突出的性能、高安全性、支持云计算、能良好应对企业海量数据管理面临的全新挑战的能力荣获最具竞争力产品奖。
亨通之所以能在本届展会上在多个领域推出一批新产品,是因为其多元化、全产业链的发展思路。
近年来,亨通立足光通信主业、突破产业关键核心技术,不断完善“光棒-光纤-光缆-光器件-光网络”的光纤通信全产业链。与此同时,亨通瞄准产业尖端前沿,不断延伸产业链,调整结构,转型升级,积极拓展互联网+发展新空间,布局量子通信产业,进入宽带接入网、智慧社区、通信工程的建设运营,并构建大数据应用及网络安全等业务体系,“形成‘产品+平台+服务’的综合服务模式。”亨通光电总经理尹纪成表示。
布局网络安全
网络安全是当下互联网领域最突出的问题,受到人们的广泛关注,也是本届通信展上一项重要的展示内容。而在这一背景下,亨通适时推出了优网科技大数据、安全、通信软件解决方案和量子保密通信行业级解决方案这两套保障网络信息安全的解决方案。
据了解,优网科技大数据、安全、通信软件解决方案包括用于通信网络维护的综合性能监控解决方案、重点场景保障解决方案、客服支撑解决方案,用于网络安全领域的信息安全态势感知解决方案、网络安全态势感知解决方案、大数据云防护解决方案、云安全防护解决方案及运营,用于大数据运营的大数据平台解决方案、互联网综合服务平台解决方案等一系列的维护、安全、大数据解决方案,为通信、互联网等数据运营提供全方位的支撑。
今年8月份,亨通光电与安徽问天量子科技股份有限公司共同投资设立江苏亨通问天量子信息研究院有限公司,双方强强联合、优势互补,积极布局量子通信产业,加快启动量子网络建设,并在本届展会上推出了政务网解决方案、电力调度保密通信解决方案、数据中心信息安全解决方案等一系列量子保密通信解决方案,为通信及互联网的信息安全保驾护航。
聚焦高铁通信
国内高铁建设正加快推进,乘客对于乘坐高铁时手机上网和通话的需求量逐渐增加,因此运营商在高铁沿线的基站建设方面将进一步加大投资力度。
据了解,高铁沿线无线信号覆盖主要依靠沿线的通信基站,为高铁列车提供无线信号。由于高铁列车的运行速度较快,导致基站的密集程度高,投资费用较高。同时,在大部分偏远地区,高铁沿线基站仅用于列车信号覆盖,功能单一,并且用户量少,运营商的投资收益率低,资金回收周期长。
针对现有情况,亨通推出高铁无线覆盖解决方案,为客户提供建设效率高、投资费用低、运维便捷的产品和方案。据介绍,该方案采用铜合金导体作为主要供电电缆,可选配1-144芯光纤,能够同时为高铁沿线基站提供电力和通信接入服务。铜合金导体相比传统铜芯电缆产品,产品施工难度低,相同重量长度更长,抗强风能力好,同时由于导体采用铜合金导体,无法回收利用,具有防盗效果。高铁无线覆盖解决方案采用100V-600V可变直流电远程集中供电,通过铁路信源站取电后,能够双向辐射,最远可满足8个基站的供电需求。因此减少了用户的取电费用和协调难度。在基站端仅需要配置对应的终端设备即可完成快速建站,节约用户建站时间,降低客户无形建设成本。
目前,亨通的高铁无线覆盖解决方案已经在兰新线铁路中大范围使用,为客户提供了更优质的产品和解决方案。
深耕海洋业务
海洋板块是亨通近两年颇为重视的业务板块,同时也是今年上半年营业收入增幅最大的业务之一。据亨通2016年上半年报告,亨通海洋电力通信产品营收2.43亿元,同比增长249.12%。
在本届通信展上,亨通重点推出了海底观测系统以及江河湖泊水质监测系统解决方案。
行业、能力、人才
于志伟认为,目前中国的大数据应用还处于起步阶段,而且由于行业需求、区域和人才储备等情况的差异,造成了大数据应用水平参差不齐的现象。在某些行业,用户对大数据的需求是十分迫切的,但是相当多的用户仍纠结于数据量“大”这个问题,还没有考虑结构化、半结构化和非结构化等不同类型的数据应该如何处理。
国外的大数据应用水平已经达到很高的程度。举例来说,在美国,一个区域内的所有医院的信息都会被搜集起来用于分析,据此可预测某种疾病的死亡率。“国外的大数据应用已经走入行业,可以挖掘出行业中真正有价值的东西。虽然国内的大数据应用还停留在初始阶段,但在某些行业,比如互联网,其大数据应用的复杂程度比国外更甚,发展水平也较高。”于志伟向记者表示。
大数据的应用要经历一个过程,不同的行业对大数据应用的需求是不同的。于志伟表示,企业在实施大数据应用时应注意以下几个问题:第一,注重大数据的行业应用价值;第二,企业要不断提升自身的能力去获得想要的信息;第三,大数据人才非常重要。“目前,我国大数据行业面临着人才严重匮乏的局面,从数据模型专家到通晓行业应用的复合型大数据人才都十分短缺,这会影响大数据应用的发展速度。”于志伟表示。
HAVEn是一种方向
今天,产品集成并不是难事,那么HAVEn是不是简单地将相关产品攒到了一起呢?于志伟澄清说,从HAVEn本身的标准架构来看,H代表Hadoop,表明HAVEn是一种分布式的架构,能够支持各种类型的数据,而且存储成本非常低廉;A代表Autonomy,表明HAVEn可以高效地处理非结构化信息,特别是机器语言;V代表Vertica,表明HAVEn可以实时处理和分析大量信息;E代表Enterprise Security,主要针对半结构化数据的处理;n代表的是各种在大数据平台上开发的应用。
HAVEn是一个平台,它可以处理所有类型的信息,而且能做到实时分析,同时具有安全性。那么,HAVEn能不能代表未来大数据方案的发展方向?于志伟并没有正面回答记者的问题,而是举了一个例子,全球最大的社交媒体公司,之前采用Hadoop架构对信息进行处理。但是在半年前,它们采购了Vertica。很多人认为,Hadoop代表了大数据主流的发展方向,那么这家企业为什么会转而选择Vertica呢?最主要的原因是,Vertica可以实现实时分析。对于以广告收入为主要来源的这家企业来说,实时推送精准的广告是至关重要的,而Vertica可以实现。这家企业用Hadoop处理非实时的数据业务,而用Vertica进行实时的业务分析。虽然相比Hadoop,Vertica的采购价格略贵,但这家企业还是一次性采购了20PB。还有一家美国的知名电信公司,一次性采购了25PB的 Vertica解决方案,用于4G业务。
“我们不去争论HAVEn是不是业界最先进的产品,但是综合上述这些已经使用了HAVEn的代表性企业的实践,HAVEn代表了一种发展方向。”于志伟分析说,“Hadoop将来会不会更全面,也能实时处理信息?有这种可能性,但需要时间。三年或五年以后,什么都可能发生,一种新技术甚至会消失。事实证明,我们的大数据平台能够解决用户的问题,而且很多用户都在使用。”
在中国,也有用户在使用HAVEn,比如一个运营商使用HAVEn中的Vertica,分析用户的上网行为,每天分析的记录达到几十亿条。以前,这样的分析工作很难在一天之内完成,而使用Vertica,分析速度提高了60倍。另外,国内某知名能源公司采用HAVEn中的Autonomy,支持其信息共享平台。
于志伟认为,HAVEn还只是一个大数据平台,而用户购买的是应用。因此从这个角度说,惠普提供的解决方案还不够全面。HAVEn中为什么会有一个“n”,就是表明惠普要在大数据领域开发更多的应用。惠普与全球最大的几家咨询公司合作,并在亚太和中国市场上寻找类似的合作伙伴。“行业解决方案是有区域性特征的,不可能直接照搬国外的。在一些垂直细分领域,我们一方面自己开发,另一方面也和合作伙伴共同开发解决方案。”于志伟补充说,“我们与政府合办的IT培训基地也把大数据当作一个重点。中国极缺大数据人才,我们从现在开始就要培养。这些人才今后可以为我们的合作伙伴所用,有利于我们共同构建一个良好的大数据生态体系。”
树立行业样板
记者在采访很多用户时,他们都表示已经认识到了大数据、云计算的重要性和可能给企业带来的收益。但是认识与接受是两回事,目前真正将大数据、云计算用于业务并取得显著经济利益的用户毕竟是少数。大数据是当前用户最迫切需要的、关系企业成败的技术,还是只是起到了锦上添花的作用?
于志伟对于大数据的前景十分乐观:“目前在客户中,真正使用大数据的比例可能低于5%,但即使是这5%已经是巨大的客户量,而且这5%的企业都是超大型的企业和最需要大数据的企业。惠普一定是先与这些企业合作,树立大数据的应用标杆,然后再引导更多的企业加入。惠普目前在做的人才教育和培养工作,也是为了更好地普及大数据应用。我们不确定大数据市场何时会井喷,但我们会一直持续地给用户和市场更多方案、经验和信心。”
大数据的一个典型特征就是实时处理和分析,能够实现实时处理的解决方案价格相对昂贵,而客户往往追求的是高性比的解决方案。那么,价格会不会是阻碍大数据普及的一个因素呢?Vertica是实时分析工具的一个代表,它的价格是普通企业用户能接受的吗?“相对于Hadoop大数据方案来说,Vertica的成本高相对高一些。”于志伟并不讳言,“Vertica运行于开放的硬件平台架构之上,不管是惠普自己的硬件还是第三方的硬件,即使在低端的x86平台上也可以良好运行。我们可以为用户提供灵活的选择,既能提供Vertica软件,也可以提供软件与硬件组成的整体解决方案,包括一体机。无论从整体拥有成本,还是灵活性的角度来分析,相比市场上的其他一体机或大数据解决方案,Vertica大数据解决方案还是非常有竞争力的。”
链接
惠普中国软件集团的四件大事
2014年,惠普软件的整体战略相较去年不会有太大变化。于志伟表示,惠普软件在今年将主要做好以下四件事。
第一,在大数据、云计算方面继续加强与政府的合作,同时抓好人才培养工作。
在云计算方面,曙光多年的努力已经看到了成效。在曙光自己建设和运维的云数据中心里,存储容量基本都超过10PB,承载了大量来自地质勘探、视频监控、电子政务等方面的数据。其中,结构化数据与非结构化数据的存储比例是1∶4,大量非结构化数据存储主要存储的是图片和视频,这也为下一步的数据挖掘奠定了基础。曙光为企业级客户提供的云存储解决方案涉及公安云、税务云、教育云、医疗云等。
在大数据产品方面,曙光已经成竹在胸。针对结构化、非结构化和半结构化数据,曙光都能提供匹配的存储解决方案。比如,针对非结构化和半结构化数据,曙光的ParaStor就是一个非常好的存储平台。再比如,曙光利用自己的文件系统对Hadoop平台进行了优化,可以更好地发挥Hadoop的优势。惠润海表示:“当前,虽然大数据带来的直接收入并不如预期,但是大数据市场的前景十分广阔。”
不赶一体机的时髦
在大数据市场上,一体机越来越流行,曙光却一直按兵不动。“我们一定要透过现象看本质。一体机的核心还是软件。”惠润海表示,“将相关硬件拼凑在一起,再加上Hadoop就能构成一个简单的一体机,但是这样的产品会有竞争力吗?我们只要推出一个新产品,就希望这个产品具有一定的竞争力,能够在市场上取得较高的占有率,而不是搞噱头。”
在大数据业务方面,曙光的核心竞争力主要体现在它有一支强大的技术服务团队,可以为用户提供代码级开发的服务能力。由于自身的复杂性以及存在Bug,Hadoop通常不能直接使用,这就需要大数据解决方案厂商在Hadoop平台上进行相关调整和优化。“由于数据种类繁多,数据量又大,如何快速将大数据导入到大数据挖掘系统中是一个难题。如果厂商没有过硬的技术服务团队,不能根据数据的情况对解决方案进行调整和优化,那么大数据应用落地就将成为一句空话。大数据应用之所以难普及,一个重要的原因就是具有代码级开发能力的专业技术人才太少了。”惠润海表示。
在推广大数据解决方案时,曙光并没有与某一个应用软件厂商签定产品捆绑协议。不过,曙光还是针对一些主流的应用软件进行了方案的优化。举例来说,在结构化数据处理方面,曙光主要针对Oracle数据库进行了方案优化。曙光利用基础的硬件,结合自己的大数据挖掘系统,可以将Oracle数据库的查询速度至少提升50倍,而成本只有传统的“小型机+高端存储”解决方案的十分之一。
存储服务器已获认可
需求驱动数字化转型
行业的颠覆和重构早已开始,全方位客户体验、灵活高效的业务流程、智慧化产品与服务、创新的商业模式被各大运营商不约而同地选择为其转型战略的核心,而这些方面的基础则都是大数据。
用户行为和需求的变化已成为电信转型的核心驱动力。正如中国移动董事长奚国华所说:“要做可靠的数字化服务专家。”运营商向数字服务提供商转型势在必行。从语音、短信、宽带服务等简单的传统电信业务转变为提供音乐、物联网、视频、智能家居等多样的数字业务。
在产业环境正从消费互联网向产业互联网发展的时代契机下,研究机构数据显示,全球超过60%的企业已成为数字化转型的探索者和实践者,而在电信行业,预计到2024年,包括数字媒体、云服务市场、垂直行业解决方案等领域,电信行业数字化转型将酝酿超过15亿美元的巨大市场机会。
在国内,三大运营商的各级公司已经将大数据作为其在移动互联网时代企业转型的战略性工作,并在不同程度上开始试点大数据系统的建设与应用,以充分挖掘数据资产价值,创造新的利润点。
把握大数据引擎
电信运营商的业务模式正在悄然发生着转变,电信运营商坐拥社会化的信息传输管道,是数据的共享和交换的天然平台和中心,拥有无可比拟的海量数据。
对于大数据的整合和挖掘深化了信息技术的应用,催生新的运营模式、应用和新的业态的出现,运营商目前对于大数据的的应用提升了管理和决策的智能化水平。
若要登上互联网时代的高地,在华为看来,要做国家ICT规划师、成为全业务运营商、数字使能运营商与智能管道运营商将是运营商数字化转型的四大战略定位。
“从数据、到洞察、到形成商业模式,华为在实现大数据价值的各个阶段愿为运营商业务运营、业务调度提供大数据分析的综合平台解决方案。”王纪奎表示。华为大数据平台解决方案FusionInsight,正是基于华为对电信行业大数据应用的深刻理解,深谙行业ICT转型的需求,通过联合创新、深度探索运营商新的商业模式和盈利增长点而提出的。
为了帮助电信运营商要真正利用自身海量的数据资源优势,将数据分析运用到实际运营中,以进一步提升业务模式、利润及用户体验,华为FusionInsight大数据解决方案自设计之初就是以业务为中心,真正形成业务驱动的大数据架构,为运营商的数字化转型提供全方位的支持。
记者了解到,华为FusionInsight大数据解决方案包括多个平台。其中大数据基础处理平台提供海量结构化、非结构化数据的采集、存储、批处理、内存计算和实时流计算的能力;大数据洞察平台提供百万维大数据特征的提取、管理、建模的能力,使客户更专注大数据业务开发本身。
王纪奎介绍,目前,华为的大数据解决方案通过建立融合的数据模型,可提供超过900种数据适配模式,为运营商的数据整合和处理效率获得30%的提升。
在平台层面,已经聚合了超过1000家合作伙伴,包括500种数据产品,具备超过300个开放的API接口,能够为运营商更方便地使用大数据提供快速部署能力。在智能控制中心层面,3000多个客户标签和300多个业务知识的形成和积累,能够为客户提供小时级的分析能力以及数百万/秒的处理能力。
在此基础上,拥有多种成熟、高效、灵活的方案实践和场景,华为大数据解决方案能够帮助运营商把握大数据这一业务发展的引擎,引领电信大数据应用的方向。
为运营商谋数字红利
在数字化转型的具体路径方面,华为认为,电信模式、平台模式、数据模式再到全连接模式,是电信数字化转型呈现出的四个主要阶段。全球运营商分别处在不同的阶段。虽然全球的运营商在转型架构方面目标统一,但是,不同运营商实施的步骤和发力点却各有异同。
与国外相比,国内运营商从大部分收入以传统语音、短信等基础服务为主的享受“人口红利”的阶段,已经迈向了以语音和数据业务为主的“流量红利”的阶段,但仍不如国外运营商所享受到的效益高。
贵阳为什么能在大数据时代脱颖而出?历史证明,很多变革最先都是从最薄弱的地方实现突破。经济、信息化基础相对薄弱的贵阳正好抓住了这个时机,后发先至。
“当初,我们发展大数据产业时,并没有想到它的落地有多难。可能是无知者无畏吧。”贵阳市委书记陈刚在2016戴尔高层客户会上致辞时这样说,“我们还要感谢,在我们进入云计算、大数据领域时,有戴尔这样一位好老师。”
戴尔是一家云计算公司
“大数据,是时代赋予我们的挑战,同时也是机遇。”戴尔公司董事长、总裁迈克尔・戴尔在2016数博会主论坛上做演讲时这样表示。戴尔今年的客户峰会放在中国第一个大数据综合试验区贵州,看来是再适合不过了。
黄陈宏说,现在的戴尔公司就是一家云计算、大数据公司。在收购了EMC以后,人们更没有理由怀疑戴尔的这一定位。戴尔刚刚有了一个新名字――Dell Technologies。在这里,Technology之所以用复数的形式,因为新戴尔不仅可以提供多种不同的产品和解决方案,而且成功地将原来的“EMC联邦”转化成了“戴尔Family”。新戴尔旗下囊括了原来的Dell,还有EMC、VMware、Pivotal、RSA、VCE 和Virtustream。
截至2015年底,戴尔中国的业绩已经连续6个季度保持两位数增长,其中PC的逆市增长尤其喜人。
“戴尔中国4.0”战略正稳步落地:戴尔―金山云已经开始在中国试用;戴尔与京东集团达成战略合作,携手推动云计算服务;戴尔与贵阳市政府签署《深化战略合作备忘录》,并宣布与贵州优特云科技有限公司加强合作,以“优特云”混合云平台为支点,为中小企业和政府机构提供IT支撑;中科院自动化研究所与戴尔合作建立的人工智能与先进计算联合实验室致力于将人工智能技术应用于企业环境;戴尔将创投基金引入中国,将重点关注与云计算、大数据相关的技术和公司;戴尔将重点投入物联网,在本届数博会上了物联网网关;戴尔在虚拟现实领域独树一帜,了多个支持虚拟现实的解决方案,并与虚拟现实的独立软件开发商加强合作……
IDC在一份白皮书中对戴尔中国4.0战略给予了高度评价,认为戴尔“在中国,为中国”的战略将戴尔与中国经济的发展紧紧联系在一起,使得戴尔可以更好地融入中国。
黄陈宏解释说:“‘在中国,为中国’的目标是将戴尔变成一家真正的中国本地的公司。未来,戴尔将继续在中国进行大量投入,创造更多工作机会,扶持‘双创’,积极拥抱‘互联网+’,加强本地研发,切实履行社会责任。”
成立32年后的戴尔,不再仅仅是一家硬件公司,而是领先的端到端云计算、大数据解决方案提供商。戴尔的未来值得期待!
企业云联盟还有上升空间
关于私有云、公有云、混合云谁能独占鳌头的争论正渐渐平息,越来越多的人认同,混合云将成为企业用户的优先选择。IDC预测,到2019年,全球80%左右的企业会部署混合云。混合云的春天要来了!
在本次峰会上,戴尔公司愉快地宣布了“未来就绪企业云联盟”的成立。首批加入云联盟的成员包括戴尔、东软、FIT2CLOUD、Pivotal、UnitedStack有云、航天云宏、VMware中国研发中心、XSKY(星辰天合)、英方、YottaCLOUD优特云共10家国内外企业。
该联盟旨在为中国用户带来更优秀的混合云解决方案,共同为混合云的客户和潜在客户提供包括咨询、部署、培训和技术支持等一系列服务和产品,共同推动混合云在中国市场的发展。
企业云联盟是戴尔“任意云”战略落地的重要一步。如果你以前忽略了任意云,那么现在必须重视了。
戴尔任意云提供云落地的方法论,用户可以通过“云就绪、云部署、云管理”三步轻松上云;戴尔任意云为用户提供了适合其需求和应用发展阶段的端到端云化解决方案;戴尔任意云可以跨越和连通不同的云,或云环境与物理架构。
在云计算方面,戴尔的定位十分明确:不直接提供公有云服务,但会坚定地站在云服务商的背后,成为云计算的“使能者”,为各种云模式提供相关的解决方案和技术支持。
合作伙伴是戴尔背后那座可以依靠的大山。黄陈宏在峰会上演讲时,对着台下的用户和合作伙伴深深一躬,对他们多年以来对戴尔的不离不弃表示感谢。在实现云计算落地方面,戴尔会将主要精力放在云生态联盟的建设上,保证云应用稳妥、快速落地。“戴尔任意云,也要在中国,为中国。”黄陈宏表示。
企业云联盟首批9家合作伙伴是戴尔精挑细选出来的。戴尔大中华区企业技术战略架构总监许良谋对UnitedStack有云的考察历时8个月,甚至比投资商的考察还要全面和严格。
从技术的角度讲,这些合作伙伴的产品都是云计算架构和应用中不可或缺的重要“零件”。这些零件与戴尔的一站式云解决方案相配合,将组成攻无不克的云战车,在混合云战场上先声夺人。“企业云联盟成员各自的产品并不冲突,反而能形成很好的互补。”许良谋表示,“我们希望通过联盟的建立,与国内外的合作伙伴一起,共同构建中国混合云技术生态,为中国客户带来更加切实有效的混合云解决方案。”
从成员的构成来看,Pivotal、VMware本身就是大数据、云计算领域的佼佼者,在戴尔收购EMC后,它们与戴尔变成了真正的一家人,加盟顺理成章。
UnitedStack有云、XSKY、英方等本来就是戴尔的解决方案合作伙伴,它们也都在自己的细分产品市场上独树一帜,与戴尔形成了非常好的互补。从云平台的构建、运维,到云应用的上线、迁移和保护,企业云联盟成员形成了一幅比较完整的“云图”。
“从打造混合云整体解决方案的角度出发,我们组成了一支“多国部队”。联盟可以提供菜单式的解决方案,让用户自由选择。”戴尔大中华区企业解决方案总经理曹志平表示,“这不仅仅是一个技术联盟,而是一个业务联盟。现在的成员之间不存在竞争关系,反而有更多可以协作的机会。比如,英方与YottaCLOUD优特云、星辰天合与航天云宏已经展开了初步的合作。联盟成员可以从戴尔那里获得技术、市场和客户资源等全方位的支持,戴尔也可以通过与联盟成员的合作,带动自身业务的增长。”
企业云联盟可以为用户提供更多解决方案的选择,但这还不够,用户需要的是一个战略合作伙伴,能够从战略的高度、从全面服务的角度,为其提供更多的价值。
“以前,用户习惯找一家大型的服务商,比如由IBM或埃森哲提供全包的服务。”Pivotal大中华区总经理刘伟光话锋一转,“但是,云计算时代是一个诸侯纷争的时代,一家公司不可能完成整个云平台的搭建和服务,在很多项目中,都是多家厂商一起为客户提供解决方案和服务。举例来说,某客户选择了Pivotal的平台,但在项目的实际部署过程中,Pivotal联合了七八家合作伙伴一起完成了整个项目的交付。”
未来一个月内,联盟将举行第一次联盟成员会议,选举管理人员。在未来6个月内,联盟将推出一批整合的解决方案,并进行相关的市场推广。6个月后,联盟将考虑招募第二批成员。
英特尔数据中心及云计算业务产品市场总监贺晓东认为,数据处理需要朝着更快、支持更大的数据量和更高的性价比发展。“英特尔用至强E5和E7来提供对数据分析生命周期的支撑。首先是对核心业务系统、数据库业务数据的收集,如传统的CRM、ERP等,至强E7可为用户提供一个可靠的、稳定的、可服务的平台来满足用户的需求。对于数据进一步的抽取、梳理、存档,以及进行深度挖掘分析,这时需要可弹性扩充的平台,而E5可提供这样的平台。最后对于结果的呈现,可通过台式机、平板甚至手机,形成智能的可视化报告,英特尔的产品线从性能、可扩展性方面都可提供支持。”
据贺晓东介绍,大数据实时分析平台是英特尔中国和SAP中国共同研发完成的,在英特尔的云创新中心,两家公司的团队搭建了HANA加Hadoop测试平台和环境,并做了调优。贺晓东说,用户可以带着自己的数据到这里进行测试,并能跟SAP和英特尔的架构师一起制定一个优化方案和测试计划,以缩短部署时间,并降低前期的成本。