大数据开发的过程范文

引言：寻求写作上的突破？我们特意为您精选了12篇大数据开发的过程范文，希望这些范文能够成为您写作时的参考，帮助您的文章更加丰富和深入。

篇1

信息技术作为时代不断发展的象征，不管是在我国行业的发展中，还是在人们的日常生活，都起到了重要作用。同时，在信息技术不断发展的过程中，大数据时代的应用范围也在不断的扩大，其来源渠道也非常多，数量也在不断增加。在这种情况下，大数据时代的大数据信息管理就显的尤为重要。由于大数据的数量不断增加，现有的管理形式已经无法满足大数据时代的发展，并且在利用计算机对大数据进行全面分析和处理的过程中，也受到了严重的影响，因此，要想有效的对大数据进行充分利用，就要对大数据管理形式给予高度重视，采取有效的措施，不断加强大数据的管理形式，最终实现有效、便捷、安全等管理性能，这也为对我国信息技术提供了重要的发展方向。

 

1 大数据时代的大数据管理发展历程

 

近几年，在大数据管理不断发展的过程中，也取得了一定的成绩。但是，大数据管理也经历了一个漫长的过程，主要经历的人工、文件、数据库等管理阶段。同时，随着大数据时代的大数据不断增加，所管理的范围和环境也在不断的变化。并且，在大数据管理不断发展的过程中，一些管理问题逐渐的暴露出来，为大数据管理的发展带来了新的挑战和机遇，下面就大数据管理的发展历程，管理中存在的不足进行简要的分析和阐述。

 

1.1 大数据时代的大数据人工管理形式

 

在20世纪50年代，计算机技术的形成主要是针对科学计算等形式。同时，根据当时的发展技术来说，并没有磁盘、U盘等一些先进设备，将其计算的结果进行去全面的保存和整理，仅仅只是依靠纸带、卡片等形式，对大数据的进行有效的记录。大数据时代的大数据管理的人员管理形式，不仅仅对大数据的记录存在着一定程度上的误差，并且在保存的过程中，也会经常发生丢失的现象，对大数据时代的大数据管理形式的发展，是没有任何的帮助。但是，依照当时的技术水平来看，也只能的依靠人工管理的形式了。

 

1.2 大数据时代的大数据的文件管理形式

 

在大数据时代的大数据管理的人员管理形式，不断发展和改革的过程中，计算机的软件和硬件都得到了有效的提高，磁盘、磁鼓等储存软件，得到了全面的普及和发展。同时，在在不断发展的过程中，计算机将大数据的组成形式，叫做大数据文件，并且在大数据文件上就可以直接的取名字，直接的进行查看，这对大数据的管理，无疑不是一个新的发展的起点。在大数据时代的大数据文件管理的过程中，由于大数据长期的保存在外面的，这样在对的大数据处理、分析、查找、删除、修改等操作的过程中，提供了极大程度上的便利，其对其操作的程序，也具有特点的要求。但是，在文件管理的过程中，由于共享性能较大，数据与数据之间缺乏一定的独立性，对其管理和维护的费用和时间较大，这样往往工作效率提高，不能被广泛的使用。

 

1.3 大数据时代的大数据库管理形式

 

数据库管理形式是大数据管理不断发展的重要成果，也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中，计算机内部的容量得到了很大程度的提高，并且大数据的管理和维护成本也相应的有所下降。同时，在大数据管理形式不断发展的过程中，对其系统管理内存不足等现象，进行了全面的提高，有效的实现了资源共享，也在最大程度上保证了大数据的安全、稳定等性能。另外，在大数据时代的大数据库管理的过程中，不在近几年只是固定在某一个计算技术应用体系，而是面向整个管理体系，以此在最大程度上提高了大数据共享的性能，使大数据与大数据形成一个独立的个体，对其大数据进行了全面、有效的、统一的管理，为我国信息技术的发展提供了重要方向。

 

2 大数据时代的大数据管理策略

 

2.1 对大数据时代的大数据管理框架进行创新

 

在大数据时代的大数据管理形式不断发展过程中，给企业发展带来冲击非常巨大。因此，企业要根据我国信息技术不断发展的形式，对大数据管理框架进行全面的设计和创新，如图1所示。在大数据的处理的过程中，主要是围绕着数据资产进行管理的，同时对大数据时代的大数据管理制度，进行全面的规划行、设计、创新，这样对其它信息技术管理领域，提供了便利的条件。其实，大数据时代的大数据管理最主要的目的，就是将大数据的价值进行充分的展现。另外，在大数据时代的大数据管理框架不断创新的过程中，有效的实现了大数据共享等性能，不断扩大了大数据时代的大数据管理的内容，对我国现代化信息技术的发展，起到了重要的作用和意义。

 

2.2 开发与内容的管理形式

 

在不断提高大数据时代的大数据管理形式的过程中，可以从两个方面进行，一是大数据开发管理，二是内容管理。其中大数据开发管理注重于大数据管理的定义，和管理解决策略，对其大数据的存在价值，进行有效的开发。换句话说，其实也就是在大数据时代的大数据管理的过程中，对其管理形式的开发，对大数据的功能和价值，进行充分的理解。

 

大数据时代的大数据管理中的内容管理是指：企业对大数据进行不断的获取、使用、存储、维护等工作活动。因此，传统的大数据时代的大数据管理形式，已经无法满足对这个时展需求。因此，在时代快速发发展的推动下，要对开发管理和内容管理，进行全面的创新和设计，对需要专门设定的管理形式，要给予高度的重视，可以利用的集合型的保存形式，进行全面的保存。

 

其实，大数据时代的大数据管理主要是为企业提供重要的发展方向，为企业提供重要的价值信息。大数据时代的大数据管理在数据应用和开发的过程中，起到了重要的衔接作用，也为我国信息技术的发展，打下了坚实的基础。

 

2.3 对大数据架构进行全面的管理

 

在大数据时代的大数据管理的过程中，数据框架管理起到了重要的作用，并且与大数据开发的过程中，有很多相似的地方。在传统的大数据时代的大数据管理的过程中，对其数据的开发、处理、保存等形式，都受到了一定程度上的限制。因此，在对大数据时代的大数据架构管理的过程中，对其操作形式，进行了全面的管理创新，避免受到范围的限制。另外，随着大数据不断的增加，大数据构架管理可以根据大数据的用途，质量良好的应用形态。例如：社交网络等形式。

 

与此同时，在最近几年的发展中，大数据时代的大数据管理形式，也面临着新的挑战基机遇。以此，只有对大数据时代的大数据管理形式，对个人信息、隐私等进行全面的管理，避免个人信息、隐私等发生泄露、不对称等现象的发生，这样不仅仅企业在发展的过程中，提供了最大程度上的安全保障，也为大数据时代的发展，带来了新的发展篇章。

 

3 结语

 

篇2

1大数据技术和软件工程技术

大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术开发成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。

2大数据背景下的软件工程基础

处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。

2．1软件服务工程

在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。

2．2软件开源

软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的过程中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。

2．3群体软件工程

群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。

3大数据与软件工程技术的未来发展方向

3．1大数据与软件工程技术开放式的发展

大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。

3．2大数据与软件工程技术融合到其他领域

软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。

4众包软件服务工程中的大数据技术

在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。

5密集型数据科研第四范式

第四种科学研究范式是指根据实际情况建立独立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。

6结语

篇3

第一关：构建云基础架构

大数据分析和处理的基础是完善的云基础架构，主要包括大数据存储和大数据分析两个平台。

EMC大数据存储平台的两大支柱产品是Isilon集群NAS以及Atmos海量智能存储。Isilon集群NAS是EMC两年前收购的产品，具有很强的横向扩展能力，使用起来非常方便。目前，Isilon集群NAS被用于许多云存储的项目。Atmos海量智能存储可以很好地支持分布式大数据计算。许多电信运营商基于Atmos构建了公有云系统，其部署非常简单，而且性价比很高。

EMC的大数据解决方案分成纯软件和软硬件一体两种。Isilon集群NAS与Greenplum软件组成了一体化解决方案。蔡汉辉介绍说：“Isilon集群NAS目前主要作为大数据存储平台，可与Greenplum、Hadoop结合，但同时也会兼顾传统存储应用。为了更好地支持大数据和云服务，Isilon集群NAS在今年底还会开放API，让更多第三方的厂商能基于Isilon集群NAS平台进行开发。”

EMC大数据分析平台的核心是两年前收购得来的Greenplum的产品，主要包括Greenplum Database（支持结构化数据库）和Greenplum HD（支持Hadoop）。蔡汉辉介绍说：“Greenplum大数据分析平台可以实时处理任何来源的数据，包括结构化、半结构化和非结构化的数据。Greenplum不仅可以处理PB级的数据，而且处理速度可以达到10TB/h。”

第二关：实现社交化服务

构建高性能、可靠、灵活的大数据分析平台是第一步，接下来，用户要构建数据处理的协作平台，建立自助服务的环境。EMC把这个阶段称为社交化阶段。

2012年3月，EMC了首个用于大数据的社交工具集Greenplum Chorus，使得数据科学家可以通过类似Facebook的社交方式进行协作。Greenplum Chorus是EMC中国研发团队主导开发的产品。Greenplum Chorus基于开放的架构，是一个用于数据挖掘和协作分析的流程平台。Greenplum Chorus包括数据探索、个人项目工作空间（又称个人沙盒）、数据分析和几个主要环节。

Greenplum Chorus开发主管庄富任介绍了Greenplum Chorus的工作流程：Greenplum Chorus提供了强大的搜索引擎，可以快速寻找到数据，并将这些数据进行关联，从而实现数据采集的可视化；采集来的数据被放到个人沙盒中进行处理，这个处理过程不会影响整个数据库的运行；在协作分析阶段，数据分析人员可以共享工作空间、代码，协同工作兼具灵活性和安全性；最后，相关的处理结果被出来。上述处理过程将循环往复。

Greenplum Chorus未来将走向开源。EMC已经了一个名为OpenChorus的计划，其目标是促进技术创新，同时促进那些运行在Greenplum Chorus平台上的协作的、社交化的数据应用的普及。2012年下半年，EMC还将公布Greenplum Chorus源代码，让更多人加入到Greenplum Chorus阵营中来。

第三关：敏捷开发服务

大数据处理的第三个阶段就是构建一个敏捷的开发环境，用于实时决策，并且更好地支持大数据应用程序。

篇4

2.统一标准，消除农业大数据之间的“信息孤岛”

农业大数据资源整合是指将与农业生产、加工、销售等相关的信息，借助一定的技术手段，通过加工、整理产出具备附加价值的农业信息的过程。然而，由于农业信息资源分散在农业生产、加工、贮运、销售、消费等众多环节，涉及自然、社会、经济三大系统，形成内容上的广义性和信息整合的复杂性.这给农业大数据资源的整合带来很大的问题。同时，农业信息主要服务于农民，具有典型的基础性和公益性，从做好社会公共服务的角度考虑，各级政府和相关部门必须开放资源，设立机构，制定标准，投入资金，为农业大数据整合开放提供强有力的支撑。

3.农业大数据整合框架

农业大数据整合要依赖于相关法律体系的保护、数据安全保障体系的建立、大数据描述标准的确立和与农业大数据收集、加工、处理相关的各部门和机构的紧密配合。所有这些都可以列为农业大数据信息资源整合的环境范畴。只有这些环境营造好了才能推动农业大数据整合按一定的流程顺利开展。至于大数据整合各层级工作的开展，都与一定的大数据技术相关联。

3.1大数据整合环境研究

农业大数据的来源、分布都较广，而涉农部门和信息机构之间相互联系的深度不够，数据安全和数据标准的相对滞后都是导致农业大数据资源开发利用困难的重要因素。而这些，都可以归结到农业大数据整合的环境问题上来。要处理好由环境带来的负面影响，我们需要建构起法律保障、信息安全、信息标准和信息部门都发挥作用的环境.推动农业大数据的深入开展和农业大数据的开发利用。

3.1.1法律保障体系

农业大数据整合过程中的信息获取、加工、和使用，都或多或少地涉及到法律问题。跨部门之间的联系很多时候需要通过法律和法规来约束或建立，再加上农业信息分布在各个机构、部门，因而法律保障手段就显得尤为重要。农业大数据的开发利用急需建立相应的法律法规，来明确信息的采集、存储、加工、传递、检索、分析等应用过程中的法律地位，尤其是在信息公开和共建共享方面。信息公开和共建、共享。是现代社会民主与法治的必然要求。政府是信息公开的权利主体，政府因其职权而掌握、占有大量农业信息，应该自上而下制定和与农业信息化和农业大数据整合相关的法律法规。从法律上确立农业大数据整合的正式身份。政府要让全社会都看到其对农业信息化的支持力度和对农业大数据整合的关注，推动各相关部门和机构对农业大数据整合的投入和关注。

3.1.2信息安全保障体系

农业大数据整合的最终目标是投入使用，实现农业大数据的增值，让这些大数据在农业生产、加工、销售的各个环节发挥作用。而在农业大数据的使用方面。信息的安全是我们要重点考虑的问题之一。因此，在整个农业大数据整合的过程中.建立起坚实的信息安全保护体系是保障农业大数据整合效果和推动农业大数据投入使用的关键。但是信息安全问题的解决涉及到法规、管理、标准技术等方方面面。任何单一层次上的安全措施都不可能提供全方位的安全。因此，信息安全问题的解决应该站在系统的高度，运用各种先进的安全技术保障用户在使用过程中设备和数据的安全。

3.1.3大数据处理机构

农业大数据的开发利用是国家的核心任务，对农业大数据的整合处理是国家相关信息部门的工作和任务。国家主要在政策和法律的宏观方面给农业信息化提供支撑，推动农业大数据的整合和开发利用.信息产业部、涉农部下设的信息部门，聚集了大量信息人才的高校图书馆和信息机构主要负责农业大数据的采集、加工、整理到最后的投入使用。农业大数据最后的开发利用成效就要看信息部门的具体工作了。信息处理机构在整个农业大数据整合中的作用主要通过信息人才来实现。因此，信息处理机构之间的合作对信息人才优势的发挥和农业信息的？理效果都至关重要。

3.2农业大数据各层级整合开放研究

农业大数据整合由基础层、数据层、服务层和应用层四层组成，不同层级承担不同的任务，每下一层级都是上一层级的基础。本课题重点研究服务层和应用层。

3.2.1基础层

基础层是农业整合中基础的基础，是大数据整合的载体，它包括基础设施建设和信息人才培养两个方面。其中，基础设施包括大型科学仪器装备、科技数据和文献资源、信息网络系统等。基础设施建设包括大型科学仪器装备的购置和调配、科技数据和文献资料的积累与管理以及用来提供共享和通讯等功能的信息网络系统。

3.2.2数据层

数据层主要负责数据的描述和数据格式的转换、处理，它在整个整合过程中起着关键性的作用。我们知道.农业大数据质量和共享的实现取决于对大数据的描述，农业大数据的整合不能只停留在对农业大数据进行大杂烩式的汇聚，而是应该将采集到的大数据进行尽可能详细和标准的描述和揭示，让用户可以很容易地了解这个大数据的实质和价值。政府云平台为大数据的数据层完成了统一的格式转换。

3.2.3服务层

篇5

随着互联网运用的逐渐广泛化，社会中的各个行业都具有了自己的数据种类，这就致使大量的数据在互联网的服务中产生。软件服务工程会产生密集型数据，其中包括流式密集型的数据以及历史密集型的数据。如世界最大的电信数据仓库中心目前已经建立超过1200TB的数据；中国移动通信的业务流程超过8190个，实现了办公自动化和标准化的业务流程。“程序=数据结构+算法”的程序设计思想为传统软件工程的管理思想模式，集程序的运行过程就是数据结构的组织与算法的问题，这种模式将程序运行过程中的数据忽视，而将重点放在了程序的正确性和效率性，在很大程度上把程序的生命周期缩短。纵观软件理论的漫长发展史，诸多学者一致认为详细的文档和完整的程序构成了软件，其中完善的文档信息为软件的核心部分，包括工程数据、文档以及通用规范等等，把整个软件的设计重点放在了文档是否质量合格以及开发模式是否具备标准化上面。由此，推动了软件设计的标准化，从整体上把软件的质量有效提升[1]。

随着系统业务的扩容和用户的使用，对软件进行大规模的数据处理提出了更为严格的要求。越来越多的大型互联网企业更加重视软件服务中的历史密集型数据和流式密集型数据，将大数据分析作为服务，更加注重从用户的体验上进行数据的收集。大数据背景下，行业逐渐加大了数据的处理难度，使得处理数据更具精细化，对技术的标准要求也更为严格。当前大数据时代下软件工程的研究课题为，如何更好的把大数据平台作为服务，把大数据的分析作为服务、把数据的价值作为服务[2]。要从软件发展创新模式来进行海量数据的处理，PaaS服务平台、服务提供方以及服务消费者三方，会产生海量离线密集型数据和线上流式数据。各项级别的用户在进行交流或者进行操作以及各项系统日志数据等，其通常对软件的有效开发、运行、管理等各方面都有着重要影响，另外，大数据还对软件服务的具体周期具有决定性作用。

从根本上讲，只是在规模和量上来进行数据的衡量，对其的研究没有标识，尤其是比较缺乏语义化的处理。因此，要对研究思维及方法进行不断创新，以此对相关数据实施组织与处理，并形成具有领域性的智能主体。通过对大数据的有效创新，将知识作为载体，可以提供相应的数据平台，从而确保以大数据为中心来进行现代软件工程管理的创新[3]。

2、大数据时代背景下软件工程管理模式

软件工程的发展经历了三个阶段，经典的CS模式-BS模式-软件服务工程。其中产生于大数据背景下的面向服务的软件工程，以服务为基础，能够以较快的速度进行应用和共享服务的构建，对于分布式程序的开发具有很好的适应性。这种模式的不同之处在于能够把应用服务化，资源虚拟化，将外界服务接口统一化，有效解决大数据环境背景下的一系列问题。这种软件服务工程设计模式广泛应用于移动互联网、大数据等新兴领域。项目管理是受到进度、费用以及品质的影响，满足客户的需求而进行的活动规划、指导和监督。其中项目控制与系统工程为项目管理两个至关重要的研究领域，二者有交叉重叠部分，项目控制主要负责输入进度、规划和费用，而系统工程蛀牙负责技术层面的输入。通过文档的形式来体现工程的管理，其中包括系统工程管理计划和系统文档树[4]。

系统文档树通过树形结构来描述项目所需要的，以系统工程为对象的各个系统工程文件之间的相互关系。在提案阶段，由系统工程师根据合同数据需求清单和工作说明书来进行系统文档树的准备，从而为根据后续的进度和成本来进行文本化任务的确定提供便利的条件。由项目经理进行系统文档树的批准，并更新维护项目管理的全生命周期。而系统工程管理计划主要用于描述系统工程的进度与任务的，在提案过程中，由系统工程师根据合同数据需求清单和工作说明书来进行系统工程过程的描述，以及如何有效计划、组织、集成、测量系统工程需求。项目管理计划同样由项目经理进行批准，并更新维护项目管理的全生命周期。系统工程管理计划主要由软件系统工程过程、开发项目规划与控制，以及软件工程专业集成三类关键要素构成，其中开发项目规划与控制为必须要实现的系统工程任务[5]。

3、总结

综上所述，面临着互联网的进一步发展，其促使软件的更新速度相应加快，大数据背景下通常对软件的自身安全及性能具有更高的要求。因此，要想打造一个健壮、高效且安全的软件工程，不仅仅要加大技术的支持力度，还需要不断创新软件工程管理办法，形成一套科学的配套理论以及技术标准。当前规模较大的软件重用技术不断发展，并实现了应用，再加上大量积累的软件资源，未来软件的集约化生产以及软件数据的挖掘将会变的至关重要。传统化的软件工程的管理方式已无法满足当前生活的相关需要，大数据环境背景下探究新型的软件工程管理方法具有十分重要的现实意义。

【软件工程硕士论文参考文献】

[1]张宇航.大数据系统中的软件工程管理方法探究[J].中国高新技术企业，2016，(23):93-94.

[2]杨淼.面向商业模式的大数据信息管理方法研究[D].天津大学，2014.

[3]梁峰.基于数据仓库技术的电力公司营销数据分析梳理平台的设计与实现[D].电子科技大学，2015.

篇6

1大数据时代概述

目前随着科学技术的不断发展，互联网技术应用到社会的各个层次各个领域中，人类社会的发展已越来越离不开网络技术的支持。大数据时代即在这种背景下应运而生，人们可以将大数据通俗地理解成数量极其庞大的数据信息，是计算机软件技术发展的一次伟大变革，而且对社会及人们生活的影响作用逐渐增强，被广泛地应用于企业管理及公共事务管理等各个方面，促进社会向更高层次发展。同时，不同类型和领域的信息数据收集既是从事生产和生活的最基本元素，更是计算机软件工程的最原始依据。大数据时代的背景下，软件开发人员可以更加方便地获取数据信息，同时也对其更好地应用这些数据提出了更高的要求。总之，大数据时代需要大量先进的软件技术人员，领悟大数据时代的真正内涵，并将大数据时代的精髓更好地运用到技术分析中去[1]。

2软件工程技术现状分析

进入互联网阶段，计算机软件工程技术处于高速发展的态势，大数据时代背景下，要求计算机软件工程技术结合大数据技术，更好地服务社会。当前情况下，与大数据有关计算机软件技术包含虚拟化技术（VirtualReality，VR）和云储存技术，VR技术能提高信息处理的速度，云储存技术提高了信息数据的储存效率。大数据技术同时具备专业性和实用性的特点，对软件工程技术工作提出了更高的要求，不仅能收集整理各种各样的数据信息，保证数据信息的安全性和有效性，剔除数据信息对软件分析的不良影响，更要能利用大数据不断创新思路。对于我国现阶段的软件工程技术水平来说，要认识到与发达国家相比，还存在着一定的差距，因此软件工程技术人员更要适应大数据时代的潮流，让软件工程技术工作提到更高的台阶[2]。

3大数据时代背景下软件工程技术分析

3.1软件工程技术分析全新思路及方法

在软件工程技术分析长期的发展过程中，逐步形成了一套固有的思想与设计方法，对软件工程技术工作起到了一定的促进作用。同时，时代是进步和发展的，软件工程技术者也要用发展的思维模式对待工作。在大数据时代背景下，软件工程技术工作需要适应时代的要求，在原有理念的基础上，力求探求更符合时代特色的软件开发思想和理念。首先，根据大数据时代大数据处理的特殊形式，考虑如何更好地开发出更能支持数据处理的软件系统，逐步形成独特的面向大数据的软件工程技术思想，使用适应于大数据时代特点的软件工程技术方法。其次，在软件工程技术工作过程中，技术人员会接触到很多软件过程数据，或多或少都具备一些大数据的特点，所以软件技术人员应该认真分析数据的特征，找出有利用价值的数据群，并充分利用这些有价值的数据，力求在探求的过程中发现可能的软件工程规律，并将其运用到后续软件工程技术的工作中去，这样反复不断地分析思想及方法的更新，会促进技术人员逐步形成基于大数据的软件工程技术分析方法，其正是适用于大数据时代背景下宝贵的软件工程技术分析方法[3]。

3.2软件工程技术需要全新的技术手段和工具

对于软件工程技术分析而言，在很长的一段时间内，技术手段比较单一，技术分析工具比较简单，这些手段及工具适用于比较单纯的分析对象，但是对于大数据时代背景下的数据处理就显得捉襟见肘了，尤其对于大交汇数据的处理，不能做到全面研究，因此软件工程技术仍然需要新的技术手段和工作。鉴于现代社会生产及生活特点，大数据的范围包罗万象，大数据来源于生产生活中的方方面面，不仅包括生产企业或消费者个人在生产或消费的过程中产生的各种交易数据，还包含消费者在各类交易媒介中产生的大交汇数据，诸如美团、支付宝等各类网络终端或POS机、手机APP等移动终端中的大交汇数据。在这些数据中，交易数据通常情况下属于结构化的数据，软件开发者们在处理这些数据时，可以运用传统的设计技术手段和工具来完成。但是大交汇数据一般状况下属于半结构化甚至有些属于非结构化数据，软件开发者如果单纯用传统的数据处理方式将无法完整地处理这些数据，不论是从存储和管理方面，还是从更高层次的分析和应用层面，都要求软件技术人员运用诸如云计算技术等新的手段及技术工具。与此同时，由于大数据具有涉及范围广、数据纷繁复杂的特点，软件技术者必须具备将大数据并行分析的能力，并能从中挖掘出有利用价值的信息，这就要求软件工程技术人员能准确地认识到传统数据挖掘手段单点式挖掘依存性高、实时性差等不足，探寻针对大数据分布式存储特点的数据处理方法，增强自身对快速变化的数据实时处理的能力。

3.3软件工程技术需要全新的需求分析方式

从理论上讲，软件工程技术分析基本思路：软件工程技术分析首要的工作即是进行严谨的需求分析，深刻理解软件需求者的真正需求，根据需求确定要技术分析的软件系统的功能需求、性能需求以及其他各方面的需求。继而在此基础上进行后续的软件开发设计、测试及交付使用等其他重要工作。但是需求分析是软件工程技术的先决条件，很大程度上决定了项目软件设计最终能否成功交付。传统的需求分析方式，一般是采用与软件需求者进行面对面的交谈或者对大众需求者进行纸质问卷调查的形式，软件工程人员通过内部成员收集到的信息进行全面讨论，绝大多数情况下技术人员会渗透到业务流程中，因此必然会经历较长的过程，消耗较长的时间，使得软件设计的时效性得不到很好的保证。在大数据时代的背景下，大数据时代数据繁杂瞬息万变的特点要求必须加快软件工程技术分析结果的推出进程，而且要满足软件升级换代的速度要求，软件工程技术人员必须在短时间内收集大量用户的需求，并以最快的速度做出反应，完成相应的设计开发测试等工作，并在测试的过程中用同样的方式收集测试用户的反馈，对反馈意见归纳分析，运用到软件系统的优化工作中，使得设计产品迅速得到完善。实际上，在大数据时代背景下，想要获取广大软件需求者的真正需求，并不需要需求者面对面直接参与，毕竟这种形式能参与的需求者并不会太多，甚至有时不具有代表性，软件工程技术人员首先可以通过网上问卷调查的形式更大程度地了解受众人群的需求，更重要的是借助大数据分析的手段，通过对需求者一系列的网上活动来获取更加有价值的需求。总之，大数据时代背景下软件工程技术需求分析思想的变革，必然会引起软件设计思维方式以及设计流程的变革[4]。

3.4软件工程技术人才培养要有适合时代特色的培养方案和师资力量

软件工程技术人才培养，一定要围绕时代特点来开展，因此软件工程技术人才培养方案是应该不断更新和优化的。时代的变更、大数据时代的到来，必然会对原有的人才培养方案提出更高的要求。大数据时代需要软件工程技术人员具有快速的反应能力、敏锐的观察力和综合分析能力，旨在培养和加强人员的实践创新能力。软件工程技术需要全新的思维模式和创新模式，更需要不断向技术人员的队伍注入新鲜的血液，大数据时代背景下，对专业软件工程技术人员的培养工作刻不容缓，要想做好设计人员的培养工作，必须制定出符合大数据时代特点的专业培养方案，并依据培养方案的要求，储备雄厚的师资力量。专业的培养方案为软件工程技术人才培养指明了培养方向和目标，而雄厚的师资力量更是专业技术人才培养的重要保障，确保了软件工程技术人才知识的先进性和专业性。大数据时代背景下，不论是从软件工程技术思想和设计方法方面，还是从技术手段和技术工具上，以及需求分析方式上的转变方面，都要在软件工程技术培养方案中体现出来，也给培养方案的制定提出了更高的要求，其中培养目标和课程设置尤为重要，要一切以大数据时代特点为理论依据，才会使培养方案更具时代特色，紧跟时代的步伐。在硬件方面，一批拥有过硬技术本领的师资队伍的组建，是培养优秀软件工程技术人才的有力保证，同时用于实训的实验平台的建设也要能跟上培养方案的要求。

4结语

综上所述，大数据时代，为软件工程技术分析带来了新的挑战和机遇，软件工程技术要依托大数据时代的特点和要求，不断优化设计模式，主要体现在：全新的设计思想和设计方法、全新的技术手段和设计工具、全新的需求分析方式以及适合时代特色的培养方案和师资力量等方面。如何更好地抓住大数据时代机遇，并不断迎接新的挑战，合理有序地做好这几个方面的工作，是软件工程技术人员需要重点考虑的问题。

[参考文献]

[1]何克清，李兵，马于涛，等.大数据时代的软件工程关键技术[J].中国计算机学会通讯，2014（3）：8-18.

篇7

引言

随着社会的进步，互联网技术得到了快速的发展，大规模的网络数据逐渐在各领域都有着重要的应用，农业商业以及金融医疗方面均受到大量数据的影响，对此，为了更好的推动各领域的发展和建设，在互联网海量数据中找到有价值的信息资源，成为了近些年来各行企业研究的重点。传统的软件工程在处理海量数据方面还存在着一定的欠缺，所以在大数据时代的背景下提升软件工程管理成为重中之重。介绍了一些软件工程管理的方法，并结合软件生产模式的变化分析未来大数据时代软件工程的发展趋势。根据软件工程管理的相关特征，提供一些工业实践经验。随着软件资源的大量积累，其在各个领域均有着有效利用。提高软件生产的质量与提升软件生产的效率成为发展过程中重要的部分，从软件生产的集约化与自动化方面入手，全面提升大数据系统中的软件工程管理水平。

1大数据系统中的软件工程管理概述

正向工程、逆向工程、再工工程以及后期的软件维护构成了传统的软件生产模式。这种生产模式顺序固定，整个过程遵循一定的规律。而大数据时代背景下的软件生产，将逆向工程作为生产的开始。近些年，大规模的软件重用技术被应用在各个领域，产生了大量的软件资源，并得到了很好的发展。传统的软件生产模式会对软件的挖掘效率产生一定的影响，为了解决这一问题，可采取集约化生产方式来提高软件生产质量。对比2010年全球产生的互联网数据和2015年全球产生的互联网数据，1ZB与91B之间的差距是以指数级速度增长，移动终端和电脑终端成为互联网数据的主要来源，这些数据被广泛的应用在基因研究、医疗保健、资源开发等方面，为搜索、金融、人类学研究等领域的发展提供了巨大帮助[1]。实时业务决策中存在的部分相关问题，均能应用大数据方案解决，但仍有一些问题是大数据无法转变的，这些问题逐渐在市场竞争中处于劣势或被淘汰。新一代的技术和架构，随着大数据技术的发展也在逐渐的更新，这些技术的应用在进行科学分析组织时，可提供大量有技术价值的数据，用来帮助发现潜在的故障组织。大数据的架构对大型服务器的处理能力有着很高的要求。大数据的重点在于数据储存和数据进一步可视化，因此架构大数据的大型服务器需要在数据储存和数据分析方面有较高的水平。其中大数据分析主要包括挖掘潜在信息以及对数据的隐秘关系进行分析，对于信息公司来说，想在竞争中提升竞争力就需要对信息有丰富独到的见解，对于信息的理解也要更深刻，这就要逐步挖掘潜在的信息，进而拥有更绝对的竞争优势，同时这也充分体现了大数据的价值。

2软件服务与大数据之间的关系

流式密集数据和历史密集数据是互联网应用产生的主要数据，这些海量的数据在各行各业都得到广泛的推广与应用。如中国移动通信公司，利用海量的数据和软件的应用，已逐渐实现办公自动化和企业标准化。阿里巴巴数据中心发展迅速，建立了超过100PB的数据，提升了行业的竞争力。传统的软件工程，在程序设计方面着重考虑的是程序的正确性和程序的效率，进而对于程序中产生的数据和数据的结构存在一定的忽略，这种程序设计对程序的生命周期大大的缩短。许多学者在软件基础理论的革新过程中，将完备的文档作为软件的核心部分，通过建立规范程序和详细文档来规范软件设计，并在软件设计过程中，逐渐提升文档质量和软件开发模式的标准化。当前，用户体验已成为许多大型互联网企业获取数据的主要来源，这些数据覆盖范围广、分类复杂，对此，就要求大数据系统中的软件能够处理庞大的数据。尤其是流式数据和密集型数据，在业务的扩展中，对用户体验有着较大影响。在网络时代背景下，各行各业对大数据技术的应用越来越广泛，因而对数据处理的要求也越来越高，这为软件工程管理工作带来了巨大挑战性，大数据平台服务以及大数据分析等都是现阶段软件工程管理面临的现实难题[2]。软件的开发维护和管理，在软件发展创新模式中有着至关重要的作用，这需要海量数据的支持。其中数据和操作数据以及系统日志数据等流式数据和密集型数据，主要来自于消费者、开发设计者和pass平台，这两类数据将直接影响着软件的服务周期。从本质上来说，这些数据仅仅是在量上和规模上进行衡量，在海量数据处理的研究标识和语义化处理方面还存在着很大程度上的欠缺。因此为解决相关的问题，需要在数据组织和处理的过程中不断创新研究方式。大数据是现代软件工程的发展中心，将知识和数据构建成一系列数据服务平台，实现智能知识主体。

3大数据系统中软件工程管理模式架构

软件工程的经典CS模式，能够做到数据的整理和分析，但在大数据时代的背景下，需要逐渐做新的尝试并更新，进而发展为BS模式。而随着应用软件工程的领域越来越多，为更好的适应各行业对于软件工程的要求，软件服务工程逐渐诞生。这种模式更好的体现了共享服务，简称为软件服务工程。大数据环境下，数据的动态变化以及系统的整合均存在一定的问题，而软件服务工程将资源虚拟化，能够充分的解决异构系统数据问题，能够更好的适应新兴领域的需求。为满足客户的个性化需求，在保证品质和不超出预算的前提下，在软件开发的过程中，应加强设计监督工作，对系统工程与项目严格管控，这种行为就是所谓的项目管理。而系统工程则主要为软件管理提供前卫技术，对品质进行监督。前期规划的成本支出以及生产进度等工作都要通过项目控制来完成。系统工程与项目控制是项目管理的两个重要研究领域，通过建立系统文档和制定系统工程管理方案来实现工程管理。其中，系统文档的构建一般由系统工程师负责，并需得到项目经理的批注。项目经理的任务主要是分析系统工程文件间存在的关系，通过全方位的分析探索与描述出项目的具体需求、所需成本和时效等。同时为了更好的完成系统工程方面的任务，满足客户的需求和保证进度，制定项目管理方案，也是必不可少的。系统工程师需要结合需求清单，对项目细则进行全方位的分析，明确系统工程的需求，然后在此基础上制定出详尽的计划。而项目经理则应在审批通过项目管理计划后，定期对其进行优化与完善，保证对系统工程各个环节的严格管理。系统工程管理主要包括开发项目规划与控制、系统工程各环节以及工程专业集成，这几个要素缺一不可，将直接影响工程项目质量。具体来说，开发项目规划与控制，主要是对系统工程进度进行预估，并负责风险管理和程序设计，对系统工程进行总体的规划。软件系统工程各个环节，主要是对系统工程的运行和功能进行分析，重点工作是系统测试和后续的评估。最后则是软件工程专业集成，一般负责维护性、生产性等工程[3]。

4大数据系统中软件工程管理的有效方法

4.1构建完善的软件工程管理规章体制

科学严谨的规章制度是有序开展各项工作的基本保障，大数据系统中软件工程管理也是如此。因而需要全面了解当前软件工程管理的真实情况，构建完善的软件工程管理规章细则。首先，全面掌握现阶段软件工程研发工作的实况，探究软件工程管理的具体流程与各个环节，针对流程与每个环节构建相对应的规则要求，尽量覆盖软件工程研发的每个细节，以此让软件工程管理可以严格依据规章制度进行。其次，应注重项目的人力资源管理，针对人才规划和薪酬制度等建立完整的考核体系。在考核的过程中，应将个人承担的相应责任，合理的分开，并根据个人的实际工作情况以及难度制定不同的考核标准。以保证不同项目的工作岗位考核细致全面。在岗位明确到个人的基础上，还要构建切实有效的奖惩机制，不仅要有物质层面的奖励上，同时也应注重提升员工的个人荣誉感，适当的增加精神层面的奖励，使得员工在工作时更有积极性，从而在充分体现软件工程项目管理有序的同时，进一步提升工作人员的主观能动性。

4.2强化软件工程管理进度关键点把控

首先，协同需方以及设计方健全项目进度方案，软件工程管理和把控计划都是工程项目开发的关键部分，既影响着工程管理的效果，同时也决定着工程项目进度、资源运用能效等方面。因此，需要积极协调需方与设计方，引领他们协同参加到工程项目规划中来，并在此基础上，根据项目方案加以细化，包含短期性与个人项目计划，便于研究项目施工的时间、施工的资源诉求以及任务内容等，充分确保软件工程项目进度规划的合理性与规范性。其次，监督并催促设计方进一步提高进度预估的精确度，软件工程项目开展的精准率一直是工程管理的关键内容，对软件工程项目开展的进度有着重要影响。对此，需要通过以下两方面举措，及时催促和监督设计方提高进度制定的精确度。一方面，构建科学的量化标准，在加快进度把控的过程中，全面落实相应的信息数据统计研究工作，依托大数据技术的高效运用，确保软件工程项目总体精确度。而另一方面，则要加强工程项目进度监管，在软件工程管理中，进一步加大建设进度的监督与管理力度，对于严重拖延、求成心切等不良现象应进行重点处理和解决，以此来确保软件工程管理工作的顺利开展。

4.3注重软件工程质量监管关键点把控

首先，加强软件工程质量审核工作。作为质量把控中至关重要的构成部分，软件工程质量审查要严格按照工程项目的具体要求，合理明确审查期限，构建软件工程管理质量审核计划，严格依据计划来有序开展各项审查工作。与此同时，为了确保软件工程质量审查的效果，还需充分结合随机质量审查计划，对于影响较大且相对关键的项目，实施随机质量审查。详细来说，首先，应全面深入每个软件工程的各个有关环节，保证数据搜集的准确度，实施总体质量质量状况及其下属板块质量的探究工作。针对软件工程质量审查结构以及工程制定的目标加以比较，如果出现质量审查方面的问题，那么就应严格贯彻和落实质量把控与全程跟踪监管工作，并且两项工作要合理有序的同步开展，针对大数据系统中软件工程研发进度中涌现的各种风险进行精细化排查。其次，催促软件工程文档监管工作。文档是真实详尽记录总体文档发展进程的关键性资料，它对于大数据系统开发有着至关重要的影响。需要催促与监督软件工程相关参与主体，提高对软件工程文档质量管理工作的重视程度，明确要求相关参与主体依据规定进行管理文档。主要包含文档管理计划、拟定规范、构建统一的软件工程文档管理规定细则，以便切实提高软件工程文档质量管理的总体质量，真正确保软件工程的成果。

4.4加大软件工程管理团队的培训力度

篇8

中图分类号：G642.0；TP393 文献标识码：A 文章编号：2095-1302（2016）12-0-02

0 引 言

随着云计算、物联网以及“互联网+”技术的兴起，数据正以前所未有的速度在不断增长和累积，互联网大数据正在实时影响人们的工作、生活乃至社会发展。2012年 3月，美国奥巴马政府公布“大数据研发计划”，旨在提高和改进人们从海量、复杂的数据中获取知识的能力，发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术。2014年大数据高速发展，中国互联网三巨头BAT（百度、阿里、腾讯）纷纷建立大数据研究院、大数据实验室等，提供大数据专业服务，一批大数据专业分析公司应运而生。我国的开放、共享和智能的大数据时代已经来临，同时对专业人才的需求也日益增长。

大数据的发展与计算机网络密切相关，因此适时调整高职计算机网络专业方向的培养目标，可以更好的适应大数据发展要求。大数据背景下计算机网络专业学生的目标是培养具有计算机网络、大数据及云计算的专业知识，实践能力强、职业道德素养高，具备云平台的管理能力和网络软件开发能力，能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才[1]。

1 大数据与云计算

根据维基百科的定义，大数据[2，3]是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据主要具有4V特征[2]，即数据体量巨大（Volume）、数据种类繁多（Variety）、流动速度快（Velocity）、价值密度低（Value）。

从技术角度上看，大数据必然无法用单台计算机处理，必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。目前应用最为广泛的大数据分布式处理平台就是Hadoop，Hadoop是由Apache基金会所开发的分布式系统基础架构，能够对大量数据进行分布式存储、分析和处理的云计算平台，已经在网络大数据领域得到了广泛运用。例如Yahoo使用4 000个节点的Hadoop集群来支持广告系统和Web搜索的研究；Facebook使用1 000个节点的集群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习；百度用Hadoop处理每周200 TB的数据，进行搜索日志分析和网页数据挖掘工作；淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

2 课程体系改革研究

2.1 课程体系现状

目前，高职院校计算机网络专业类课程大多围绕计算机网络工程和计算机网络开发两条主线，主要课程包括网络基础、路由器及交换机配置与管理、Windows网络服务器配置与管理以及动态网站开发相关技术等。这些课程内容传统，课程内容严重同质化，教学内容已不能满足大数据时代人才培养的要求，这些将直接影响学生的理论实践能力和就业机会。

大数据、互联网+、物联网及云计算技术的发展和应用给高职计算机网络专业人才培养带来了新的要求与挑战，与市场需求存在脱节现象。计算机网络专业应紧跟大数据、云计算等先进技术的步伐，不断进行专业课程的创新性研究，重视实践类课程和教材的研发，适时调整人才培养目标和专业教学计划，以期满足工作岗位的实际要求。

2.2 研究思路

计算机网络专业经过多年的发展，其课程体系比较成熟，形成了各自的特色教学。因此，本文的研究内容是对原有课程体系的补充和完善。

2.2.1 有针对性的进一步优化传统的专业职业技能课程

传统的专业职业技能课程已经比较成熟，经过了实践的考验，也已得到了学生的认可。尽管如此，还要有针对性的进一步优化，使得课程体系的理实比达到更优，提升课程教学实施的效果。

2.2.2 采用增加模式，补充完善课程体系

基于大数据和云计算技术研发新的职业技能课程，充实现有的课程体系。大数据和云计算紧密相联，因此要增加云计算和大数据的理论和实践课程。在研发课程的过程中，以岗位需求为导向，以培养技能型人才为目标，合理安排理论教学内容和课时，着重开发实践教学案例和内容，明显区别于本科课程教学设置。

2.2.3 课程体系相互作用，相互促进

网络技术是大数据、云计算技术的基础。因此计算机网络传统课程也是新研发课程的基础。新研发课程既是传统课程的有效实践，又是对传统课程的有效扩展和提升。

2.3 具体内容

由于大数据、云计算技术是基于网络的技术，因此，计算机网络专业人才培养具有先决条件。根据以上研究思路，具体方案主要包括强化现有课程体系，增加基础理论课程、完善知识体系，增加实践课程、锻炼岗位能力三个部分。

2.3.1 强化现有课程体系

针对现阶段存在的问题，学校应强化现有课程体系，使学生具有扎实的网络管理能力和一定的网络开发能力。现有的课程体系使学生具备了相关能力。熟悉ISO/OSI互联网模型，并掌握常见的互联网协议如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能够配置管理Windows和Linux服务器，熟悉使用常见的网络命令，具备远程网络控制学习能力。掌握程序设计语言Java，具备Windows和Linux下的程序开发能力，包括编写shell程序。能够配置交换机和路由器，具备组建局域网的能力。熟悉信息安全、系统安全及网络安全攻防技术。

2.3.2 增加基础理论课程，完善知识体系

针对人才需求，增加大数据、云计算等基础理论课程，完善知识体系。虽然大数据、云计算等课程教学的最终目的是培养实践技能，但基础理论仍非常重要，主要包括熟悉大数据的基础概念和常见技术架构；熟悉云计算原理和架构，并了解虚拟化技术如KVM；熟悉分布式系统和分布式计算原理；了解大数据、云计算的最新应用。

2.3.3 增加实践课程，锻炼岗位能力

在课程体系设置中，实践课程比例应超过理论课程。增加大数据、云计算等实践课程，锻炼学生的岗位能力。主要包括主流云平台管理软件的使用，如华为FusionSphere、VMWARE等；分布式系统管理、分布式并行计算以及Map/Reduce编程；Hadoop集群、HBase分布式数据库的构建与管理；Hadoop、HBase等案例实践与应用。

通过以上方法，使得计算机网络专业学生在原有专业基础上，掌握大数据和云计算的原理，具备云平台的管理能力，并能基于Hadoop等云计算平台实现大数据程序，对大数据进行计算分析。

2.4 Hadoop课程实施

通过以上分析可知，增加的课程内容主要是大数据、云计算相关课程，最终采用Hadoop云计算平台相关技术实现大数据的存储、计算与分析。通过理论教学，使得学生深入了解掌握大数据技术、云计算原理及Hadoop架构。通过实践教学，使得学生能够掌握Hadoop集群的配置与管理，并且能够基于Hadoop实现大数据程序设计，使得学生具备基本的大数据处理能力。因此Hadoop课程是核心课程。

2.4.1 Hadoop原理

Hadoop是把大数据集分发到计算集群中各个节点上共同处理以实现大数据的快速处理。用户无需了解分布式底层细节就可开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop最核心的设计是HDFS文件系统和MapReduce编程模型。HDFS为海量数据提供存储，而MapReduce则为海量数据提供了计算。如图1所示，Hadoop运行的基本过程如下[4，5]：

（1）客户端可以将文件上传至HDFS文件系统，NameNode则会根据文件大小和Block大小配置将文件的物理属性分成若干个Block文件块，并分布式存储至DataNode数据节点，同时将块存储信息保存至NameNode节点，以方便文件进行资源管理。

（2）文件上传完成后，客户端提交具体Job任务至Hadoop集群，各DataNode节点根据任务要求可以读取相应的文件Split，并完成Map和Reduce计算任务，将结果作为输出文件传输至HDFS文件系统。

（3）在任务执行过程中，可以通过JobTracker、TaskTracker及ResourceManager监控任务的执行情况和资源消耗信息等。

2.4.2 Hadoop教学平台配置与部署

Hadoop教学平台需配置、部署一些部件。基于现有实验室的计算机和网络环境，网络服务器系统采用Linux Ubuntu，构建Hadoop集群网络。基于Cloudera Hadoop开源框架实现Hadoop教学平台。

2.4.3 Hadoop分布式文件存储及大数据处理实现

Hadoop分布式文件存储及大数据处理实现包括：HDFS文件系统的使用；HBase的使用；MapReducer程序实现；大数据案例分析与实现。

3 结 语

本文分析了大数据背景下高职计算机网络专业的培养目标和课程体系的改革思路，在优化计算机网络专业传统课程的基础上，增加大数据、云计算等相关课程，并以Hadoop课程的具体教学实施来培养学生的实践能力，使得学生能够紧跟大数据、云计算的技术步伐，满足工作岗位的要求。

参考文献

[1]赵伟艇，夏栋梁.基于岗位能力培养的云计算课程群知识体系构建研究[J].电脑知识与技术，2016，12（2）：167-169.

[2]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013（S1）：142-146.

[3]孟小峰，慈祥.大数据管理概念技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.

[4]王铮.基于Hadoop的分布式系统研究与应用[D].长春：吉林大学，2014.

[5]陈吉荣，乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学，2013，35（10）：25-35.

[6]曾文英，吴积军，曾文权，等.基于云计算的IT课程体系改革[J].计算机教育，2014（17）：40-44.

篇9

一、软件工程技术定义

软件工程技术是指应用计算机基础技术，应用编程语言对软件功能、软件操作等内容进行优化，将其应用在信息处理之中。我国对软件工程基础技术研究起源于上个世纪八十年代，并首次召开了软件工程研讨会，将其作为一个具体学科也在八十年代初。现如今，软件工程技术已经成为一个普遍名词，是各行业、各部门主要研究对象。

二、大数据时代下软件工程关键技术

（一）软件服务工程技术

软件服务开发符合我国当下社会主流需求，也是社会发展的主流需要。其在技术上主要应用在服务功能比较明显的软件开发之中，主要是指以工程化形式，利用计算机系统编程语言、开发程式及步骤、数据系统等内容，实现具备服务功能、应用功能软件的开发。软件工程开发以服务能力为核心，以虚拟特征以及分布样式为基础，对用户具体应用情况进行调试，保障用户应用软件工程系统科学性、稳定性、安全性。与此同时，服务软件工程技术可实现应用数据之间的整合，提高软件管理操作能力，对各项操作流程等进行明确。在大数据时代背景下，服务软件工程开发技术更加倾向于局域网内部应用，可以保护局域网内部用户不会受到木马病毒恶意袭击，极大程度保障软件工程应用安全性。例如，某企业应用服务软件工程技术，致力于服务与应用效果软件系统开发，将其应用在企业整体业务管理之中，为了提高软件服务工程应用效率，赋予了软件私人订制功能，强化软件服务工程自定义效果。由于该技术应用需要进行大量投资，在我国很多中小型企业中没有得到广泛应用，软件工程开发人员需在深度市场调研基础上，提高该技术应用能力[1]。

（二）众包软件服务工程

在众多软件工程技术中，大多数均具备的功能为处理信息、数据的集中性，可以生成大量数据信息，并呈现出集中性等特征。众包软件工程技术在世界各国均得到了广泛普及，是各国的重点研究对象。该技术在应用过程中可以流式数据、密集数据研究为主，实现系统化服务平台构建，其核心应用价值在于具有很强服务能力，并以群体信息服务等方式，优化自身应用价值。该软件工程技术相比较企业技术而言，具有明显优势，其在数据实质表现上具有真实性特征，忽略了软件形式要点，并不具备单位量化特征，重点突出在集中性上。众包软件工程技术具有很广阔发展空间，在市场有很强的发展前景，其技术能力与软件开发程度、系统管理能力息息相关，开发单位需重视该技术中数据传输有效性，促进软件长久稳定发展。众包软件工程技术以专业理论分析为依据，可从整体角度实现数据信息传输、处理等功能，以全面服务为核心，实现软件系统开发。企业及有关部门需强化众包软件开发技术应用，提高技术应用水平，在技术上进行创新，提高自身竞争实力。

（三）密集型数据科研技术

“第四范式”是密集数据研究一种，在2007年由吉姆格雷提出。在该技术理论研究过程中，强调大数据储存技术应用价值性，以统一的理论方法作为数据研究主要支撑。在该技术开发与应用过程中，对其传统软件工程中一、二、三范式进行理论与数据分析，提高其短时间内的数据储存与信息处理能力。在经过反复试验对比之后，研究人员改变传统思维模式，首先致力于“第四范式”数据结构研究，在整合驱动大数据基础上，对软件服务价值进行了全面概述。针对密集型数据分析方式，传统的数据周期、信息流程方法已经无法适用，在模型效果上存在滞后性。研究人员以原本数据、信息、模型研究为基础，对其数据服务、信息服务等进行推演，逐渐构建出第四范式模型，对其服务能力、服务价值等进行了全面优化。“第四范式”是大数据时代下，软件工程开发关键技术之一，在不断的研究中得以完善，可以实现密集数据生命周期有效提高，以全新的数据模型，为软件工程开发提供技术保障。有关部门需给予高度重视，使其能够适应未来社会的发展。

（四）软件工程技术在企业中应用

软件工程技术在企业中应用主要体现在两个方面，一是在信息通信中应用，二是在信息解决问题中应用。以某企业发展为例，某企业在运行过程中应用计算机软件工程监测技术，实现用户信息数据有效处理，并对用户信息进行科学保存。软件工程技术在逐渐发展中，其功能也在不断完善，信息通信功能可以为企业留存大量客源，具有十分巨大的行业价值。在信息解决方面应用软件工程技术，其主要应用方向在于系统平台管理，在大数据时代下，软件工程技术需具备以下五个环节，分别为产品抽样、产品样本采集、信息优化修改、构建数据模型、生产效果评定。企业应用软件工程技术进行信息问题解决，可以实现企业整体数据的有效分析与整合，保障企业内部信息准确、全面。所以。企业要重视软件工程关键技术应用，提高自身软件技术应用能力，致力于企业经济效益提高，进而提高自身竞争能力[2]。

结论：

总而言之，大数据时代在不断深入发展过程中，国家以及企业均需要给予高度重视，在软件工程技术开发上进行创新，并强化大数据时代下软件工程理论与实践研究，为企业发展提供更加优质技术服务。在未来发展中，软件工程技术将会越来越完善，其在技术上能给予用户更加优质服务，在信息处理速度与稳定性上均会得到极大程度提高。

篇10

程序设计类课程是大数据智能化产业建设的基石，是承担培养工程开发技术、物联网技术、大数据开发技术、人工智能技术等创新应用型人才的支柱之一。大数据智能化背景下计算机程序设计课程主要包括C/c++方向、Java方向和Python方向。目前高校开设的程序类课程，C/C++方向包括面向过程的C/c++程序设计（基于函数），面向对象的C/C++程序设计（基于对象）和智能应用开发。Java方向包括JavaSE程序设计、JavaWeb开发和JavaEE开发。Python方向包括Python程序设计和PythonWeb开发课程。程序设计课程覆盖了大数据智能化应用专业基础课、专业核心课和专业方向课,是专业能力培养的支柱。与时俱进的程序设计类课程混合教学模式研究，是当前高等教学研究的热点。

1程序设计课程教学模式存在的问题

程序设计课程计算机类专业都在开设，但课程教学模式缺乏针对性。程序设计课程培养目标与专业大数据智能背景结合不够，线上线下教学整合的深度和广度不够。程序设计课程教学没有同大数据智能化创新应用型人才培养目标体系结合起来，没有同当前智能化时代需求和技术场景结合起来，没有同大数据智能化人才的知识结构结合起来，没有同专业课程结合起来，没有建立起适合大数据智能化创新应用型人才培养的线上线下混合教学模式体系。目前线下的程序设计课程教学模式，教学效果还存在一些问题。①课堂预习缺乏目的性。②教学活动互动参与性不强。③习题资源不够，测试操作不方便。④作业提交不及时。⑤作业评阅不方便。⑥学情统计、课堂统计和成绩统计缺乏数据支持，无法自动进行。⑦学生自学拓展缺乏平台资源。因此，大数据智能背景下程序设计课程线上线下混合教学模式构建是当前程序设计课程教学改革急需解决的重要问题。

2程序设计类课程线上线下混合教学模式构建

大数据智能背景下，程序设计课程混合教学模式构建采用基于工程教育认证、新工科建设和课程群建设的思路进行研究与实践，坚持以成果为导向，以学生为中心，以持续改进为目标[1-2]。坚持以成果为导向，依据市场和专业发展需求，确定程序设计课程培养目标和课程培养的核心能力体系，构建课程知识体系和教学资源体系。坚持以学生为中心，强调以全体学生为中心制定课程群培养目标及配置教学资源，开展线上线下融合教学。持续改进，改革课程考评体系，建立多元测评系统，强调混合教学模式教学质量监控机制和持续改进机制，不断提升人才培养质量[1-3]。大数据智能化背景下程序设计类课程混合教学模式构建主要考虑以下问题。2.1构建程序设计课程培养核心能力的体系。程序设计课程教学模式构建，需应对市场需求的大数据创新应用型人才特征进行调查分析，结合工程教育认证和新工科建设发展需求，确定专业人才培养目标[4]。专业人才培养以“面向工程、项目驱动、能力培养、全面发展”为目标，依据培养目标确定毕业要求[5-6]。根据毕业要求对程序设计类课程培养的学生核心能力进行分类分层次打造。课程核心能力体系分为通识能力和专业能力。通识能力分为口头表达能力、沟通交流能力、团队协作能力和创新应用能力。专业能力分为识记理解能力、阅读修改程序能力、程序编写调试能力、程序逻辑思维能力、系统分析设计能力、系统开发能力、项目管理能力和自主创新学习能力。根据核心能力体系重构程序设计课程体系，明确课程具体培养目标和要求。大数据智能化背景下创新应用型人才培养计算机程序设计课程主要包括C方向、Java方向和Python方向。对语言方向的每一门课程知识体系进行研究与实践，明确与核心能力匹配的课程知识体系，与课程内容匹配的学生能力目标体系。2.2构建语言-课程-平台一体的程序设计课程体系，解决程序设计课程群建设系统性问题。根据大数据智能化背景下的应用型人才核心能力的培养要求，构建面向应用、面向工程、面向能力理念的语言-平台一体化课程体系[6-7]。大数据智能化背景下创新应用型人才培养程序设计语言选择主流的C语言、Java语言和Python语言。根据核心能力培养体系开设课程，一个语言方向统一开发平台，解决学生培养知识脱节，开发平台混乱的问题。开发平台的选择要符合市场主流，选择具有模块化开发、代码分层、功能分层的框架集成式开发环境，以便提高学生解决复杂问题的能力。C方向课程体系分为面向过程的C/C++程序设计，面向对象程序设计和智能应用开发，统一开发平台可选择DEVC++,MicrosoftVisualStudio和Qt。DEVC++是C/C++轻量级开发环境，侧重于算法，VisualStudio是Window集成式开发环境，侧重于项目开发，Qt是跨平台GUI开发环境。Java方向包括Java程序设计，JavaWeb开发和JavaEE企业级开发课程,统一开发平台可选择MyEclipse和IDEA。Python方向包括Python程序设计，PythonWeb和爬虫课程，统一开发平台可选择PyCharm。同时要解决语言方向课程知识的衔接问题，确定课程标准，明确教学目标。程序设计语言-方向-课程一体图如图1所示。2.3开发在线课程资源，解决线上线下融合教学问题以全体学生为中心，应是集中学和分层分散教学的统一。线下课堂集中教学，适合课程理论知识的讲解学习，线上教学适合课程实训指导和拓展。程序设计课程线上线下融合教学过程分为资源开发、课前准备、课堂教学、课程实验、课程设计和课程总结五个过程。整个教学过程，以学生为中心，采用“参与式、启发式、研讨式”教学方法，利用平台提供的签到、章节学习、讨论、选人、分组、抢答、作业、测试、互评、群聊、通知等教学手段，实施线上线下、课内课外融合的教学模式，充分发挥教师主导作用和学生主体作用，引导学生参与互动、自主学习、创新学习，调动学生学习积极性和主动性，逐步培养学生的专业通识能力、识记理解能力、阅读修改能力、程序设计能力、修改调试能力、项目开发能力和工程实践能力[1，6，7]。程序设计课程线上线下混合教学模式如图2所示。2.4构建程序设计阶梯能力训练平台，解决能力培养平台单一问题。构建程序开发能力训练平台是一项系统工程，涉及到思维、体制和管理问题。依据学生程序设计能力培养层次，构建与能力培养匹配的阶梯能力训练模型，解决能力培养平台单一问题是程序设计能力培养的重要保障。根据学生程序能力培养层次建立课程章节训练、课程设计项目训练、方向课程综合训练、程序算法竞赛、创新创业项目训练和开发竞赛训练的阶梯式训练平台。每个阶梯训练平台要有具体的目标、训练内容、场地保障和组织管理。课程章节训练主要在课堂，解决章节模块知识的应用问题。课程设计项目综合训练旨在通过项目形式进行课程知识的综合训练，解决课程知识的综合应用问题。语言方向课程综合训练通过理论和项目形式解决同一门语言前后课程衔接和知识综合应用问题。程序算法竞赛利用一种语言工具进行算法专题训练，比如查找排序、贪心和动态规划算法等。创新创业项目训练通过创新创业项目与程序设计课程结合，提高项目分析设计和开发能力问题。学科竞赛通过对创新创业项目培养，按照竞赛文件要求，完善系统功能和文档，提高项目开发能力。通过程序设计阶梯能力训练以培养学生程序设计核心能力，提高学生就业质量。例如C语言方向程序设计课程能力阶梯训练模型如图3所示。2.5考核方式改革，解决学生能力考核科学系统性问题。大数据智能化创新应用型人才程序设计课程考核，理论知识和实践能力考核要注重全面性、科学性，突出课程培养的核心能力考核。课程考核应建立标准化考核、过程化考核和能力考核的多元测评系统[1,7]。标准化考核利用在线平台，建立标准的试题库和试卷进行课程章节、期中和期末考核。过程化考核充分利用平台对学生学习全过程活动进行记录、跟踪和统计分析。能力考核从学科竞赛、创新创业项目和科技创新方面来进行，注重学生程序设计开发能力，创新思维能力及团队合作能力的考核。同时改革考核线下操作模式，利用平台对学习过程进行大数据分析，利用在线平台进行半自动或全自动的考核方式，提高学生学习效率和教师工作效率。改革老师单一的评阅方式，建立学生互评、小组互评和教师评阅的方式，合理地分配成绩权值，建立重能力考核的观点及理念。能力考核多从单元知识应用、课程设计、学科竞赛、创新创业项目和科技创新方面来进行，注重学生程序设计开发能力，创新思维能力和团队合作能力的考核。

3结束语

本文对大数据智能化背景下程序设计课程线上线下混合教学模式构建问题进行了研究。大数据智能化背景下程序设计课程线上线下混合教学模式，应结合专业背景优势和课程本身教学需求，从教学思维、教学目标、教学内容、教学保障和组织管理方面建立起适合专业发展需求的程序设计课程完整教学体系，以提高学生学习效率和老师教学质量，提升学生程序设计开发能力，培养大数据智能化创新应用型人才。

参考文献:

[1]李昱,郭晓燕,梁艳春.应用型本科计算机专业程序设计类课程教学模式改革与实践[J].计算机教育,2020.311(11):111

[2]高晓娟,牟莉,张旭风.程序设计类课程混合教学模式研究[J].商洛学院学报,2020.34(2):60

[3]杨卫明.创新应用型信息类专业实践能力培养模式研究[J].教学现代化,2019.6(88):21

[4]王晓芳,刘鹍,赵燕.工程教育认证背景下程序设计类课程改革探索-以济南大学为例[J].合肥工业大学学报(社会科学版),2019.33(4):134

[5]乔加新,梁后军,魏苏林.构建全方位分层次程序设计类课程创新教学体系-基于新工科理念下的计算机专业[J].黑龙江工业学院学报,2019.9:20

篇11

随着我国计算机技术的不断发展，软件的作用越来越广泛，从计算、存储到整个IT环境，在硬件平台的基础上，越来越多的功能是通过软件实现的。大数据时代是人类社会发展的必然途径，是在人们适应和改造世界过程中的产物，是人们生产生活在网络上的投影。因此，在进行软件设计时，必须要考虑到大数据时代的整体背景。软件的发展是一个不断进步的过程，传统的结构化信息资源已经逐渐淘汰，对信息处理的要求越来越高，逐渐和网络结合在一起。

1 大数据时代下的软件工程服务工程和群体软件工程

在软件工程的发挥在那中，近几年来面向服务的软件工程越来越多，即软件服务工程。以服务为建设的基本原则，根据实际需要进行变化，通过分布式的应用和互操作性虚拟化管理对对软件工程进行维护。通过这种方式，能够有效将网络中的软件虚拟化，强调互操作性，解决分布、动态变化情境下和异构环境下数据，解决的系统集成和协作的问题。在多个新兴领域中得到广泛的应用，例如云计算、移动互联网、大数据等。

随着网络化、服务化的大环境，软件开发也逐渐变得开放，通过信息共享、学术交流，进行协同开发合作，在用户评价的基础上建设性价比较高的软件。其中，开源软件是目前较为成功的软件习作模式。因此，开源社区中的合作模式、结构等，也是学术界的研究重点。但是，常规的研究方法并没有较大的突破，一些学者开始使用社会网的方法对数据进行分析。发现在一些规模较大的项目中，开发组的结构逐渐从核心成员趋向开发者，并产生了更多模块化的特征。

除了开源软件具备一定的典型性之外，群体软件工程中更提倡的是建立在众包基础上的开发方式。众包是一种分布式的解决方式和生产模式，无论是开源软件还是其他的商业软件都可以通过网络进行责任分配、提出创意或解决问题等。因此，在进行软件设计时，无论哪个阶段，都可以通过众包的方式对重难点问题进行分析。

2 众包软件服务工程中的大数据

在软件服务工程中会产生大量的密集型数据，包括历史密集型数据和流式密集型数据。目前国际上已经有很多学者在关注众包软件服务工程中出现的密集型数据和流式数据，尤其是在线服务。如何将密集型数据的分析、价值、平台、基础设施等作为服务，是目前大数据时代背景下软件服务工程的核心问题。从众包软件服务工程来看，不管是服务消费方、众包服务开发提供方，还是平台管理和运营方，都有着离线密集型数据和在线的流式密集型数据。这些数据的传输直接决定了软件的服务寿命，和众包软件能否进行良好的开发协作、正常运行管理有着重要的关系。这些密集型数据，本质上仅仅对内容的数量进行了描述，但是并没有标注出内容的特点，缺少语义化单位矢量。因此在对密集型数据进行分析时，不仅仅要对原生数据进行分析，还要对密集型数据的主体――数据所属领域的专家进行分析。以知识为核心，对密集型数据进行分析，保证软件服务的寿命。

3 密集型数据科研第四范式

在2007年，吉姆・葛雷提出了数据密集型科研发现“第四范式”的愿景。提出在进行密集数据的研究时，要建立统一的理论和研究方法，强调了大数据存储在计算机发展中的重要性。在实践研究中，传统的一、二、三范式的研究方法难以对密集型数据进行有效的分析，目前大多数的软件也无法在短时间内将这些信息进行有效的存储、管理为有效的服务信息。我国有学者在2012年，在进行大数据方面的研究时，不能仅仅局限在计算机模拟，即第三范式中。要建立独立的科研第四范式对密集型数据进行研究。其主要原因是密集型数据所需的研究方式和传统的研究方式有较大的区别，不仅要在研究方式上进行转变，还要转变思维模式。在进行研究时，首先要建立科学、完整的第四范式，当有了完整、统一的理论体系之后再逐步转变为第三范式。因此，在进行大数据的研究时，首先要确认第四范式的方法以及结构，并对存在的关键性问题进行分析。

在对第四范式进行研究建设时，首先要对大数据整合驱动的软件服务价值进行分析。在对密集型数据进分析时，传统的数据生命期信息学流程已经难以适用，无法对大数据进行有效的模拟。要由原本的数据、信息、模型、模拟推演的过程逐渐转变为数据、信息、知识、价值服务、策略意义的第四范式模型。在全新的研究模式中，要对数据整合驱动、需求度量价值、情境约束等进行分析。其中，知识及价值服务是整个研究的基础和重点，要针对密集型数据整合服务领域，对密集型数据将的处理、管理、分析、应用等多个方面进行研究，建立统一的理论体系和研究方法，提高密集型数据生命期信息学流程驱动软件的服务生命期，对目前第四范式建立存在的问题进行针对性的解决，适应大数据时代的发展。

4 结语

在大数据时代下，软件工程的发展涉及到多个领域，需要具备高度的专业性和实践性。在软件工程中，要在实践中进行研究，而不是在研究中进行实践，核心在于如何对传统的软件理论进行创新突破。在其中就涉及到有关大数据第四范式的理论和研究方法的问题，如何将其和第一、二、三范式的理论、算法、技术标准等进行融合。大数据在最初提出时具备三种特征：体量、增速和多样。随着时代的不断发展，大数据的特征也越来越多，如价值、真伪性、可证性、可变性等，对软件工程的发展有着重要的影响。在软件工程的研究中，要不断的创新传统的软件技术，解决限制软件工程发展的客观条件，结合互联网的发展，对大数据时代下的密集型数据进行有效的处理，促进行业发展。

参考文献

[1]韩晶.大数据服务若干关键技术研究[D].北京邮电大学，2013.

[2]吴月红.分析软件工程化的基本形式和关键技术[J].电子技术与软件工程，2015，11：52-53.

作者简介

篇12

中图分类号：C931 文献标识码：A DOI：10.3969/j.issn1003-8256.2013.02.010

网页时代，google凭借强大的搜索功能抢得先机；社交媒体时代，facebook凭借领先的分享模式独领；大数据时代，什么样的企业能执牛耳？

1、大数据时代的三种公司

按照牛津大学教授、《大数据时代：生活、工作与思维的大变革》作者维克托·迈尔·舍恩伯格的观点，大数据产业的价值创造一般有三部分组成：数据本身、处理数据的技能以及利用数据的创新思维。这三者也分别代表了大数据产业中的三种公司类型。

大数据掌控公司。这类公司拥有大量数据或至少可以收集到大量数据，却不一定有从数据中提取价值的技能或者用数据催生创新的思想。最好的例子是twitter，它拥有海量数据，但是它的数据都通过两个独立的公司授权给别人使用。

大数据技术公司。这一类公司通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的思想。比如，沃尔玛和Pop-Tarts这两家零售商就是借助天睿公司（Teradata）的分析来制定营销方案—而天睿这样的公司就是大数据分析公司。

大数据点子公司。Jetpac是通过想法将大数据转化为价值的一个例子。这家公司通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于这些公司来说，数据和技能并不是成功的关键，让这些公司脱颖而出的是其创始人和员工的创新思维，它们有实现数据新价值的独特想法。一般来说，这类公司的创始人会是外行人，他们思考的只是将数据转化为价值的可能性，而不考虑所谓的可行性—可行给技术人员操作。

当然，有一些公司，比如google，就是既拥有数据，也具有技术，同时还不缺点子的公司。以上分类，舍恩伯格也认为，只是针对采用信息化系统已久的非互联网公司的大数据价值链。而这些公司，正是大数据成为信息技术领域最新创新点的主要原因。

2、大数据处理：外包模式

国内一些具有大数据的非互联网公司也逐渐意识到了大数据能够带来的机遇。如上海的上广电就是一个典型例子。他们通过安置机顶盒，在给电视观看者提供数字内容的同时，也获得用户观看习惯的数据。同时，电视的位置也是可知的。基于这两种数据，就可以开发出一定种类的新的服务。

比如，基于客户行为的个性广告。如果某一家庭喜欢看少儿节目，广告就可以推送与儿童有关的。再比如，基于客户位置的信息推送。如果某用户居处附近有商家在打折，电视就可以推送这些打折信息。还比如，基于群体行为的广告定价。根据用户的过往数据，可以比较有把握地预测一部电视剧是否会火。

作为电视台，上广电（至少目前）并不具备大数据开发技能，但他们显然也不愿意将他们的数据直接交给大数据处理公司。所以如果他们想要从机顶盒数据中开发新的服务，一定会选择有能力的大数据专家或者公司上门服务。而他们根据计算结果进行应用即可。

3、大数据处理：中间商模式

在大规模爆发的大数据产业中，舍恩伯格认为，全新的数据中间商将横空出现。他例举了交通数据处理公司Inrix。这家公司位于美国西雅图，它汇集了来自美洲和欧洲近1亿辆汽车的实时交通数据。这些数据来自宝马、福特、丰田等私家车，还有一些出租车和货车等商用车。私家车主的移动电话也是数据的来源。一方面这家公司通过智能手机为用户提供免费的交通信息，另一方面它也得到了这些车辆的同步数据。Inrix是典型的独立运作的大数据中间商。每个汽车制造商可能都会利用自己的车辆在行驶过程中生成的成千上万条数据来预测交通状况，但这种预测不准确也不全面。但Inrix汇总了各家车厂车辆的数据，随着数据量的激增，预测结果越来越准确。

作为汽车制造商，各汽车公司并不一定掌握分析数据的技能，他们的强项是造车而不是路况分析。所以他们都很乐意第三方来做这一预测的工作，而且这些同行业的竞争者并不介意通过行业外的中间商来汇集他们各自手中的数据。

第三方的数据商出现固然是一种趋势，但这只解决了公司愿意提供的那些数据的处理。事关商业竞争力的数据一般公司是不会交给第三方数据公司的。

4、面对更大的客户需求，还有没有别的模式？

大数据越来越“大”。媒体、交通、运输、食品、医疗等领域，都有大量数据在持续积累当中。目前几乎所有对大数据的定义，都包括了“海量”、“实时快速”、“多种类”这三种特点。在大小公司的数据开发成为规模后，大数据将呈井喷状态。

根据IBM和牛津大学的合作报告《大数据在真实世界中的运用—创新型企业如何从不确定数据中提取价值》，2012年，在接受他们调研的1061家公司中，28%的公司开始试点和实施大数据战略，47%的公司处于规划阶段而剩下24%则处于概念认识阶段。他们的全球调研发现，虽然大多数企业对大数据是为何物还不清晰，但是都表现出了越来越浓的兴趣。未来越来越多的公司将意识到大数据的价值并寻找大数据技能和创新公司。不利用大数据的公司，很有可能被利用大数据的同行公司甩开。

可以预见，绝大多数公司都实行大数据战略后，数据分析的要求要比现在大的多。这一方面将会刺激大数据技术处理公司的增长，同时也会刺激大量的数据中间商的出现。但是，应对越来越大的大数据处理需求，还有什么新的模式来吗？

5、大数据处理的技术黑箱

大数据处理最主要的目标，就是将机器可读的“数据”转化为可以应用的“知识”。

无论是交给大数据技术处理公司，或者中间商，他们的工作内容，都是将公司的“数据”转化为可供利用的“知识”。而这个转化过程，一则需要一定的技术，二则需要一系列的软硬件。具体的转化过程—大数据处理的技术黑箱。如下图（由上海交大梁晓峣教授和朱其立教授联合绘制）所示。

在目前热炒的“大数据”概念中，其实对于不同企业意味着不同的意义。如，IBM、Intel等比较关注最底层的硬件层，oracle等则比较关注系统软件层，百度、街旁等比较关注最上面的应用软件层，现在最为大众所知的也是最上面这一层，如facebook、新浪微博的广告推送，腾讯的微信即时聊天服务等。

但是“知识工程层”，也就是，在硬件和系统架构的基础上，如何将“数据”转化为“知识”，一直被当作是大数据公司内部的技术能力，人们往往并不对其深入剖析。

6、一种新模式：大数据处理平台模式

事实上，从“知识工程层”着手发展，是可以大有作为的。如果一个客户，将其数据提供给一个大数据技术公司，该公司将其数据转化为“知识”，就完成了一种业务。这也就是本文一开头提到的第二种公司—大数据技术公司的业务流程。

如果，有多个客户将数据传给不同的数据技术公司，而这些公司同时在这一平台作业。那么，各个数据处理公司不仅分别满足了各自的客户，同时平台也汇集了各个客户的数据，进而有了将这些数据重组、混搭的机会。这种情况所能带来的效益更是不可估量的。因为大数据处理，数据越“大”，创新的机会越多。而在处理各种数据的基础上，平台的技术能力和数据基础也得到一步步加强。随着领先者效应，有可能成为大数据时代的No.1企业。

所以，有没有可能建立一个国有数据处理平台？此平台，可以处理各种客户的数据处理需求。在满足各种客户自身需求的基础上，还可以利用客户的数据—在客户同意的条件下—进行新的二次甚至三次开发利用。同时客户也可以分得新一轮开发所创造的价值。

大数据带动的在这一层级的产业需求，其下层的IBM、Intel、 oracle等以及其上层的facebook，百度等，由于“船大难掉头”无法顾及。当然，即便他们想发展，也还面临另两个关键问题。一，第一桶数据哪里来？二，由于客户众多，数据必须有足够的安全保障。

7、政府的作用：提供第一桶数据和控制平台发展方向

最近几年，政府数据开放运动（open data）在很多国家展开。这些国家公开政府数据的目的是为了刺激各种数据处理公司对政府的数据再利用从而创造新的价值。中国由于各种原因一直没有加入此一行动，所以大部分的政府数据是处于搁置状态的。

我们认为，在不公开政府数据的情况下，政府也可以成立一个国有的大数据处理平台对政府自身的数据进行处理。这样，既可以保证政府数据不发生外泄，同时也可以二次开发利用创造新价值。

而这一政府主导的平台，也可以接受各个企业将其数据融入。企业出于对政府数据安全的信任，会愿意将自己的数据分享到政府的平台。作为回报，企业可以得到该平台基于各种类型数据所计算出的知识，提供的各种创新应用以及盈利的一部分。

当然还有另外一种可能，企业而不是政府建设这一平台，但政府可以分享自己的一部分数据给以支持。通过这第一桶数据，该平台可以进一步吸收其他企业、社会数据，并最终壮大。

8、待讨论的问题

政府提供数据培养企业，一定存在这样一个问题：政府数据作为一种独特的资源，政府应当提供给哪个企业？选择企业，无论是一家还是若干家，都是“选择赢家”式的。这无疑会被认为是某种程度的政府“慈父主义”。欧美发达国家的处理方式，是将能够公开的政府数据公开在互联网上，任何企业或个人都可以开发利用。但是，在中国的背景下，一旦政府数据也通过互联网公开，很有可能被国外发达数据公司抢先开发。如何平衡这两者之间的矛盾，还需进一步研究。

参考文献：