时间:2023-07-09 08:23:54
引言:寻求写作上的突破?我们特意为您精选了12篇数据分析设计范文,希望这些范文能够成为您写作时的参考,帮助您的文章更加丰富和深入。
[教材分析及处理]
本节课是在学生上节学习了Excel2000数据编辑和计算的基础上,提高学生运用Excel2000知识解决实际问题的能力上的授课内容。
由于我校地处农村乡镇,学生水平参差不齐,基础不牢固,故我们在进行课堂教学时要降低难度,教师以指引等手段引导学生设计问题、思考问题、解决问题,以达到我们完成教学的目的。
本节课内容实践性强、难度不算大,但涉及知识面较广,所以借助于“校园卡拉OK大赛”评分表为实际问题分析对象,从排序、筛选到分类汇总三种操作入手,层层跟进,让学生体验如何利用技术方法实现分析数据的目的。最后的巩固练习通过二个实例,引导学生培养分析统计数据的能力。
[教学目标]
知识与技能:
1、 了解电子表格是进行数据分析的工具
2、 掌握排序、筛选和分类汇总等分析方法的特点与意义
3、 能运用排序、筛选和分类汇总等方法进行简单的数据分析
过程与方法:本节课通过对学生生活中的实际问题的需求分析,学生掌握排序、筛选、分类汇总等数据分析的分析的基本方法,以及利用这些方法所能实现的分析目标,培养学生观察问题、思考问题的能力和数据分析能力。
情感态度与价值观:体验利用数据分析手段分析数据的过程,感受数据背后所蕴涵的丰富信息,培养学生对数据的情感和从数据中探求信息的意识。
[重点、难点与疑点]
本节的重点是排序、筛选和分类汇总等基本分析方法的运用,难点是如何利用这些分析方法实现数据分析的目的,疑点是这些方法所能实现的分析目标。
[教法设计]
本节课教学重点在于如何运用EXCEL知识解决实际问题,所以教学过程中使用了分组讨论法、作品展示激励法等多种教学方法以激发学生完成课堂教学任务。
[学法设计]
学生思维活跃,有强烈的求知欲望,在教学过程中,力争抓住这一特点,并强化其好胜心理。授课过程中,让学生亲自体验信息处理的过程,自主学习与合作讨论相结合,加强合作意识的培养。
[教学过程和教学模式]
根据本节课的知识特点、学生已有的知识水平和教学目标的确定,我选用了自主学习的教学模式,主要采用学生分组合作研讨,自身动手实践的方法。课前准备为大屏幕投影,待处理的电子表格和教学短片。
[教学过程设计]
提出问题------分组解决实际问题-----成果展示与评价------课堂小结 ――知识拓展。
[教学过程]
1、 提出问题,激发兴趣
*屏幕展示卡拉OK比赛现场花絮,把学生的注意力吸引到课堂上来,激发他们亲自实践的欲望。
*场景及解说:为庆祝“五四”青年节,学校举办了一场校园歌曲卡拉OK大赛,赛后德育处的李主任找到我让我帮他一个忙。“帮他分析出每名选手的总名次、级部名次 ,评出最佳校园歌手、年级优秀歌手 ;每个年级的选手得分情况 ;哪个年级的成绩好,评出优胜年级 。 根据李主任提供的数据,我们同学们给他解决一下这几个问题好不好?要想处理好这几个问题,我们必须学会如下知识点:排序、筛选、分类汇总。导入新课。
*打开待处理的数据表(屏幕广播),
*提出本节课的任务(屏幕广播):
任务1按“得分”排序,得出每名选手的总名次,评出最佳校园歌手(排序、自动填充)
任务2、按“年级”和“得分”排序得出每名选手的出级部名次,评出年级优秀歌手(排序、自动填充)
任务3 利用筛选功能显示分析每个年级的选手得分情况(自动筛选)
任务4 试分析哪个年级的成绩好,评出优胜年级(分类汇总)
2、自主学习,合作研讨
首先将学生成四个小组,以小组为单位阅读、实践和研讨本节课的知识要点。要求借助计算机进行实践并在小组内思考、探究完成学案。(教师巡视指导)
(本环节的设计目的是:知识点较简单,学生自主学习与合作学习相结合,加强交流意识、合作意识的培养)
3、强化应用--------学生尝试解决问题
(1)、排序方法:请参考学案,注意根据需要选择不同的排序方式以及自动填充名次序列的方法
(2)、筛选方法:请参考学案,注意筛选只是将不满足条件的信息暂时隐藏,不等于删除操作,筛选对文件信息没有破坏作用。学生可自己尝试如何恢复显示所有信息。
(3)、分类汇总:操作思路:先分类(排序)再统计(求和、平均值、计数等)操作过程参考学案,值得注意的是,在分类汇总前,必须先按分类项目对表格数据进行排序,否则,将不会得到正确的结果。
要求:在完成上述任务后,以小组为单位报告。
得出基本操作步骤,学生相互协作自主合作完成上述问题,教师巡视指导。
4、成果展示与评价
(1)每组各选出一名同学在大屏幕上展示作业
(2)全班交流:各组间互帮互助,解决(1)中出现的实际问题并交流操作
(本环节的设计目的是拉近小组间的差距,防止某一个小组的工作出现停顿情况,而且通过小组间的操作心得交流,各组可以有针对性地调整本组的操作计划,提高学习效率。)
(3)教师点评。
A、教师从学生在操作技巧上的表现进行评价:例如数据处理结果正确?方法是否得当?问题出在哪里?如何补救?
B、教师从学生在操作过程中的表现上进行评价: 例如考虑问题的角度是否恰当?思考问题的方式是否新颖独特?有无独到的见解?有无值得大家学习的精神和勇气?
(本环节的设计目的是:展示作品,激励学生的成就感。)
5、课堂小结
同学们,你们今天运用自己的知识成功帮助李主任解决了难题,我为你们骄傲。通过今天的学习,你们掌握了一些信息处理的知识,希望对你们以后的学习或工作中有所帮助。
(本环节的设计目的是:让学生抓住课堂内容的主干。)
[巩固与提高(课后作业)]
(1)分析某次运动会初一级部运动员成绩,为学校挑选各项目的运动员,并做出公平合理的评价。
(2)分析我国部分城市月平均气温表,按年平均气温排序,分析哪些城市年平均气温最高或最低;并找出月平均气温最高或最低的城市,试用你学过的地理知识解释其原因。
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2013)12-2798-04
目前在激光准直、测角、自动跟踪等精密光电检测系统中,探测目标位置的连续变化已经变得非常重要。位置敏感探测器(Position Sensitive Detector,PSD)是对入射到光敏面上的光斑能量中心位置敏感的光电感应器件,可以利用少数几个输出光电信号的相对程度来计算位置信息。由其构成的数据分析系统具有位置分辨率高、响应速度快等特点[1];四象限探测器(Four-Quadrant photodetector,QPD)通过比较四个象限的电流来确定光斑中心在二维平面上的位置坐标,其数据分析系统可以探测目标位置的连续变化,具有位置分辨率高、响应速度快、调节方便等特点[2-3]。该文在对光电位置敏感器件构成的数据分析系统研究的基础上,开发了一套上位机软件界面。该上位机软件交互界面设计了供用户选择位置敏感器件型号及输入系统修正参数的窗口,通过对串口通信和USB通信方法的研究,设置了上下位机通信控制部分,同时,设计了光斑中心位置数据文本直观显示、模拟坐标绘制、历史信息保存模块,及设备状态显示模块。软件功能全面、界面友好、操作直观、方便,且适用于其他型号的位置敏感器件数据分析系统中。
1 开发工具简介
Visual C++ 6.0拥有强大的功能和友好的界面,能为用户提供一个良好的可视化开发环境,它将程序和资源的编辑、编译、调试和运行融为一体,且提供了大量的程序开发工具。MFC是它一个庞大的类库,实现了标准的用户接口,提供了管理窗口、菜单、对话框的代码,可实现基本的输入/输出和数据存储,为用户开发Windows应用程序建立了一个非常灵活的应用程序框架[4]。
在MFC中对消息的处理利用了消息映射的方法,该方法的基础是宏定义实现,通过宏定义将消息分派到不同的成员函数进行处理。因此,在这种机制的支持下,MFC具有强大的消息处理能力[5]。
借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制,可以很便捷地开发上位机软件交互界面。
2 交互界面设计
上位机软件交互界面包括供用户选择位置敏感器件型号及输入相应修正参数的窗口部分,上下位机通信控制部分,数据/设备状态显示部分。
2.1 供用户选择输入的窗口设计
利用下拉式列表框控件提供供用户选择位置敏感器件型号的窗口。通过给其连接变量m_Type,利用m_Type.AddString()函数为列表框添加选项,m_Type.SelectString(-1, "HY1315(Active area 1.3*15mm)")函数添加默认选项。软件通过m_Type. GetCurSel()函数获得用户的选择,完成相应量程及坐标轴范围的改变及显示。利用编辑框控件提供用户输入增益及修正系数的窗口,以完善数据处理[6]。
2.2 上下位机通信控制模块设计
上下位机通信控制模块是数据分析系统实时数据采集的核心部分。设计中采用了串口通信和USB通信两种方式进行数据采集与传输。其中,串口通信用于测试,USB通信用于实际数据传输。
图1 USB通信流程图
2.2.1 串口通信控制部分
利用单选按钮控件提供串口号选择窗口,通过函数GetCheckedRadioButton()获取串口号。通过按钮控制串口设备的状态,按钮交互的实现,通过MFC类向导对按钮按下时,触发消息BN_CLICKED进行拦截,并重写对应的消息处理函数On*Button(),在函数中完成相应按钮的功能。串口控制区中,“Open”、“Close”按钮对应的函数在获取用户选择的串口号后,分别完成对应串口的打开及关闭功能;“Start”、“Stop”按钮通过控制参数m_SPStop控制串口通信的开始与否。借助串口类成员函数OnComm()实现接收字符及相应数据处理的功能[7]。
2.2.2 USB通信控制部分
USB通信接口具有即插即用的特点,方便与微处理器进行联机通信,同时USB的通信效率要远远高于RS232、RS485等通信接口。USB通信控制部分通过按钮控制数据传输,根据用户选定的位置敏感器件型号,进行相应的数据处理。通信程序流程图如图1所示。
“Link”按钮通过标志位m_OpenFlag控制设备是否连接。“Start”和“Stop”按钮通过标志位m_stop控制数据接收与否。“Suspand”按钮通过参数m_pause控制数据传输的暂停和继续,当按下该按钮时,按钮改变为“Continue”字样,同时通过调用Invalidate()函数使整个客户区无效,这时Windows会在应用程序的消息队列中放置WM_PAINT消息,MFC为窗口类提供了其消息处理函数OnPaint();当再次按下该按钮时,OnPaint()函数负责重绘窗口,从而重新进行数据传输。
上下位机的数据通信通过直接调用CH375DLL.dll动态链接库实现。CH372是一款USB总线的通用设备接口芯片,是芯片CH375的功能简化版,硬件成本更低,且完全兼容CH375,可以直接使用其WDM驱动程序和动态链接库。CH372在计算机端提供了应用层接口,即由动态链接库DLL提供的面向功能应用的API,包括:设备管理API、数据传输API及中断处理API。设备管理API包含了打开设备函数CH375OpenDevice(),关闭设备函数CH375CloseDevice();数据传输API包含了读取数据块(数据上传)函数CH375ReadData(),写出数据块(数据下传)函数CH375WriteData()等[8]。
2.3数据/设备状态显示设计
上位机软件在数据传输过程中,借助CString类成员变量stateinfo直观显示设备状态。数据接收处理后,借助Format()函数,以文字形式直观显示光斑中心位置的横纵坐标值,利用绘图函数在模拟坐标中显示光斑位置。借助文件实现数据历史信息保存的功能,关键代码如下:
GetDlgItem(IDC_RECEIVE_EDIT)PostMessage(WM_VSCROLL,SB_BOTTOM,NULL);
CString strPath;
图2 HY1315系统调试结果图
GetModuleFileName(NULL,strPath.GetBufferSetLength(MAX_PATH+1),MAX_PATH);
strPath.ReleaseBuffer();
//此时strPath内容为工程文件全路径,如:E:\TestPro\Exam\ Test.exe
//以下函数作用是获取最后一个"\"的位置
图3 四象限探测器系统调试结果图
int nPos=strPath.ReverseFind('\\');
//开始取全路径
strPath=strPath.Left(nPos+1);//此时strPath保存为当前工程的全路径,如:E:\TestPro\Exam\
//保存文件
CFile m_rFile;
if(!m_rFile.Open("Rec.txt",CFile::modeCreate | CFile::modeWrite)) {
AfxMessageBox("创建记录文件失败!");}
m_rFile.Write(m_Receive,m_Receive.GetLength());
m_rFile.Close();
3 实际调试结果
上位机软件设计完成后,运行程序,选择位置敏感器件的型号为默认选项,即一维位置敏感探测器HY1315,连接其对应的系统设备,输入需要的增益参数,选择串口号,单击串口控制区“Open”按钮打开串口,“Start”按钮接收数据,此时上位机界面数据、设备状态显示,模拟光斑坐标结果如图2所示。再次运行程序,选择四象限探测器型号,即QP36(Active area 6*6mm),连接相应系统设备,单击USB通信控制区按钮,可以控制数据传输设备的状态,单击“Link”按钮打开设备,“Start”按钮接收数据,此时上位机软件界面结果如图3所示。
4 结束语
针对位置敏感器件构成的数据分析系统,通过对串口通信和USB通信方法的研究,借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制,设计了上位机人机交互界面。调试结果证明,该界面能够实现用户选择输入,实现数据的上下位机通信传输,直观显示数据,准确绘出光斑在模拟坐标中的位置,完成光斑位置的历史信息存储。设计为数据分析系统提供了一套功能全面、界面友好、操作直观、方便的上位机软件。应用中只需修改对应的数据处理,即可应用到其他类似的数据分析系统中,很大程度上增强了系统的实际应用性。该界面已用于PSD及QPD数据分析系统试验箱中。
参考文献:
[1] Henry J,Livingstone J.Improved position sensitive detectors using high resistivity subs- trates[J].J Phys D :Appl Phys ,2008,41.
[2] Liu Yun,De Xu,MinTan.A new pre-alignm ent approach based on four-quadrant-photo- detector for IC mask[J].International Journal of Automation and Computing,2007, 4(2): 208 -216.
[3] Guo Li,Zheng Shuang.A high-performanc -e smallsignal amplifier[J].Journal of Northe-ast Agricultuial University,2005,12(2):141-145.
[4] Wang Ziying.The design of scene simula- tion system based on MFC programming fra- mework[J].Advanced Computer Control (ICA CC).2010,V3: 302-305.
[5] 潘恒.基于VC++/MFC的麻将牌连连看程序设计.[J]科协论坛:下半月,2011,25(5): 53-54.
[6] 揣锦华.面向对象程序设计与VC++实践[M].西安:西安电子科技大学出版社,2005:201-204.
一、引言
随着“互联网+”时代的到来,各行各业都发生了巨大变化。把互联网平台、云数据、信息通信技术与教育行业结合,或许可以在教育领域里创造一种新生态。[1]在互联网信息技术支持下,职业教育手段多样,学习途径也可以变得简单方便。信息化的教学手段不仅可以激发学生的学习兴趣,更可以使学生利用零散时间学习,打破传统教学时间和地域的限制。除此外,利用平台反馈的各种数据,教师可以随时掌握学生的学习进展和学习效果,因地制宜规划教学任务、改进教学方法、调节教学进度等。另一方面,基于闯关模式的信息化教学平台也在逐渐走入中职院校的教学课堂。由于目前大多数中职院校的英语教学主要采用传统的课堂教学手段,即“填鸭式”的教学方法。在这种教学情形下,学生学习的主动性不高,师生课堂互动少,学生缺乏学习成就感,厌学情绪强烈,导致教学效果不理想。因此,“互联网+”背景下的闯关模式教学正是利用中职学生爱玩游戏的天性,在模拟闯关游戏的情境下,在教学平台上进行游戏式英语教学。[2]让学生在游戏中主动学习,在学习中感受到游戏带来的乐趣,达到在轻松氛围中掌握知识的目的。与此同时,闯关模式的教学进度和教学成果的数据分析功能也尤为重要,通过数据分析教师可以更好的反思自己教学方式需要改进的地方,从而进一步优化教学内容。文章通过研究闯关模式的教学意义、教学流程以及教学数据分析在中职英语教学的应用,可为现阶段基于闯关模式的中职英语教学实践提供有效的方法,具有中职英语教学借鉴价值。
二、闯关模式在中职英语的应用
职业教育是以学生服务为核心的服务型教育,目的在于培育学生在步入社会工作时拥有一技之长,而不仅仅是一纸证书。大部分传统课堂教学有师资、授课时间和地点的要求,由于课时和课外精力有限,教师往往以急于完成教学大纲要求,采取“满堂灌”“一刀切”的教学方法。由于中职院校学生的基础较差,学习主动性不强,学生彼此能力不一,教师对学生的基础及进步空间不了解,“教师灌输,学生厌学”的教学方式使得教学效果很不理想。英语作为基础学科具有一定的特殊性。在中职英语教学过程中,师生互动和生生互动是非常重要的学习过程,学生敢于表达是学好英语最有效的方法。所以,在教学过程中,首先应激发学生的学习兴趣,提高学生的学习自信心,让学生敢于用英语表达,乐于用英语进行互动。使学生于交流表达互动中,逐步掌握英语的词汇、语法等。闯关模式是基于游戏设置,通过合理设计“游戏关卡”来逐层加深知识的难易程度,整个闯关游戏所有的关卡设置内容既包含理论知识所需要掌握的知识要点,又包含具体应用的实操技能训练环节,形式多样。闯关模式的实质是利用游戏激发学生的学习兴趣,在游戏成功闯关后让学生获得学习成就感,增强学习信心与动力,从而爱上学习英语,变被动学习为主动学习。[3]闯关模式设置时一定严格按照教学大纲的内容,并且时刻注意学生学习过程中反馈的各种数据,根据数据分析掌握学生学情。
(一)闯关模式在中职英语学习中的设置
闯关模式按照学习内容的难易程度设置成不同等级的关卡,以移动终端的网络平台为支撑,学生以个人或小组的形式进行闯关。闯关模式的目的在于吸引学生主动参与学习,通过这种教学模式提高了学生应用英语的整体水平,同时也提升了教师的英语教学技能和研究能力。所以,游戏是手段,不能只注重学习过程,而忽视教学成果。学生要想闯关成功,就必须要掌握融入到闯关游戏中的各种英语知识和相关表达。闯关模式教学内容的设定是核心工作,是教师应“三思而后行”的任务。教师应依据教学任务,首先将教材内容进行分析梳理,按照教学流程(单词-语句-阅读)或者所学内容的难以程度进行梯度划分,将梯度设置成“关口”。[4]在每一次闯关之前,教师可以将教学任务中布置的闯关相关词汇和句型进行讲解,建立所谓的“闯关须知”,学生要想闯关成功,必须先学会相关的词汇和句型。开始闯关后,可将闯关任务分解,以个人或团体的形式闯关。教师可以将全部的学习任务放入“通关锦囊”中,供闯关失败的学生参考,为下一次闯关做储备。在闯关任务完成后,教师应及时通过后台数据了解学生的学习情况,如答题速度,思考时间,正确率,易错选项等数据,及时对学生的闯关结果进行考核与评价,以最快的速度了解学生学情,进而对教学内容和教学进度进行调整,以适应学生的学习步伐。教师在考核评价完成后应将闯关结果及时反馈给学生,学生在收到教师根据数据发表的相关评价后及时进行学结,为以后的闯关打好基础。下面以“MyInterest”主题教学任务为例,按照上述流程教师可将该主题分解成“兴趣词汇”“兴趣对话”“兴趣展示与比拼”等几个游戏环节,按照对应内容依次设立成“基础词汇关”“提升句型关”“终极表达关”“兴趣展示关”等难度不一的关卡,再根据教学任务要求,将和MyInterest有关的词汇、句型和片段阅读放入“闯关须知”中,让学生进行闯关前预习,以便于他们掌握通关的基本技能,降低闯关难度。闯关过程中,教师也可结合学生闯关的情况,随时发现学生的学习问题,随时记录,以便后期问题的讲解。任务结束后,将教学大纲中的主题相关课程讲解放在“通关锦囊”中,帮助学生学结。
(二)闯关模式教学设置的注意事项
首先,闯关设置的教学内容应遵循教学大纲规定。按照大纲规定的课程学习内容进行选择,并且要注重理论与实际的结合。闯关任务的设置应将教学目标自然地融入关卡中,紧密结合实训课程的能力目标,注意关卡中知识的环环相扣,知识点的引入要全面且不超纲。其次,教师要明确设置的关卡难度,根据教学内容的由浅入深,闯关所需掌握的知识也应按逐级增加的原则设置,这样学生才会有闯关的成就感,有继续闯关的勇气,在逐级过关后积累知识。[5]例如闯关时设为一颗星难度、两颗星难度、三颗星难度等类推。每一次闯关都要明确必备知识,时间限制和过关要求等等。以上文提到的“MyInterest”话题为例,具体任务分解可参照一下表格:在学生完成任务后,教师可以要求学生写出完成任务后的困惑、感想及感悟等,同要求掌握的词汇和句型一并放到“通关锦囊”中,作为闯关失败重新闯关或者后面闯关同学的闯关指南。最后,闯关设置任务切勿本末倒置。闯关的是为了提高学生的学习兴趣,使学生在轻松愉快的环境中完成学习。闯关不是目的,达到教学目标让学生掌握必备的英语技能才是最终目的。因此,在闯关后,教师应该针对学生闯关过程中表现出来的学习情况、能力表现等进行客观、真实地评价。利用平台数据的反馈建立相应的学生测评报告,将实训成绩纳入学生期中期末的总成绩中,激发学生的竞争意识。笔者曾针对中职英语教学现状和中职英语闯关模式教学现状对学生进行过问卷调查,问卷调查的对象分别是笔者所在的南靖第一职业技术学校2015级随机抽取的60名学生,共发放60份问卷,收回60份问卷,回收率100%。虽然该调查具有局限性,但是在一定程度上也反映了目前中职学生英语学习的现状对比情况。从问卷调查结果中可以看出:闯关模式教学可以提高学生的学习兴趣,有助于提高学生的英语学习成绩,并且有效提高了英语课堂的学习气氛,提高了学生的学习主动性。
三、闯关模式教学中数据分析的重要性
互联网带动了云数据的发展,使人们无论在何时何地都能用数据进行总结分析和预测。在中职英语的闯关模式教学中,教师除了设置闯关教学内容外,还要重视平台反馈的数据,要对数据进行收集整理和分析,从数据中采集学生学情等信息。利用闯关模式教学的目的在于激发学生的学习兴趣,如何验证教学模式的有效性?闯关模式的平台可以设置诸多数据,仍以上文提到的“MyInterest”学习主题的第一关基础词汇关为例,可以根据单词的闯关测试设置拼写速度、反应时间、正确率、历史错误率等数据。学生每闯过一关,教师就可以在后台收集相应的数据,收集所有学生的数据后,进行分析,为每一学生建立测评报告。通过测评报告,教师可以了解学生知识掌握情况,结合线下教学,帮助学生补短板,提高整体英语学习水平。除了学生的个人测评报告,教师还应建立闯关模式教学任务的整体测评报告。例如:对于错误率较高的单个知识点找到学生犯错的共性,利用线下教学面授优势,为学生细心巧妙讲解,突破重点难点。同时教师利用闯关模式平台数据可以直击学生学习难点,有效地指导学生学习,利用数据结果提高备课速度,不断优化设定的教学内容。总之,应用闯关模式等其他互联网平台作为新型教学手段,改革传统中职英语的教学模式,可不断提升中职学生对英语的学习兴趣和能力,同时通过平台中的数据反馈与分析还可以大大提升中职英语的教学成果,可实现为企业输送优秀的英语人才。
参考文献:
[1]张聪.基于“互联网+”积件式资源建设的中职英语教学探索[J].考试周刊,2016(32).
[2]王彩云.“互联网+”时代背景下的中职英语教学初探[J].教育(文摘版),2016(2).
[3]曾丽婷.闯关式翻转课堂教学模式构建与实施[J].中国教育信息化,2015(12).
中图分类号:TU2文献标识码: A
一、工程概况
北京铁路地下直径线工程,位于北京市中心区,隧道从前门东大街起,沿前门大街、宣武门西大街向西至长椿街后拐至西便门桥、天宁寺桥、白云路桥北侧,斜穿白云路桥至小马场附近出地面。隧道主要沿前门大街一线布置。前门大街3#地下人行通道修建于上世纪九十年代初期,位于前门东大街北京规划展览馆、正阳门车站旧址北侧,3#通道主通道为“回”字型闭合框架结构,宽9.0米,净高2.5米,长35米。梯道坡度为1:3.8和1:3.3两种,为“凹”型钢筋混凝土结构。
地下直径线将从3#通道南侧下方约9米处由西向东穿过。盾构直径12米。施工过程中对南侧部分主通道及两座梯道可能造成影响。
二、3#通道允许变形值
北京市市政专业设计院股份公司受北京铁路局北京站至北京西站地下直径线工程建设指挥部委托,对3#人行通道的现状进行检测设计咨询,评价地下穿越工程对通道结构安全的影响,提出通道的允许变形控制值,确定监测原则及技术标准。3#通道受盾构施工影响,主通道南侧部分(南侧变形缝向南)可能发生整体竖向沉降;在盾构施工掘进过程中,南侧梯道可能因施工扰动发生不均匀沉降。由于原设计梯道考虑主要受力方向为结构环向,纵向配筋较少,因此在施工过程中应尽量避免梯道纵向的不均匀沉降。参阅原通道设计资料,得出地铁直径线下穿3#地下通道应满足的控制技术指标:
1、主通道纵向(南侧变形缝以南部分)不均匀沉降控制值为5mm。主通道变形缝处不均匀沉降控制值为5mm。整体沉降控制值为10mm。
2、梯道纵向不均匀沉降控制值为5mm。主通道与梯道及梯道变形缝处不均匀沉降控制值为5mm。整体沉降控制值为10mm。
三、通道实施监测的技术方案
1、监测点的布设
1) 沉降监控网基准点布设原则:①稳定,作为变形监测的基准点,一定要远离施工影响区域,并有一定的埋设深度和不易遭受施工破坏;②联测方便;③至少有3个以上基准点,以便通过基准点的联测,检验基准点的稳定性,本工程布设了3个墙水准基准点。
2) 变形观测点的布设
变形观测点的布设原则:①监测点布设在被观测通道最能反映变形特性的位置上,需布设在主通道、梯道侧墙端头、沉降缝两侧, 布设在通道侧墙不同层高的分界处两侧;②点位应布设在便于观测、点位稳定和施工干扰小的地方;③监测点的数量应能足够反应整个建筑物基础的变形情况,并满足变形分析的需要,本工程共布设了24个变形点,如图1
图1变形点布设图
2、监测精度及使用仪器
《建筑变形测量规范》规定建筑物沉降观测等级按网的测站高差中误差µ确定,观测点测站高差中误差µ按下列公式估算
µ= (1)
µ=(2)
ms沉降量s的测定中误
m∆s沉降差∆s的测定中误差
QH网中最弱观测点高程的协因数
Qh待求点高差的协因数
沉降观测的精度要求,应当取决于观测的目的、建筑物预计允许变形值及建筑物的结构和基础类型。根据《建筑变形测量规范》为了监测建筑物的安全,ms、m∆s按下列规定确定:
1)沉降量等绝对沉降的测定中误差ms的确定,对于特高精度要求的工程可按地基条件,结合经验具体分析确定;对于其它精度要求的工程,可按低、中、高压缩性地基土的类别及建筑物对沉降的敏感程度的大小分别选±0.5mm、±1.0mm、±2.5mm,本工程地基土为中压缩性地基土,沉降量测定中误差ms取±1.0mm。
2)沉降差的测定中误差
不均匀沉降差的测定中误差,不应超过其允许变形值的1/20,本工程的沉降差测定中误差为m∆s=5mm/20=±0.25mm。
3)最弱点高程的协倒数
按本工程最长的水准路线计算最弱点高程的协因数,即权倒数,最长的水准路线BM12321190810131514121109050301BM2,最弱点为14点,14点距离BM1、BM2分别为9站。最弱点高程的协因数可按下式计算
(3)
n1、n2为最弱点距离起算点BM1、BM2的测站数
经计算最弱点14点高程协因数为QH=4.5
4) 纵向沉降差的协因数
本工程12点、14点为纵向沉降差异测点,BM1距离14点9站,BM2距离12点8站,12点、14点间隔1站,沉降差协因数可按下式计算
(4)
n1为起算点BM1至14点测站数
n2为起算点BM2至12点的测站数
n3 为14点、12点的测站数
经计算14点、12点的沉降差的协因数Qh=0.94
5)按公式(1)、(2)计算单位权中误差,确定本工程的测量精度
按(1)计算µ=0.33
按(2)计算µ=0.18
测站高差中误差µ最小值为0.18mm,介于变形测量规范一级、二级之间,按照从严掌握的原则,测量等级应为一级,应采用trimbel Dini03数字水准仪、铟钢条码尺观测。
3、监测频次
根据北京市地方标准《地铁工程监控量测技术规程》,确定监测频次:当开挖面到监测断面前后的距离L≤2B时,1-2次/天;当开挖面到监测断面前后的距离2B5B时,1次/周,基本稳定后1次/月(B:隧道直径或跨度;L:开挖面与监测点的水平距离)。当出现情况异常时,应增大监测频率。
4、主要监测技术
1)本工程基准点间联测,基准点、变形点间观测按变形测量一级的方法进行观测,基准点之间的水准联测,采用闭合水准路线的形式;监测点之间的水准观测,也采用闭合水准路线的形式,并至少应构成2个以上闭合环;而基准点与监测点之间的水准联测,采用往返复合水准路线的形式,之所以设计这样的水准观测路线,是因为闭合环或复合水准路线都具有多余观测,有利于检测外业观测中的误差和错误,提高外业观测数据采集的质量和可靠性,同时还有利于数据的严密平差和提高精度。
2)沉降观测的自始至终要遵循“五固定”原则。
①沉降观测依据的基准点、工作基点和被监测物上的沉降观测点,点位要稳定,只有这些观测依据稳定才能客观的反映出沉降的变化量,它们的变化代表了沉降物体的变化情况。
②仪器、设备要固定,每台仪器设备都有它自己的系统误差,都具有一定的精密度,这是不可能避免的,在同一整体工程监测过程中,必须固定所用仪器。
③观测人员要固定,观测者是通过自己的感觉器官来进行工作的,由于每个人的感觉的鉴别力的局限性,在进行仪器的安置、瞄准、读数等工作时,都会产生一定的误差,对观测结果会有一定的影响。
④观测时的环境条件基本一致,在观测过程中所处的外界自然环境,如地形,温度,湿度,风力,大气折射等因素都会给观测结果带来种种影响,而且这些因素随时都在变化,因此对观测结果产生的影响也随之变化,这就必然对观测结果带来误差,有些外界条件在实际工作中无法避免,在这所说的是尽量在同等条件下进行观测,为了减弱大气折射的影响,我们采取的措施就是在每一天的固定时间段进行,由于空气温度的不均匀,将使光线发生折射,视线即不成为一条直线,所以我们选择每天的固定时间段,温度,大气折射条件基本相似,可以减少误差。
⑤观测路线、镜位、程序和方法要固定,前后视距离相等的办法来减少由于仪器视准轴不平行于水准轴给观测结果带来的影响;测站上的观测程序可减弱由于仪器下沉等随时间变化对观测结果的影响,这些固定的方法都可以有效的减小误差。
以上措施在客观上尽量减少观测误差的不定性,使所测的结果具有统一的趋向性,保证各次观测结果与首次观测的结果可比性更一致,使所观测的沉降量更真实。
5、沉降监测的数据处理与分析
监测数据处理与分析原则:
①首先进行数据的预处理, 即在观测过程中,实时地计算各测站的各项精度指标,对于超限的测站,应及时地进行重测、补测,当一条路线观测结束,计算路线的往返测较差或闭合差,以评定外业观测的精度。
②平差计算前首先对基准点的稳定性进行检验和分析,如果发现基准点有变动,不得使用该点作为起算点。经过多次复测或某期观测发现基准点变动,应重新选择参考系并使用原观测数据重新平差计算以前的各次成果。
③观测点的变动分析应基于以稳定的基准点作为起始点而进行的平差计算成果,二、三级及部分一级变形测量,相邻两期观测点的变动分析可通过比较观测点相邻两期的变形量与最大测量误差(取两倍中误差)进行,当变形量小于最大误差时,可认为观测点在这两个周期间没有变动或变动不显著;
通道沉降观测数据统计分析:
从沉降量-时间累计曲线图可以看出:
①在整个监测过程中未发现通道、梯道突然大量沉降、不均匀沉降等现象,从2013年2月1日盾构机掘进到通道部位起,通道下沉变形明显增大,累计沉降量与时间曲线呈单边下行光滑曲线,实测结果表明,通道总体沉降发展正常。
②主通道最大累计沉降量-7.38mm(20点),点位于通道的南端,梯道最大累计沉降量为-9.52mm(8点),点位于通道的西南口侧墙,均未超过相应的沉降允许变形值;
③主通道的纵向差异沉降值为-3.61mm(12点与14点),主通道沉降缝两侧沉降差最大-1.82mm(12点与10点),未超过差异沉降允许变形值。
④通道西南口及其与主通道结合处没发生裂缝、偏移等结构破坏情况,主通道伸缩缝没有变化,结构安全稳定。
四、结语
建筑物沉降观测不仅仅是测量学的一个范畴,对于建筑物结构、地质、工程施工都需要有一定的了解,这对于整个沉降观测的点位布设、沉降变形分析都很重要。
通过对建筑物地基沉降变形观测所需测量精度的分析和实例分析可以看出,确定合理的观测精度,然后制定相应的测量方法和相关的限差要求,是确保观测成果反映变形动态信息的基本条件。观测精度合理,测量方法正确,观测中严格执行相关限差要求,才能及时地为决策者和有关工程技术人员提供科学依据,从而保证建筑物安全和施工人员的安全。
严格按照《国家一、二等水准测量规范》规定的作业方法进行测量作业,立水准尺必须用尺撑,数字水准仪的i角稳定后每半个月检核一次,使i角尽量小,这样才能提高测量的精度。
中国分类号:TP311・1文献标识码:A文章编号:10053824(2013)03003004
0引言
物联网(internet of things, IoT)是指将各种信息感知设备及系统通过接入网络与互联网结合起来而形成的巨大的智能网络[12]。物联网作为一次技术革命,代表了通信技术和计算技术的未来,被称作继计算机和互联网之后,世界信息产业的第三次浪潮[3],受到了世界各国政府和科研机构的广泛关注[4]。
作为物联网的主要支撑技术之一[5],信息处理软件直接影响着物联网的用户体验及其进一步发展[67]。但是已有的物联网数据处理软件的功能较为单一,可扩展性不足,应用领域受限。为了改善物联网数据处理软件的功能性和扩展性,为用户提供快速、高效的物联网实时管控方案,本文设计并实现了一种模块化的多功能的物联网数据分析与处理软件。该软件采用模块化设计,以VC++ 6.0作为主控模块实现环境,便于在Windows系统环境下方便地使用本软件;服务器采用Apache Tomcat 6.0搭建;数据库模块基于MySQL 6.0实现,以保证软件的易扩展性和稳定性;拓扑显示模块采用Flex和flash player ActivX 10.0进行开发,以改善用户体验。
1软件的总体设计
1.1主要功能
本软件旨在为用户提供一套快速、高效的物联网实时数据处理与管控方案,其主要功能包括以下几个方面。
1)网络数据解析和处理功能:软件可对物联网数据进行协议解析、分析、处理和存储等操作,并同相邻网络层设备进行数据交互。
2)网络数据的存储功能:软件可通过数据库读写操作,将网络重要历史数据存储于远程数据库中,并可进行读取等操作,为物联网网络管理人员提供便利。
3)网络拓扑显示功能:软件采用FLEX技术绘制目标物联网网络拓扑,并通过定时发送拓扑数据请求实现网络拓扑状态图的实时更新,提供了优越的用户体验。
4)网络信息查询和控制功能:本软件集成了网络节点信息的显示、查询能力,用户可对网络节点相关状态进行针对性的查询;同时,提供网络属性调整和节点控制功能,用户可根据实际需要修改网络节点参数,控制网络运行情况。
1.2软件系统总体架构
本软件系统运行于C/S架构的服务器平台上,作为远端服务器控制软件完成网络监听与数据包接收、网络数据分析处理、网络拓扑状态显示以及节点信息查询与控制等物联网管控工作。系统总体组织架构图如图1所示。
图1软件总体架构图软件功能模块主要由6个部分组成,分别是网络通信模块、参数设置模块、数据处理模块、拓扑显示模块、信息查询模块和数据库交互模块,如图2所示。其中,网络通信模块完成底层的网络通信工作;参数设置模块接收并设定用户输入的软件工作基本参数;数据处理模块负责数据包的解析、判别和数据分类处理工作;拓扑显示模块负责为用户提供网络拓扑和节点简要信息的显示;信息查询模块为用户提供网络节点详细属性的查询和节点控制;数据库模块负责完成网络数据的存储和查询等工作。
图2软件系统功能模块1.3软件系统工作流程
本软件功能模块间的数据流关系如图3所示。各模块间通过相应接口完成网络数据的上传、分析与处理和控制命令的下发操作。首先,软件接收来自网络的各类型数据,并对其进行分类与解析。随后,软件将数据处理结果通过数据库模块进行存储。在此基础上,拓扑显示模块和信息查询模块分别通过查询/更新数据库进行信息显示和用户控制指令的下发操作。数据处理模块和数据库模块扫描数据库中的相应表项,提取控制信息后通过网络通信模块下发至目标网络。
图3软件工作流程图2主要功能模块的实现
2.1网络通信功能模块
网络通信模块是本软件的底层数据通信模块,该模块采用完成端口模型(I/O completion port, IOCP)作为本软件的网络服务引擎,由于IOCP规定了并行线程的数量,并使用线程池对线程进行管理,从而避免了反复创建线程和线程调度的开销,提高了本软件的并行处理能力。该模块通过构造完成端口模型类(IOCPModeSvr),使用CreatIOCompletionPort()函数创建完成端口对象;构造ListenProc()函数监听来自物联网感知层网络网关节点的连接请求;使用bool CIOCPModeSvr::SendMsg()函数响应上层控制命令的下发要求,向客户端发送控制命令帧。
2.2数据分析与处理功能模块
数据处理模块是物联网数据分析与处理软件的关键组成模块之一。该模块接收来自底层网络模块的数据帧,并进行分类、分析、处理及重构等操作,为上层数据应用奠定数据预处理基础。通过创建DataProc类实现该模块,具体包括:
1)通过内联函数checkType()快速解析由底层网络上传的数据帧的协议类型与数据类型;
2)构造getInt()、getRangeString()等函数完成数据帧的数据进制与格式转换;
3)使用ProcessRecvData()函数分析数据帧,重构出信息处理所需数据;
4)完成相应数据处理功能,主要包括数据聚类、数据计算、数据范围判断、数据异常的处理、反馈数据帧的构造。
2.3参数设置模块
参数设置模块是物联网数据分析与处理软件的系统参数初始化模块,该模块读取用户设置的软件运行参数,并对软件进行相应运行参数初始化。该模块响应用户参数设置操作,读取参数并判断参数是否有效。若参数设置有效,则对软件相应运行参数进行修改,同时显示软件当前连接状态,界面实现如图4所示。
图4参数设置界面
2.4数据库与Web服务器
本软件采用MySQL数据库进行原始数据的存放,其中已经直接保存了经由数据分析与处理模块上传的全部数据,主要数据表包括:表node_topu_stat,用以存储网络所有原始拓扑信息;表node_info_stat,存储网络节点上传的状态信息;表control_stat,负责存储用户的查询和控制指令。由于上层的拓扑展示模块所需要的是最新的数据信息,因而需要Web服务器模块将冗余的原始数据进行初步处理,为拓扑显示模块提供无冗余的信息,以实现基于拓扑图的物联网实时监控。首先,通过对数据库中各分类表加入触发器实现数据的初步提取。其次,在本模块中,数据处理模块所生成的最新数据进一步转换为能够表示拓扑图的XML文件,即将节点所上传的邻居表转换为节点与边的关系。本系统中使用了Web服务器所能支持的JSP技术实现了实时访问数据库生成转换数据的功能,拓扑控制模块直接访问该页面的地址,即可实现拓扑数据的获取,如图5所示。
图5数据库与Web服务器2.5拓扑显示模块
网络拓扑显示模块是与用户进行交互的主要模块,用户通过点击“网络拓扑”访问拓扑展示模块。该模块通过定时向Web服务器数据处理模块发起拓扑数据请求实现网络拓扑的实时更新。通过向数据处理模块获取拓扑XML数据,图形界面将其转化为拓扑图中的“节点”与“边”的实际图形对象,并将其他附加数据作为标签保存在给节点,方便用户查看。模块工作流程及实现界面分别如图6和图7所示。
图6拓扑显示模块图7拓扑显示界面2.6信息查询与控制
本模块中的查询控制功能是指对物联网可控节点发送控制指令。查询控制指令与拓扑数据一样,需要经过数据库作为中转,整个中转回传的代码构成了控制模块。控制指令需要根据实现指定的通信协议发送。在控制指令的收集窗口中,用户可以进行相应的选择,控制模块负责将用户在窗体中的选择输出至与数据库相连的JSP页面,并由JSP页面将其存入数据库中。网关通过定期与服务器通信获得最新的操作指令,将其转换为控制指令最终发送至物联网节点,实现界面如图8所示。
3结束语
本文设计并实现了一种多功能物联网数据分析与处理软件。该软件通过网络监听、数据分析处理、网络拓扑显示以及节点信息查询与控制等功能模块实现对物联网数据的有效处理。通过将该软件移植于实际物联网应用环境,验证了该软件能够快速、高效地处理网络数据,且易于扩展,为多模异构网络条件下的物联网创新应用平台构建提供了新的思路。
图8信息查询与控制界面
参考文献:
[1]孙其博,刘杰,黎.物联网:概念、架构与关键技术研究综述[J].北京邮电大学学报,2010,33(3):19.
[2]International Telecommunication Union. Internet reports 2005: the Internet of Things [R]. Geneva: ITU, 2005.
[3]刘强,崔莉,陈海明.物联网关键技术与应用[J].计算机科学, 2010, 37(6):110.
[4]刘云浩. 从普适计算、CPS到物联网:下一代互联网的视界[J]. 中国计算机学会通讯, 2009, 5(12):6669.
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2017)17-0269-02
1概述
据《中国互联网络发展状况统计报告》显示,截至2016年6月,我国网络购物用户规模达到4.48亿,可见通过网上获取信息的人很多。在互联网+和大数据时代下,IT行业逐步成为人们热议的焦点,其发展也得到愈来愈多的人关注。而目前国内的IT类资讯网站大多没有预测产品价格这个功能,本文将着重研究价格预测的实现功能的实现。
2网站设计与开发的可行性与适应性分析
2.1从技术角度看
开发一个基于大数据的分析的数码产品价格预测网站需要大量的数据做支撑,这些数据可以通过各大电商平台进行获取。各大电商平台往往会将这些数据按照一定的格式展现在网站上,我们可以通过分布式数据爬虫技术将这些数据实时采集。数据爬虫是一种非常流行的数据采集程序,目前互联网上拥有大量的爬虫框架供我们使用,我们只需编写简单的代码便可以开始获取数据。当拥有海量数据后我们可以对各个商品进行建模,基于hadoop框架进行分布式运算,设计相关预测算法对数码产品价格进行分析并预测出价格的未来走势。
2.2从资源角度看
对于数码产品,互联网可以提供各种各样的信息,比如各大手机生产企业会在他们的网站上数码产品的配置信息、评测信息等。在网站建立的初期我们可以从这些网站获取大量的数据来填充我们的数据库。对于部分具有版权的数据,我们将采用外链的方式将原网站提供给用户浏览,这样可以节约开发资源,并让网站专注于价格预测的实现。
2.3从商业价值角度看
一个可以有效预测价格变化的网站是比较有市场前景的,目前互联网上充斥着各种各样的历史价格查看网站,但是大多没有可以对价格进行预测的网站。如果我们可以成功的预测价格走势,我们就可以引导消费,帮助消费者省钱,这也便是网站最大的商业价值。
3网站概述
网站以用户需求为出发点,利用网络爬虫、PHP、HTML5、JAVASCRIPT、MYSQL等技术设计开发。在网站里可以查询到参数、评测、价格和图片等关于数码产品的详细信息。网站的功能包括数码产品价格预测(预测到某款数码产品在未来一段时间内的价格)、信息查询(含有数码产品名称、各项参数、各角度拍摄图片等信息)、价格对比(及参数对比、图片对比和综合对比)等,目的是为人们提供一个简单易操作、具有现实意义的数码产品信息查询平台。网站技术框架如下图所示:
4网站设计
4.1网站主要功能设计
4.1.1产品价格预测模块设计
产品降价预测模块是网站的重点功能。用户可以通过网站查询某个产品的基本信息,并且能够得知该产品的历史价格走势和该产品在未来一段时间的价格走势,这对于比较注重价格的用户来说,便可以综合各类信息和自身需求,更加理性和有计划地选择性价比较高的产品。
网站利用分布式爬虫采集互联网各大平台的IT产品价格数据,形成一个较全面的价格走势图,再通过对产品价格进行建模,从建模结果中得到IT产品在未来一段时间的价格走势。需要说明的是,因为价格容易受到社会、经济条件以及国际等多种因素的影响,所以预测的价格走势会有一定的波动。另外,对于不同时期的价格预测也不同,短期内影响因素主要是数码产品的市场供应,一般采用指数平滑法。这种方法预测主要是靠历史价格数据逐步往后推导预测价格。对于较长时间,则采用二次指数平滑法较好,因为对于一些时间序列变化可能存在线性的趋势,这种方法的好处在于能减少预测值的滞后性。如果数据的变化受季节影响,预测方法应当采用温特线性季节性指数平滑较好,因为这个预测方法是根据季节的变化来进行价格预测,这样预测的价格更为准确。
4.1.2产品基本搜索功能设计
产品的搜索功能也是网站的基本功能之一。产品的搜索功能不仅仅只是简单的产品搜索,它是一个包括商品搜索、查看热门产品、查看最新产品、今日推荐等多模块组合成的一个大模块。用户通过这些搜索信息并结合自己需求,可以理性谨慎地对产品进行对比选购。换言之,产品搜索模块将完成对商品的导购功能。
4.1.3产品详情模块设计
产品详情页面包括很多内容,其子页面也非常多。其中包括:概览页面、具体参数页面、报价页面、点评页面、图片页面以及竞品对比页面等等,每一个页面的功能都不同,设计时将合理安排功能的布局,以方便用户获取自己所需要的资料。
4.2价格的采集与预测
4.2.1分布式网络爬虫
实现价格预测的前提是有大量的历史价格数据,所以W站利用分布式网络爬虫技术从各大网站采集数据,爬虫主要由两个模块组成:
爬虫引擎:分布式运行且完成下载网站页面内容,并将数据存入数据库的工作。
数据清洗:将下载下来的价格信息进行清洗处理,剔除无效信息和冗余信息。
分布式爬虫技术实现需要对于特定的网页编写用于分析其网站源码和获取信息的脚本代码,数据或许后再通过数据清洗去除掉不必要的数据信息,最后把需要的数据存放到数据库中保存。
4.2.2预测价格
在比较多种预测方法后,我们发现时间序列法较适合预测数码产品的价格。时间序列即是某些序列按照时间的先后顺序排列而成的一种特殊序列。若利用这组数列,应用数理统计方法加以处理,以解决实际问题,则称为时间序列分析法。时间序列分析是以时间序列为研究对象,分析序列的本质波动,探究其真实规律的一种定量分析法。在实际中,通常被用于预测未来现象或指标的波动情况。由于数据量庞大、涉及的商品较多,为了提高计算速度,预测模型需要构架在Hadoop等分布式平台之上。
5网站的开发
5.1数据爬虫程序
开发一个数据爬虫,需要用到scrapy框架,该框架是基于python语言编写的,用python语言开发程序最大的特点那就是简单易读。Scrapy框架非常的简单易用只需编写爬虫规则就可以开始高效获取数据,并且该框架是可分布式运行,速度可控,支持JavaScript,非常适合用来采集各大网站的数码产品数据,最重要的是该框架是免费而且开源的,故运用scrapy框架进行开发满足网站需要的爬虫系统。
5.2价格数据分析系统
对于海量的数据传统程序没办法很好的处理,传统的win-dows系统也很难有效的承载。故我们选用hadoop生态体系进行数据分析,该程序可以高可靠的运行在多台电脑上。为了程序可以长期稳定地运行,我们选择在linux上进行数据分析,这样的好处是系统稳定性强,硬件资源可以高效利用。
5.3网站搭建
和大多数网站一样,本网站采用BS(Browser/Server)架构,该架构具备以下几个特点:客户端电脑负荷大大简化、系统维护和升级成本低、同时也降低了用户的总体成本。
中图分类号: TN919?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)07?0155?04
Design of power grid precise planning information system based on big data analysis
YANG Yuxin1, MA Wei1, ZHAO Yang2
(1. State Grid Heibei Electric Power Company, Shijiazhuang 050021, China;
2. Economic Research Institute, State Grid Hebei Electric Power Company, Shijiazhuang 050021, China)
Abstract: For the low integration and poor accuracy of the current power grid data management and information planning, a power grid precise planning information system based on big data analysis is put forward. The embedded ARM addressing technique is used to perform the bus scheduling of the power grid big data information, and construct the HP E1485A/B multi?mode information control module to conduct the process management and file configuration. The LCD controller is adopted to control the power grid information transmission intelligently. The software integrated design and debugging of the information system are carried out in the embedded environment taking Linux 2.6.32 as the kernel. The experimental results show that the system can realize the information fusion and integration management of the power grid big data accurately, the power grid planning information has high coverage degree, and the system reliability is improved effectively.
Keywords: big data analysis; power grid planning; information system; bus scheduling
0 引 言
电网是人们生产生活的基础设施,电网的精准规划能有效控制电能开销,提高电网的调度和管理能力。随着集成自动电网精准规划技术的不断发展,对电网精准规划信息系统的设计受到人们的关注。电网精准规划信息系统建立在大规模电网信息和用户的管理基础上,采用大数据信息处理和分析方法进行电网传输数据的实时监控和信息分析,提高精准规划的能力,研究电网精准规划信息系统优化设计在提高电网的智能管理性能方面具有重要意义[1?2]。对电网精准规划信息管理通常采用的是模糊神经网络控制方法[3]、人工调度方法[4]、专家系统分析方法等[5?6],通过构建模糊控制系统进行电网大数据的远程监测、智能传感和信息调度,取得了一定的效果,但是随着电网规模的扩大,电网数据传输的负载不断增大,导致当前电网数据管理和信息规划的集成度不高,对大数据信息处理的准确性不好。
针对当前电网数据管理和信息划的集成度不高,准确性不好的问题,提出基于大数据分析的电网精准规划信息系统设计方法,并通过实例测试其有效性。
1 系统总体设计基本流程
1.1 电网精准规划信息系统总体设计
首先分析电网精准规划总体设计构架并进行功能模块组件分析和介绍,采用大数据分析技术进行电网传输信息处理,电网精准规划信息系统建立在通用计算机平台上,在不同的操作系统上进行电网信息管理和数据库构建,为了提高信息系统的兼容性和可执行性,需要在信息系统中安装Linux系统,在嵌入式Linux环境下进行电网精准规划信息系统的开发,Linux操作系统可以运行在ARM,PowerPC上,结合大数据信息采样进行ARM平台的控制信息编译和电网调度。采用嵌入式Linux系统构建电网精准规划信息系统的数据输出总线和核心控制模块,实现控制程序的加载,电网精准规划信息系统的核心控制模块根据大数据信息分析技术执行文件系统管理、应用程序的数据加载,在接收模块和发射模块进行信息调试,实现数据采集和分析,电网精准规划信息系统总体设计结构模型如图1所示。
根据图1所示的信息系统总体设计构架,得到电网精准规划信息系统软件开发的基本处理流程:
(1) 电网精准规划信息系统的大数据信息处理过程。通过调用设备驱动程序进行大数据信息处理和大数据分析平台设计,在电网信息调度中进行资源配置和原始数据采集,采用A/D采样对本地数据库中的电网信息进行本地调度,将程序驱动模块移植到云计算平台中,通过A/D信息采样和数模转换执行电网信息的时钟采样和滤波,为电网规划信息系统提供准确的数据输入。
(2) 信息处理模块化编程过程。在Linux内核下进行电网精准规划信息系统的模块化编程和信息加载,构建数据库访问和信息调度模型,实现对海量电网数据信息调度过程中的数据访问和信息规划,Linux内核下的引导加载程序(Boot loader)连续地执行数据采样分析,数据结构定义在include\linux\fs.h文件中,采用PCI桥接芯片与上位机通信,结合VIX总线技术进行数据传输,完成对数据库的打开、释放、读写和控制等基本的设备操作。
(3) 电网规划信息的输出和人机交互过程。采用交叉编译环境进行电网规划结果的输出和人机交互操作,利用文件系统的入口点函数构建交互系统,采用LabWindows/CVI实现电网规划信息数据的集成智能控制和可视化多线程远程信息传输调度。
1.2 软件开发环境的建立及根文件系统构建
电网精准规划信息系统的软件开发环境建立在嵌入式Linux的开发环境中,采用交叉编译的方式作为BootLoader,做完移植工作进行内核配置,执行“Make menuconfig ” 运行http服务器和telnet服务器的内核程序代码,为:
interface Scheduler {
Application cheduling information grid init();
implement File create root directory system. Linux?2.6.32.2 (process creation); //编译器的全路径写入
Task(TRUE)
Completion TaskBasic ARCH ?= runNextTask;
//使用Linux内核源码目录
}
由此构建电网精准规划信息系统的软件开发环境,电网精准规划信息系统的模块化组件设计包括根文件系统构建和编译环境设计等。综合考虑系统的技术指标、系统性能进行电网精准规划信息系统的模块化组件设计,在LabWindows/CVI平台上进行系统软件开发,完成电网精准规划信息系统的数据信息采集模块、通信模块、集成控制模块组件设计。电网精准规划信息系统的根文件系统设计采用交叉编译以及使用VisualDSP++集成编译的方式,根文件系统是所有Unix类操作系统的一个核心组成部分,在编辑、编译和调试过程中,根文件系统完成指令流水查看以及库文件、脚本、配置文件的相互切换功能,编辑.Bashrc文件,使用如下命令:
tar xvzf arm920t?eabi.tgz// Comply with GPL protocol
执行LCD控制器完成编译,加入系统环境变量,运行命令
#gedit .Bashrc Download the source code
将QWS的LIB库放入rootfs的/lib下,在基于X86架构的Linux服务器上进行数据编译,在arch/arm/boot目录下生成惟一的根目录“System configuration files and scripts/”,得到包含基本的用户命令工具程序的bin根文件系统目录结构,根文件系统配置过程如图2所示。
在根文件系统配置的基础上,使用tar jxvf busybox?1.14.2.tar.bz2命令执行硬件设备的目录驱动,驱动程序为:
interface Scheduler {
Set SIC_IWR hosting specifi init();
Register set phase locked loop frequency doubling Linux?2.6.32.2 (bool sleep); //电网精准规划信息系统的初始化
Task(TRUE)
Completion SuperViVi ARCH ?= arm; //存储器初始化
Declare the state of runNextTask () //核源a目录
}
通过电网精准规划信息系统的模块化组件设计,使用DSP仿真器将数据加载至DSP内存,将电网精准规划信息系统的管理内容传送到文件编译器,分别运行http服务器和telnet服务器写的6个必备的文件夹/etc,/lib, /dev,/usr,/var和/proc,完成信息加载和数据安装。
2 信息系统的软件开发设计与实现
2.1 系统的模块化设计
在进行系统总体设计的基础上,进行系统功能模块化设计,本文提出一种基于大数据分析的电网精准规划信息系统设计方法,系统主要包括信息采集模块、控制器模块、程序加载模块和人机通信模块等。信息采集模块根据系统支持多种多样的输入/输出设备,硬件选择不同的文件系统,支持完整的TCP/IP协议栈,采用Socket编程引导程序(BootLoader)执行交叉编译,采用嵌入式Web服务对ARM硬件平台进行移植,实现四个层次软件的移植,采用“自下而上”的设计方法进行信息采集,利用开源Linux操作系统编辑代码,虚拟机运行在Windows或Linux计算机上,在Linux下编译程序生成目标文件,编译出来的可执行程序Busybox在设计上充分考虑硬件资源,使用脚本和服务器,初始化添加模块和用户定制模块需要使用以下句法:
vpModule: : System Loaded (“vp” );
vpModule: : angstrom?linux (“vpMarine” );
vpModule: : mknod console (“vpFx” );
> /dev/tty1
利用mkyaffsimage工具定义.acf、配置仿真类、仿真循环、更新和退出。通过目标板中的文件制作电网精准规划信息系统的大数据信息处理模块,使用公用vpApp 定制的自定义类,得到电网精准规划信息系统的大数据信息处理的Linux设备驱动程序为:
class mkyaffsimage: public vpApp
{ public: m_lookAt?>se {}; //构造驱动程序函数
myApp() {}; //构造操作系统函数
virtual void onKey setStrategy(vpMotion::Key key,int mod) //屏蔽硬件的细节
private: //初始化和释放设备
} //myApp类自定义结束
在VP中可以多次定制字符设备驱动程序,调用多个.acf文件。
if (Character device
myApp ?>define("issue read / write request");
else
myApp ?>define(argv[1]);
关闭程序,开辟一段内存缓冲区,构建电网精准规划信息系统的程序加载模块,执行大数据信息处理的程序加载,根据系统的硬件设备进行SuperViVi移植,在电网精准规划信息系统的Linux文件系统设计中,使用FFT函数设置内核启动参数,进行控制器模块设计,配置内核程序代码为:
vpFxExplosion* Configuration kernel program code = Set phase locked loop frequency doubling ();
Program loading BootLoader development?>setOverallColor(PORT0_TCLKDIV); //设置runNextTask()的状态
Power grid precision planning information?>setTextureMode( vpFx::TEXTURE_MODE_MODULATE ); //执行进程管理
Use post keyword mach?mini2440.c?>setTextureFile( "explosion.inta" ); //设置post关键字
电网精准规划信息系统的一个组件使用post关键字mach?mini2440.c进行编译,系统资源都可以抽象成文件,通过read(),write()等系统调用去访问网络设备,关键代码实现如下:
Int CMyApp: : Static compilation mode ( )
{User with root privileges *channel = *vpChannel: :
begin (Command uninstall driver module ) ;
channel ?> addinsmod commedn (vsChannel: : EVENT_POST_DRAW, include\linux\fs.h) ;}
void open():: notify (Request_irq () function to apply f: : Event, const apply for interruption vrDrawContext *context)
//调用free_irq()函数释放中断
{switch(event)
{
case vsChannel:: module_init():
{
}
break; }
case unregister_blkdev()::EVENT_POST_DRAW:
{ //内核函数完成注销
break;}}
2.2 电网精准规划信息系统的软件集成实现
在进行了电网精准规划信息系统的模块化开发设计的基础上,基于大数据分析技术进行信息系统的开发设计,构建HP E1485A/B多模信息控制模块,嵌入式Linux系统由启动引导程序(BootLoader)进行大数据分析信息系统的存储设计,充分利用开源Linux操作系统的内核启动功能,将可执行文件下载到硬件上,构建HP E1485A/B多模信息控制模块,加载PLL_DIV寄存器安装Emulator启动时钟,进行程序加载的BootLoader开发。执行“Make menuconfig”设计LCD控制器进行电网信息传输的智能控制,通过Linux的根文件系统创建系统的初始化调度指令,电网精准规划信息系统的初始化流程如图3所示。
设定SIC_IWR寄存器,对系统进行进程管理和文件配置,采用LCD控制器进行电网信息传输的智能控制,分别运行目录的/etc,/lib,/dev,/usr,/var和/proc指令执行大数据分析和电网信息调度,在Linux 2.6.32内核环境下进行信息系统的软件集成设计和调试。电网精准规划信息系统软件设计和调试的流程如图4所示。
3 仿真测试
在LabWindows/CVI平台上进行系统软件开发,实现电网精准规划信息系统的设计和代码开发,在对电网精准规划信息系统的调试过程中,使用的仪器为:XFR_TYP3220A函数信号发生器和PERIPHERA PST3202可编程电源,运行make menuconfig命令进行程序加载配置,电网大数据信息离散采样率为200 kHz,信息系统的时钟电压为3.5 V,内核电压为1.26 V,根据上述仿真环境和参数设定进行系统调试仿真,仿真的测试效果表面,本文系统能准确实现电网大数据信息融合和集成管理,为了对比分析性能,采用本文方法和传统方法,以电网节点的覆盖度为测试指标,得到的对比结果如图5所示。
分析上述仿真结果得出,采用本文方法进行电网规划电网信息的覆盖度较高,展示了本文设计系统的有效性。
4 结 语
为了提高电网规划性能,本文提出一种基于大数据分析的电网精准规划信息系统设计方法,对系统的总体设计进行描述,系统包括信息采集模块、控制器模块、程序加载模块和人机通信模块等。在以Linux 2.6.32为内核的嵌入式环境下进行信息系统的软件集成设计和调试。研究表明,采用本文设计信息系统能准确实现电网大数据信息融合和集成管理,电网信息的覆盖度较高,展示了较好的应用价值。
参考文献
[1] 韩晓冬.基于小波神经网络的电网故障定位技术研究[J].科技通报,2013,29(6):59?61.
[2] 志文,袁久兴.基于FPGA和AVR单片机的惯组电源板信号检测[J].国外电子测量技术,2014,33(2):78?83.
[3] 姚文轩,滕召胜,唐求,等.非同步采样下电力系统相量测量修正算法[J].仪器仪表学报,2013,34(7):1518?1524.
[4] 王平心.亏损特征值的灵敏度分析[J].应用数学学报,2013,36(4):688?697.
[5] 李李.认知无线电网络基于QoS的监听时间与资源联合分配[J].计算机应用,2015,35(5):1230?1233.
关键词: Excel软件;数据处理;数据管理;金属电子逸出功
Key words: Excel software;data processing;data management;metal electric work function
中图分类号:TP274;O4—39 文献标识码:A 文章编号:1006—4311(2012)27—0216—03
0 引言
在物理实验尤其是近代物理实验以及科学研究中,经常产生大量测量数据,经过记录、整理、计算、绘图、分析等大量复杂繁琐的数据处理后,方能给出科学结论。传统方法往往是手工处理大量数据,最终仅在坐标纸上描点绘图。因此效率低,易出错,误差大,甚至影响结论的准确性。
随着计算机迅速发展,数据分析处理的软件实现和应用也逐渐成为每个科研工作者必须掌握的一门技术。常见的数据处理软件如Origin、MATLAB、SPSS等功能强大,专业性强,对使用者有较高要求,而Excel直观易学,使用方便,数据处理过程简单,无需精通计算机编程,因此成为处理物理实验数据的首选工具。
Excel集数据表格、图表和数据库三大基本结构功能于一身,还提供了大量函数,用户可通过这些函数进行统计管理、线性分析等工作[1—3]。并能很方便地将数据处理过程的基本单元制成电子模板,使用时只要调出相应的模板,输入原始数据,激活相应的功能按钮,就能得到实验作图要求的各项参数。
1 电子逸出功的测量原理简介
由费米—狄拉克能量分布公式可得到热电子发射的里查逊—热西曼公式[4] I=AST2exp(—■)(1)
式中I是加速电压为零时热电子发射电流,称零场电流。A与阴极材料有关,S为阴极有效发射面积,T为发射热电子的阴极绝对温度(该温度与加热电流对应关系可查表)。实际测量中采用理查逊直线法避开A、S测量,将(1)式两边除以T2,再取对数得
1g■=1gAS—■=1gAS—5.04×103?渍■(2)
可见,1g■与■成线性关系,由斜率即可求出该金属的逸出电位?渍或逸出功e?渍。
由于肖特基效应,零场电流I与阴极发射电流Ia、加速电压Ua有
1gIa=1gI+■■■(3)
式中Ia是加速电压Ua为时阴极发射电流,r1和r2分别是阴极和阳极半径。几何尺寸一定的管子,阴极温度T一定时,1gIa与■成线性关系,截距为1gI。
实验一般在7个不同温度值采集49组电压和电流值,根据公式(3)进行7次直线拟合,采用直线外延法分别找出7个温度对应的零场电流对数1gI,之后再根据公式(2)进行1g■~■直线拟合,找出该直线斜率,进而求出该金属的逸出功e?渍。计算公式繁琐,图表较多,数据处理困难。
2 设计思路
本设计旨在实现数据的记录管理和分析处理。使用者仅需录入测量数据并保存,系统便自动生成处理结果以及相关图表。保存后可获得原始测量数据备份,避免随意篡改伪造测量数据;同时,又可形成一个数据信息库,为使用者查询测量数据提供便利。
基于以上构思,数据录入和数据处理作为两个独立且关联的模块,分别出现在两个工作表中。数据录入模块将个人信息和测量数据输入电脑,除必要输入栏目,使用者没有权限更改其他选项。处理分析模块的数据来自于对管理模块的链接,包括数据处理的中间过程和最终处理结果,为了便于管理还应包含使用者的基本信息。流程如图1。
3 基于Excel实现测量数据的录入和管理
本测量采用西安超凡光电设备有限公司WH—I型金属钨电子逸出功测量仪完成。
打开Excel,创建新工作表,该工作表作为数据记录用表,命名为“原始数据”。根据测量原理和要求,该工作表由基本信息、数据记录、温度对照表三个部分组成,如图2。
此工作表A1—H3为使用者基本信息,其中G2单元格输入的内容为“=TODAY()”,可获取当前系统日期。A6—H12为数据Ia、Ua记录栏。A14—H17为“加热电流If与钨丝真实温度对照表”,数据处理过程中需查此表获得阴极灯丝温度。
中图分类号: TN911?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)14?0030?03
Abstract: In order to improve the optimal allocation performance in students′course selection and utilization efficiency of curriculum resources, a design method of a course selection model based on large data analysis is proposed. The overall structure model of student optimal course selection model is constructed firstly. A large data analysis method is used to conduct information fusion and optimal access design of student course resource database to get comprehensive decision model of student course selection by combining adaptive equilibrium with grey correlation analysis. The program development is performed in Linux kernel. The cross compile environment for student elective system is established based on X86 architecture. A script menu is collocated in the virtual file system. HTTP server and telnet server functions are integrated in the network module to realize data sharing and remote transmission of the curriculum information. The system software development and debugging analysis results show that the course selection scheme model has good data analysis ability and strong reliability, and can realize the optimization configuration and selection of courses.
Keywords: big data analysis; course selection; model design; information fusion
S着高等教育深化改革和发展,为了更好地发挥高等院校的教学资源优势,结合学生的课程和专业的差异性,采用选课制进行课程搭配设计。这样既尊重了学生的个性化学习需求,也更科学地搭配高校的教学资源。选课制,也称课程选修制,允许学生对学校所开设的课程有一定的选择自由,对任课教师、上课时间以及进度仅有一定组合的选课机制,采用选课制教学,更有利于扩充学生的知识面,更好地整合高等教育的教学资源。然而,学生在进行选课中具有一定的盲目性和自发性,需要有效的信息系统进行指导,设学生选课方案优化信息管理系统,在大数据信息时代,对更好地利用高校的教学资源具有积极重要的意义。
1 学生最优选课方案设计总体构架
为了实现对大数据处理环境下的学生最优选课方案模型的优化设计,首先分析软件系统的总体结构模型,基于大数据分析的学生最优选课方案模型是建立在学生选课资源数据库的信息融合和优化访问设计基础上的,结合数据信息处理模型进行学生最优选课方案模型设计,采用LabWindows/CVI进行大数据处理环境的选课方案分析[1?2],结合均衡博弈思想进行选课资源的优化配置。学生最优选课方案模型系统建立在嵌入式操作系统Linux基础上,本文设计基于大数据分析的学生最优选课方案模型主要元件包括如下几个方面:
从部署方式来看,云计算一般分为公有云、私有云和混合云三大类。其中公有云是指运营者建设用以提供给外部非特定用户的公共云服务平台;私有云平台仅为单一客户提供服务,其数据中心软硬件的所有权为客户所有,能够根据客户的特定需求在设备采购、数据中心构建方面做定制,并满足在合规性方面的要求。
1.2 国内发展趋势
包括中央电教馆在内的国内各大政府机构和省级政府,都在致力或倾向于将大型应用类业务向社会公有云/混合云转移。谋求更高效率、更低成本、更及时服务和更安全环境的云平台托管,是当今信息化系统服务的发展趋势。寻求广泛的服务托管、安全托管和运维托管是大势所趋。
1.3 天津市教育数据资源中心的现状
经过“十一五”、“十二五”两期建设,随着信息中心工作的不断发展,当前数据中心的数据量比“十一五”翻了两番,运维工作量更是翻了数番,这对数据中心运维人员的安全运维能力也提出了前所未有的高要求。目前,中心机房和工大机房的承载能力已接近饱和,结合国际和国内信息化的发展趋势看,未来单靠单个IDC数据中心已经难以满足未来天津市教育信息化发展需求。参照中央电教馆等云平台系统运维模式,我市教育信息化的发展迫切需要社会上有实力的企业建设的混合云解决方案,需要更加专业的团队,协助完成“十三五”各类海量资源类系统的承载工作,进一步助力我市教育系信息化工作上一个新台阶。
2 项目目标及分项需求
2.1 项目建设目标
本方案拟建设如下混合云模式:即由天津市教委教育信息化管理中心IDC机房构建未来各类系统的核心数据库、统一身份认证平台和数据分析和统计平台,由公有云企业提供公有云业务承载空间,负责提供海量视频和图片文件优化存储、对外、信息安全和数据灾备服务。公有云服务提供商需提供不少于三个异地灾难备份数据中心,提供24小时不间断同步和异步灾备服务。
2.2 云平台服务需求
云平台提供方应该参照本需求,提供整体的云平台解决方案,包含云主机、关系型数据库、非关系型数据库、简单缓存服务、负载均衡、内容分发网络、对象存储、大数据平台服务、多媒体平台服务、云安全服务、带宽等方面。
相关术语如下解释:
云主机:是一种简单高效、安全可靠、处理能力可弹性伸缩的计算服务。用户无需提前购买硬件,即可迅速创建或释放任意多台云服务器,有效降低IT成 本,提升运维效率,为用户快速构建稳定可靠的应用,降低网络规模计算的难度,使用户更专注于核心业务创新
非关系型数据库:数据库中的非关系型数据库,通常情况下指支持NoSQL的数据库服务或者云数据库,提供高效、实时、稳定的数据检索服务。
大数据平台服务:通过对数据收集、存储、变形、分析等过程,结合公有云分布式并行计算集群、机器学习集群、数据仓库联机分析集群实现数据智能推荐、应用定制开发、在线报表等需求。
3 项目建设技术路线及实现手段
3.1 公有云平台技术路线及实现
公有云厂商核心基础架构需具备10年以上的技术积累,需有上万名国内顶尖技术专家,并具有多款国内领先互联网产品的经验。公有云厂商需在数据中心技术,网络技术,安全技术,分布式存储技术,大数据处理能力方面有丰富的经验,形成了领先的技术能力和平台。
3.2 上线安检服务技术路线及实现
根据上线安检服务需求内容,制定内容检查清单,逐一进行核对和检查,确保系统正常上线。
3.3 多网络带宽服务、CDN服务技术路线及实现
当用户访问天津教委云平台时,浏览器将DNS域名解析请求发至本地DNS,本地DNS如果有缓存结果就直接返回IP,否则解析请求最终会到达CDNDNS服务器,它会根据本地DNS IP返回一个离用户最近的CDN边缘节点的IP给用户。
4 项目部署与实施
项目建设、系统部署和实施的具体时间安排如表1。
5 验收指标
验收的内容包括以下几个部分:
(1)验收内容一般包括软件验收(按功能要求的可执行软件、开发计划文档、 详细设计文档、质量保证计划、设备相应附件、设备运行、网络运行等);
(2)验收评测工作主要包括:文档分析、方案制定、现场测试、问题单提交、测试报告;
中图分类号:G717 文献标识码:A
1 网络版高职院校状态采集平台动态数据分析系
统建设的必要性
为促进高职院校发展的需要,实现学校管理的科学化、现代化、规范化,提高人才培养质量,江苏省自2008年开始推进《高等职业院校人才培养工作状态采集平台》系统的应用,每年采集一次数据。目前,高职院校的数据采集平台是由上海行健职业技术学院开发的单机版[1],近两年推出了网络版的采集平台,但网络版只有数据采集的功能,没有开发数据分析的功能。
目前状态采集平台的数据分析系统使用的是江苏经贸学院开发的单机版数据分析系统。该系统将全省80多所高职院校的统计数据整合起来,进行分析处理,以人们最能接受的直观的图表方式来呈现。界面简洁,功能相对齐全。但单机版的数据分析系统因为受到各种条件的限制,存在一些缺点。
(1)自动化程度低。单机版数据分析系统的统计数据需要从每个院校的excel表格中获取,获取数据的自动化程度低。各个院校提交到省教育部门的是一个excel文档,其中包括原始数据和统计数据。数据的获取必须将80多个excel文档中的统计数据项提取到一个新的excel文档中,然后通过数据分析系统将这些统计数据以图表的方式呈现。在数据提取的过程中,需要人为干预,耗费大量的时间和精力,容易出现错误。
(2)缺乏状态采集数据的纵向比较。单机版的数据分析系统处理的都是单个年份的数据,只能对各个院校的数据进行横向比较,而无法实现每个高校数据的纵向比较。而对于用户来说,数据分析不仅需要在各个院校之间进行横向的比较,同时也需要纵向比较。在本系统中,增加了纵向比较功能,通过对历年的数据对比分析,以折线图的表现方式直观表现数据的变化,根据图表对未来数据项进行预测。
(3)无法实现资源的统一管理和共享。状态采集平台目前收集了高职院校的大量数据,这些原始数据作为全社会一个公共的教育资源,应该进行统一管理和共享,不仅为教育部门和高职院校提供决策支持,同时让更多的人参与了解高职院校的办学情况、专业状况等,进一步加强舆论监督的力量。在信息化的今天,资源的统一管理和共享显得尤为重要。
随着状态采集平台在全省院校中的应用推广,其作用不仅仅是为了采集数据,更为重要的是对采集到的数据进行统计分析。随着数据量逐年递增,数据分析的重要性越来越突显,分析结果将更具有参考价值。在此情况下,将一些杂乱的大量的没有规律的数据转换为有价值的决策信息,辅助各高职院校以及省级教育部门完善教学质量保障体系。因此建设网络版的省级数据分析系统势在必行。
2 省级状态采集平台数据分析系统的设计
为了增强系统的健壮性,本系统在设计中将状态采集平台的原数据与统计汇总的数据完全分开,一方面使得数据相对独立,另一方面则保证数据分析系统的运行速度。系统的设计框架如图1所示。
图1 系统框架
状态采集平台的数据项以及状态采集平台整个系统还在不断地完善中,每年的数据项、数据的名称等会发生变化,比如数据库表的字段名称会发生变化,数据表会增加,以及数据库中表的名称会发生变化等等。在2013年状态采集平台中,数据项“学校代码”修改为“学校标识码”,“院校名称”改为“学校名称”,“应届毕业生顶岗实习情况的毕业生录用比例(%)”改为“企业录用率(%)”,类似这样的变化的数据项有很多。状态采集平台这些数据项的变化必然会导致数据统计系统的变化。为了使数据分析系统具有稳定性和健壮性,在系统的设计中,我们将统计和分析作为两个独立的系统,数据统计系统的主要功能就是根据数据分析系统中的需要分析的数据项进行统计,将统计结果写入数据分析数据库。数据分析系统则相对独立,根据数据库中的数据对各项指标和数据进行对比分析。
系统的设计具有松耦合性,无论状态采集平台中的数据项如何变化,数据统计系统会将所需要的统计数据导入数据分析系统的数据库中,数据分析系统就负责将统计数据对比分析,以可视化的图表方式呈现给用户。
3 数据准备
3.1 数据来源
收集的数据是否准确,是否真实和充分,决定数据分析的直接结果。省级状态采集平台的数据分析系统作为状态采集平台系统的延续,所使用的数据均来自各高职院校通过单机版或者网络版状态采集平台填报的数据。状态采集平台经过近几年的使用,各高职院校目前都能够熟练使用,并且各级部门和领导也很重视,保证了采集数据的相对准确,从而使得数据分析结果在一定程度上正确反映学校在教育教学等方面的现状和不足,有利于针对性整改,提高教学质量。
3.2 数据选择
高等职业院校状态采集平台中采集的数据非常多,其中包括学校的硬件设施、固定资产、产学合作、招生、就业、经费收入支出、校内专任教师、兼课教师、专业状况、实习实训、学生奖助学情况、学生社团等大概80多个数据表。在实际的数据分析中,不是要对所有的数据全部进行分析,本系统选择一些对能够反映高职院校教学质量情况的数据项进行数据分析。状态采集平台数据分析系统对院校概况、办学条件、监测分析、师资概况等11个大类的数据进行分析。在每个类中都包含了很多的数据项。例如监测分析中包括了高级职称教师占专任教师的比例,生均占地面积,生均宿舍面积等7个数据项。
3.3 数据处理
高职院校状态采集平台虽然具有数据位的校验,数据格式,关联数据校验,报错和提示功能,但是在实际的采集操作过程中,仍然存在不符合规格的数据,因此就需要对数据进行各种处理。数据处理的过程分以下几个步骤:
(1)清理数据
主要清理的数据有两种:不符合格式要求的数据;奇异数据。
不符合格式要求的数据:状态采集平台中采集的数据有的在数据格式中没有限制,比如在收集教师基本信息的表中,有一项是在企业中的时间,有的学校职工在填写中就写了1天,有的写的是1*60,这样的数据格式在统计中是无法进行数学统计,必须对数据进行清理。
奇异数据:所谓奇异数据,是指在采集的过程中,针对同一类数据,个别院校的数据与其他的数据差别很大,一般我们认为相差三个数量级别时,就认为这是个奇异数据,要对其进行核准、处理,从而保证数据分析结果的准确性。
(2)转换数据格式
状态采集平台数据表中的字段基本都是字符型的数据,在数据分析系统中,对数据的统计汇总要通过数学公式来进行计算,字符型的字段无法计算,因此在数据清理完成后,必须将统计汇总的字段转换为数值型。具体的处理方法,用JAVA语言写一个批处理程序,实现对数据字段的批量转换。
(3)数据统计
在将数据准备好之后,就要对选择的数据进行统计汇总。本系统中对数据的统计一般包括总和,均值,百分比等。比如在校生人数,需要统计全省在校生总数和全省在校生均值;高级职称教师占校内专任教师,需要统计的是百分比;院校招生中的实际录取率,实际报到率等,统计的是百分比。数据统计由数据统计系统来完成。
4 系统的数据分析
状态采集平台数据分析系统主要采取图表对比分析的方法。采用图表方式的优点,易于阅读,易于理解,直观。例如各个学校的数据与全省均值的比较,各种类别院校的均值比较,历年数据的对比分析。对比分析主要通过以下几种图表实现:
(1)仪表盘形式。这种仪表盘的对比方式主要适合于各个院校数据与全省均值的对比,仪表盘显示院校的指标数据,全省均值则显示在仪表盘的上方,这样便于两个数值的比较。同时数据分析系统还显示了各院校数据在全省的排名。图2是某个院校的教师数、全省排名以及与全省均值的比较。
图2 仪表盘数据对比分析
(2)柱状图形式。柱状图的图表形式也是我们最常用的一种对比方法。在本系统中主要用于数据各种均值的比较。例如,全省均值,国家示范院校均值,国家骨干院校均值,省级师范院校均值,一般院校均值,综合师范民族类均值等。图3是校内专任教师数量的均值比较。
图3 柱状图数据对比分析
(3)折线图对比形式。数据分析系统中纵向数据的比较适合用折线图对比形式,表现简洁,便于理解,能够明显看出数据项在几年中的变化,从而指导学校的进行科学话管理和决策。由于网络版数据分析系统今年才开始推广,数据项是从2012年开始的,目前折线图的对比方式还没有完全体现出来。
5 结束语
状态采集平台数据分析系统的建设,为省级教育部门的决策咨询提供详实有力的数据,有利于科学合理的制定宏观调控政策,强化宏观管理和指导的针对性,进一步推进高等职业教育的可持续发展;有利于各高职院校查找办学差距和薄弱环节,整合教学资源配置,提高办学治校的科学化水平,不断加强和改善自身的教育教学管理。
参考文献
[1] 陈方辉.高等职业院校人才培养工作状态数据采集平台研究
[J].安徽电子信息职业技术学院学报,2012(1).
[2] 李畅,陈方辉.高等职业院校人才培养工作状态数据采集平台
指标分析[J].江苏经贸职业技术学院学报,2011(6),79-81.
[3] 李果,等.知识管理视角下高职人才培养工作状态数据采集平
台的建设与实施[J].职业技术教育,2013(8):55-57.
[4] 田飞.高职院校人才培养工作状态数据采集平台分析策略研
究[J].才智,2011(36):337-338.
中图分类号:TP311 文献标识码:A 文章编号:1671-7597(2014)04-0017-02
1 业务对象分析
库房中储存的样品主要是岩石样和流体样,根据取样方式的不同可以把岩石样分为岩心样、壁心样、岩屑样和露头样,把流体样分为常温常压流体样和高温高压(统称PVT)样,根据流体相态又可以把流体样分为油样、气样和水样。
分析化验所使用的样品是小样,也叫做实验用样,是大块岩石样或大桶流体样中的一部分。根据实验的目的和要求,可以把小样分为水平样和垂直样。
2 分析化验项目分析
根据样品的类型可以把分析化验分为流体样实验、岩石样实验和岩石样-流体相共存实验3种。
2.1 流体样实验
流体样实验是对从井筒或地面上取得的流体样进行分析的,研究井筒中流体的特性,为油气田开发前期设计提供参考依据,为生产井提能分配或井下作业提供基本数据支持。
根据流体取样方式的不同,把流体样实验分为常温常压流体实验和PVT实验,由于流体相可以分为油相、气相和水相,所以流体实验又细分为常温常压油样实验、常温常压气样实验、常温常压水样实验、原油PVT实验、易挥发油PVT实验和凝析气PVT实验。
2.2 岩石样实验
岩石样实验是对钻井过程中取到的岩石所进行的分析或鉴定,是地层岩石特性最直接、最准确的表现。
根据实验的目的不同,把岩石实验分为常规岩心分析、特殊岩心分析、岩石地化分析等。
2.3 岩石样-流体相共存实验
岩石样-流体相共存实验是分析岩石在以不同的流体相作用下,所呈现出来的岩石的润湿性和联通性等,主要有毛管压力实验和相对渗透率实验等。
根据流体相作用方式的不同可以分为压汞法和驱替法,驱替实验分为油驱替水、水驱替油和气驱替水等。
3 业务分析
业务分析是数据库设计的基石,只有业务分析好,才能设计出满足需要的业务模型。根据工作内容可以把业务分析分为业务调研、业务划分、业务活动分析和数据分析。
3.1 业务调研
确定分析化验业务域的业务调研范围和调研内容,形成业务调研清单,并制定业务调研模板。业务调研模板是业务调研的依据,必须要包含业务名称、业务流程和数据应用情况等。在执行调研时,按照业务调研模板内容,详细了解分析化验业务现状、数据库现状、应用现状和数据管理机制等,并收集相关资料(报表、数据、业务规范等)。
3.2 业务划分
根据业务调研情况对分析化验业务域进行业务划分,划分为一级业务和业务活动,一级业务主要有常规岩心分析、特殊岩心分析、岩石地化分析、油气地化分析、岩矿分析、同位素分析、岩石力学分析、古生物分析、油气水分析和流体PVT分析等。
业务活动是对一级业务进行细分,直至划分到不能再分为止。如一级业务常规岩心分析包含有岩石物性分析、岩心伽玛测定和岩心CT扫描等。
3.3 业务活动分析
根据业务划分得到一个个业务活动,每一个业务活动都有自己的业务含义和业务范围。业务活动分析就是要详细分析每一个业务活动流程,如业务活动的时间、地点、参与人员、业务规则、输入数据、输出数据、相关的标准规范等。如岩石物性分析是实验员(who)收到分析化验任务后(when),在实验室(where)根据样品基本信息和检测任务单的要求对岩心样品(which)进行岩石孔隙度、渗透率、含油饱和度、密度、碳酸盐岩含量的分析化验,形成岩石物性分析成果数据表和业务分析报告(what),为表征岩石孔隙的发育程度、储集流体的通过能力和岩石渗流特征提供重要参数,为储量计算、采收率确定等提供参数依据(why)。
3.4 数据分析
数据分析是对业务活动数据集和现有专业数据库物理表进行详细分析,业务活动数据集分析是对业务活动的输入数据和输出数据进行分析,规范业务活动输入数据集和输出数据集,形成业务活动数据集;现有专业数据库物理表分析是对现有在用专业数据库物理数据表进行分析,分析出专业数据库物理数据表的实际业务含义,具体是哪个业务活动产生的,对应于业务活动的哪个数据集,形成专业数据库物理数据表对业务活动数据集的映射关系。
数据分析表如下:
业务活动 输入数据 输出数据 业务活动数据集 专业数据库
岩石物性分析 检测任务单 岩石物性
分析报告 岩石物性分析报告 文档数据库
实验样品信息 岩石物性分析
成果数据 分析化验数据库
4 数据模型设计
数据模型设计是实现业务分析到物理模型设计的所有过程,主要分为业务模型设计、采集模型设计、逻辑模型设计和物理模型设计。
4.1 业务模型设计
根据业务调研和分析成果,对业务模型进行标准化梳理,对数据流进行详细分析,完成从业务分析到业务模型的转换,形成业务模型。
4.2 采集模型设计
制定业务模型中数据集合并原则,根据这些原则分析业务模型中需要合并的数据集,通过专业工具完成业务模型数据集的合并工作,实现从业务模型到采集模型的转换。业务模型数据集合并原则:首先是业务活动场景相同;其次是业务活动产生的数据项相似。
4.3 逻辑模型设计
通过对POSC Epicentre逻辑模型和PPDM模型的研究,结合石油企业业务实际,采用面向对象的设计方法设计分析化验逻辑模型。逻辑模型主要分为对象模型、活动模型和属性模型。对象模型是对分析化验业务域中所涉及到的业务进行抽象,提取出一个个业务对象,用前缀OOE_表示,如岩心的对象模型是OOE_Core等;活动模型是对分析化验业务域中所有业务场景进行抽象,形成业务活动编目,存储在OOE_Activity实体里,具体的业务分析活动只是业务活动编目的具体实例。如岩石物性分析是业务活动,***井岩心常规分析报告是业务活动实例;属性模型是业务活动数据集中的相同数据项的抽象,提取出一个个属性对象,使用前缀OOP_表示,如孔隙度的属性模型是OOP_Porosity。
4.4 物理模型设计
设计从逻辑模型到物理模型的投影规则,依据投影规则实现逻辑模型到物理模型的转换,投影出不同版本的数据库,以支持不同的数据存储和管理需求。常用的投影规则有直接投影、复制投影和合并投影,不同的实体具有不同的投影规则。在投影时,为了保证物理模型的最优化设计和数据存储的最少冗余,要求分析所有实体对应的最优投影规则,根据最优投影规则一次投影出物理模型。
5 总结