基于云计算的海量时空数据存储及挖掘方法的研究和应用

【摘要】近年来，越来越多的应用程序收集和存储大量时空数据在分布式数据库中，使得时空数据挖掘的需求不断增加。在公安交通管理领域，由于交通流数据急剧增加，加上其数据具有显著的时空特性，使得在处理海量的时空数据上面临着严重的挑战。针对日益增长的海量数据分析，传统的处理方法在存储空间和计算效率上已不能满足用户需求，需要有支持海量数据存储和分析的平台来适应新的需求。时空异常探测是时空数据挖掘领域中一个重要分支。本文针对传统处理方法在时空异常探测方面的局限性，设计实现了一个大数据存储及分析平台。主要研究内容和创新如下：（1）本文分析和研究云平台下Hadoop、HBase、Hive及Zookeeper的技术原理，研究了Hadoop框架的HDFS原理及MapReduce编程模型，重点研究了HBase分布式数据库的数据存储架构底层实现原理及HBase表的数据模型。在此基础上，本文构建了基于Hadoop、HBase、Hive及Zookeeper的云平台，并搭建了HBase+Hive系统扩展架构。（2）对时空异常探测方法进行了深入研究，分析研究了现有的一些时空异常模式，通过挖掘预先定义的时空异常模式得到有价值的知识。提出了基于云平台的四步骤时空异常探测方法（数据预处理、分布式异常探测方法、知识规则应用、结果验证）来挖掘预先定义的时空异常模式，使用交通数据流中的一个真实应用来验证该方法。实验表明该方法具有较高的运行效率和正确性。（3）研究了HBase行键设计，提出了基于行键的数据模型。在明确设计目标的基础上，利用行键来设计辅助索引表和副本恢复表，实现了一种基于HBase的分布式辅助索引并应用于交通流过车数据应用中。实验表明该索引机制可以高效地实现海量数据的查询。（4）结合上述的研究内容，本文设计实现了大数据存储及分析平台，包括云平台、后台程序和前台展示系统。将时空异常探测的真实应用集成到该平台中，给用户提供方便操作及结果展示。
【作者】平利强；
【导师】俞东进；
【作者基本信息】杭州电子科技大学，计算机软件与理论，2014，硕士
【关键词】数据挖掘；云计算；交通数据流；时空异常探测；二级索引；

【参考文献】
[1]王熙.基于食品安全的鸡蛋消费行为研究[D].南京农业大学,农村与区域发展,2011,硕士.
[2]张志鹏.利用原核显微注射技术制备VEGF164转基因小鼠及其检测[D].内蒙古大学,动物学,2014,硕士.
[3]隗延龙.“地壳一号”全液压顶驱减速箱热平衡仿真分析[D].吉林大学,地质工程,2014,硕士.
[4]姚继莲.思想政治课教材“二次开发”探究[D].河北师范大学,教育,2013,硕士.
[5]宋仅星.新型稻草还田多功能复合菌系的构建及其功能研究[D].安徽农业大学,微生物学,2011,硕士.
[6]王美鸾.风险投资对我国创业板IPO的影响效应研究[D].浙江工商大学,会计学,2013,硕士.
[7]努尔比亚·库尔班.新疆被征地农民社会保障问题研究[D].新疆师范大学,中国少数民族经济,2013,硕士.
[8]李婕妤.大型水平轴风力机塔架—基础的动力特性分析[D].兰州理工大学,工程力学,2014,硕士.
[9]王应明,傅国伟.运用无限方案多目标决策方法进行有限方案多目标决策[J].控制与决策,1993,01:25-29.
[10]徐矩良.国内外高炉喷煤情况及展望[J].炼铁.1996(04)
[11]边玉敬,陈淑芳,王丹妮.多路纳秒时差自动测量系统的研制[J].宇航计测技术.1991(05)
[12]刘静.磁悬浮开关磁阻球形电机结构设计与三维磁场分析[D].扬州大学,机械制造及其自动化,2011,硕士.
[13]刘继正.村务公开背景下的政治不信任研究[D].华中师范大学,政治学理论,2014,硕士.
[14]方锐.基于改进主成分分析法的武汉市城市竞争力研究[D].华中科技大学,行政管理,2012,硕士.
[15]马天雨,桂卫华,阳春华,王雅琳.多模型预测控制在磨矿分级过程中的应用[J].控制与决策,2012,11:1715-1719.
[16]王玉太,张明君,刁希全,李进凯.山东省小水源工程建设的基本经验[J].中国水利.2003(08)
[17]王丽晖.血镁水平与2型糖尿病及糖尿病肾病相关性研究[D].吉林大学,临床医学,2013,硕士.
[18]吴广跃,王天生.大地电磁测深曲线的病态反演[J].石油地球物理勘探,1981,04:63-74.
[19]王建聪,毛保华.车辆超限超载的危害性与治理对策研究[J].中国安全科学学报.2004(11)
[20]曹志浩.平地机冷却系统一维仿真分析与优化[D].吉林大学,动力机械及工程,2014,硕士.
[21]李希胜.路面工程质量计算机辅助管理系统[D].南京林业大学,森林工程,2003,硕士.
[22]车娟.提香油画中的诗意性研究[D].渤海大学,美术学,2013,硕士.
[23]贾海蓉.基于信号检测理论的盲均衡算法的研究[D].太原理工大学,电路与系统,2004,硕士.
[24]陈晔林.江西联通3G业务发展策略研究[D].南昌大学,工商管理（专业学位）,2012,硕士.
[25]陈玲.XX公司减速箱质量控制研究[D].华东理工大学,工商管理（专业学位）,2013,硕士.
[26]金建平.纺织类上市公司法人治理结构的探讨[D].苏州大学,纺织工程,2003,硕士.
[27]吴伟.网络多媒体教室纯软件模型的研究与实现[D].南京理工大学,计算机软件与理论,2013,硕士.
[28]滕飞.PISA-S型光谱仪器调试平台设计[D].吉林大学,精密仪器及机械,2013,硕士.
[29]张旻,姜绍通*,郑志,潘丽军,李兴江,罗水忠,吴学凤.米根霉AS3.819基因启动子片段的克隆及功能鉴定[J].食品科学.
[30]黄琛琛.猪胎盘组织候选印记基因表达谱分析及相关基因网络构建[D].西南大学,遗传学,2013,硕士.
[31]李红.玉米螟发生发展模型及软件开发[D].南京气象学院,气象学,2003,硕士.
[32]王林海.新中国小学课程改革：历程、问题及走向[D].湖南师范大学,课程与教学论,2004,硕士.
[33]朱文君.国有企业下岗职工选择行为研究——东北地区四个城市下岗职工求职过程的考察[D].吉林大学,社会学,2004,硕士.
[34]宋晓静.基于证据理论的工业报警器设计方法研究[D].杭州电子科技大学,控制理论与控制工程,2013,硕士.
[35]潘明九.供电企业配电网运行经济分析[D].华北电力大学（河北）,2004.
[36]陆娴.智能电网中馈线终端系统的设计与研究[D].南京理工大学,电气工程,2013,硕士.
[37]朱志高.氟化超双疏聚丙烯腈/聚氨酯纤维膜的制备及其空气过滤性能研究[D].东华大学,材料工程（专业学位）,2014,硕士.
[38]丁勇.基于AUTOSAR规范的BMS控制算法软件组件开发[D].吉林大学,车辆工程,2014,硕士.
[39]秦秀敏.早期食管癌及癌前病变内镜诊断、治疗、随访及癌前病变中多种蛋白表达分析研究[D].北京协和医学院,肿瘤学,2014,博士.
[40]颉丽娟.不同村庄演化类型的村庄建设用地利用效益研究[D].甘肃农业大学,土地资源管理,2013,硕士.
[41]李丹丹.Oracle数据库字符集转换成Unicode产品开发[D].北京交通大学,2014.
[42]李文杰.车辆牌照识别系统的研究与应用[D].燕山大学,电子与通信工程,2012,硕士.
[43]范向琪.绩效管理离中国企业有多远[J].每周电脑报,2005,05:31-32.
[44]曹燕妮.从主体性困境走向主体性的全面实现[D].兰州大学,马克思主义基本原理,2013,硕士.
[45]马健.一种基于GPS采集处理系统的研究[D].渤海大学,计算机软件与理论,2013,硕士.
[46]黄小猛.异构代价敏感决策树与随机森林核心技术[D].广西师范大学,计算机软件与理论,2013,硕士.
[47]韩江霞.医疗费用支付影响因素差异性研究[D].吉林大学,管理科学与工程,2014,硕士.
[48]刘辰宇.由技术创新引发的技术替代及企业技术战略选择浅探[D].西南财经大学,2003.
[49]王艳华.试论文学翻译中的误读与误译[D].上海外国语大学,俄语语言文学,2013,硕士.
[50]刘金凤.基于数据挖掘技术的河北省农村养老满意度研究[D].河北经贸大学,统计学,2013,硕士.