基于Hadoop的时态信息存储与检索策略的研究

【摘要】随着信息技术的深入发展,蜂拥而至的信息演变成了各个领域和行业分析、处理以及应用的关键,成为左右决策最重要的因素。几乎所有信息都显式或隐式地具备时态特征,探讨时态信息的存储与检索技术成为是时态信息处理的核心之一。当前架构在传统关系数据库之上的时态数据模型在进行超大规模和高并发的时态数据存储和处理时遭遇了性能瓶颈,暴露了诸多难以克服的问题,既无法满足对时态数据的高并发读写需求,同时也难以处理大量存在的类型复杂的非结构化数据,学者们开始逐步关注分布式系统基础架构Hadoop下的应用。Hadoop是一个开源的云计算架构,具有大规模扩展和水平分布的特点,可以提供动态的存储和计算能力,这就为海量时态数据的存储和快速检索提供了一个新思路。针对海量非结构化时态信息,构建了在分布式环境下的数据存储模型并在此基础上提出一种基本的时态数据处理方法。使用Hadoop平台下的分布式、非结构化数据库HBase对时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型；对于时态信息的查询需求,针对分布式处理特征和时态集合数据类型,提出一种在Map/Reduce编程计算模式下进行时态信息关系演算的实现方法；通过扩展时态区间关系运算,实现以时态集合为基本时态数据操作对象的交、并等关系运算,并以医疗时态数据作为研究实例,表明了所提出的时态数据存储模型和关系演算方案在分布式应用系统下的适用性。对于时态信息的快速检索需求,设计了多级分布式哈希索引表算法(tDHT),实现对时态列族的时态属性值的高效、快速的检索。通过将时态属性值向二维空间映射,实现时态数据向空间对象的转化,采用对空间数据的处理方法对时态数据区域进行划分,生成多级时态数据子区域,利用分布式哈希表思想设计HBase存储的多级索引表目录。论文的创新之处包括：(1)针对传统的时态数据库在存储海量非结构化时态信息遭遇性能瓶颈,构建分布式存储结构HBase下的海量时态信息存储模型,设计了海量时态信息的存储架构；(2)对于存储体系中时态信息的查询、分析操作,提出一种在Map/Reduce编程模式下进行海量时态信息关系演算的方案,实现了以时态集合为操作对象的并、交以及笛卡尔积等时态关系演算过程；(3)针对海量时态信息的快速、高效检索需求,设计了多级分布式哈希索引表算法(tDHT),实现对时态列族的时态属性值的高效、快速检索。根据设计方案,文章最后进行了相应的性能测试和数据分析,从实验结果可以看出,本文提出的海量时态信息的存储、查询与检索方案在云计算平台下展现了良好的适用性,较大程度上提高了对海量时态数据的处理能力,表现出了较好的性能。
【作者】封朝永；
【导师】左亚尧；
【作者基本信息】广东工业大学，计算机应用技术，2014，硕士
【关键词】时态信息；Hadoop；HBase；存储模型；关系演算；索引；

【参考文献】
[1]李中浪.我国通胀动态机制特征研究[D].南京大学,国民经济学,2013,硕士.
[2]龚道雄,阮晓钢.一种基于遗传算法的进化计算模型[J].控制与决策,2005,01:11-16.
[3]陈刚,王超,周波.电力营销决策支持系统的设计[J].电瓷避雷器,2003,05:43-48.
[4]张根军.生长猪热应激反应模型及适宜监测指标筛选[D].中国农业科学院,动物营养与饲料科学,2004,硕士.
[5]逯改.生态伦理视野中的绿色消费[D].上海师范大学,伦理学,2004,硕士.
[6]毛善英.左旋多巴对偏侧帕金森病大鼠多巴胺D_2受体的影响[D].浙江大学,神经病学,2004,硕士.
[7]崔修竹.美国尼克松政府与日中邦交正常化1969-1972[D].华东师范大学,世界史,2013,硕士.
[8]辛晓志.一系列自固定FI/Zr催化剂的合成，表征及其催化烯烃聚合性能的研究[D].吉林大学,有机化学,2014,硕士.
[9]王秀娟,吴时国,王大伟,马玉波,姚根顺,龚跃华.琼东南盆地多边形断层在流体运移和天然气水合物成藏中的作用[J].石油地球物理勘探,2010,01:122-128+164+174.
[10]王蕾,魏后凯.中国城镇化对能源消费影响的实证研究[J].资源科学,2014,06:1235-1243.
[11]魏驿欢.影视剧配音在台词教学中的运用[D].云南艺术学院,戏剧与影视学,2013,硕士.
[12]周洁.带时间特性的自动信任协商模型研究[D].湖南大学,计算机科学与技术,2012,硕士.
[13]雷亚洲.与风电并网相关的研究课题[J].电力系统自动化,2003,08:84-89.
[14]王万丽.氮氧化钛制备及其在氧电极中应用研究[D].上海交通大学,2012.
[15]陈士青.我国物流业上市公司成长性评价研究[D].首都经济贸易大学,技术经济及管理,2013,硕士.
[16]杨希.大学生批判性思维养成：课堂文化的视角[D].山东师范大学,高等教育学,2013,硕士.
[17]孙文娜.节事消费者感知价值对其满意和忠诚的影响研究[D].青岛理工大学,企业管理,2012,硕士.
[18]邹德颖.鸡源致病性鲍曼不动杆菌分离鉴定及毒力相关蛋白初步分析[D].吉林大学,预防兽医学,2014,硕士.
[19]何娱.OFDM全盲频谱感知算法的感知时间优化研究[D].西南交通大学,通信与信息系统,2014,硕士.
[20]韩莎莎.医疗病历法律问题研究[D].西南政法大学,民商法（专业学位）,2012,硕士.
[21]陈铭.现代俄语中表示评价意义的句法成语研究[D].浙江大学,俄语语言文学,2014,硕士.
[22]李兵.浮雕壁画光影语言研究[D].西南大学,美术学,2013,硕士.
[23]高伟峰,胡勇,胡江洪.基于临时表的Apriori改进算法[J].计算机与信息技术,2005,11:1-3.
[24]贺文均.社会支持与特教专业大学生的专业承诺、学习责任心的关系研究[D].西南大学,特殊教育,2013,硕士.
[25]胡陈.内氧化法制备ZrO_2/Cu复合材料的研究[D].江苏科技大学,材料学,2013,硕士.
[26]刘铸.中国松鼠（Sciurus vulgaris）遗传系统分化与遗传多样性研究[D].东北林业大学,野生动植物保护与利用,2014,博士.
[27]额日和木.VO_x/介孔杭锦2~#土的光催化氧化苯制苯酚催化性能研究[D].内蒙古师范大学,物理化学,2013,硕士.
[28]李诗雨.基于CompactRIO的远程雷达伺服控制系统的研究[D].大连理工大学,电机与电器,2013,硕士.
[29]方亚男.基于系统动力学的鲜活农产品质量安全监管问题研究[D].北京工商大学,管理科学与工程,2013,硕士.
[30]姚文戈.以信息化推进我国农业产业化[J].情报科学,2005,10:43-46.
[31]纪昌明,喻杉,周婷,杨子俊,刘方.蚁群算法在水电站调度函数优化中的应用[J].电力系统自动化,2011,20:103-107.
[32]邸乃庸.中国长征系列运载火箭的研制和发展[J].世界导弹与航天.1989(09)
[33]张焕芳.中国30个省域建筑业生产与碳排效率差异分析研究[D].长安大学,技术经济及管理,2014,硕士.
[34]孔敏.先秦复音词研究综述——兼谈《孙子兵法》的合成复音词[J].现代语文(语言研究版),2015,03:28-31.
[35]朱品璋.玩偶的情感设计研究[D].南京师范大学,设计艺术学,2012,硕士.
[36]张伟.含时外场作用下量子点序列的自旋极化输运[D].河北科技大学,凝聚态物理,2012,硕士.
[37]陈奕冰.葛花多糖对辐射损伤小鼠保护作用的研究[D].吉林大学,劳动卫生与环境卫生学,2013,硕士.
[38]董军,吴莉莉,代正伟.石墨烯复合纳米晶纤维素制备阻燃薄膜的研究[J].嘉兴学院学报,2014,06:21-25.
[39]张东.UHF频段读写器天线阵设计[D].北京邮电大学,电子科学与技术,2013,硕士.
[40]黄晓霞,萧蕴诗.数据挖掘应用研究及展望[J].计算机辅助工程,2001,04:23-29.
[41]陈丽平.芋种质资源遗传多样性RAPD分析[D].湖南农业大学,蔬菜学,2004,硕士.
[42]姜伟.医学影像设备维护与管理技术的研究[D].河北工业大学,生物医学工程（专业学位）,2013,硕士.
[43]王帅鹏.两亲性类树枝状聚合物的合成及药物缓释应用[D].安徽大学,应用化学,2014,硕士.
[44]石方夏.基于JSP的招生考务管理系统的设计与实现[D].长安大学,计算机应用技术,2013,硕士.
[45]朴惠娟.关于韩国大学入学考试汉语科目的研究[D].东北师范大学,汉语国际教育（专业学位）,2012,硕士.
[46]李强,黄泽铗,徐雅芹,张凌云,史骥,王智.基于单模-多模-单模光纤模间干涉的传感系统[J].红外与激光工程,2014,05:1630-1636.
[47]蒋招绣.高强高韧铝合金的动态拉伸断裂行为研究[D].宁波大学,工程力学,2013,硕士.
[48]张磊.静电纺丝法合成改性TiO_2纳米材料及其光催化性能研究[D].西安工程大学,应用化学,2012,硕士.
[49]徐鹤云.银杏叶提取物（Egb761）在肺移植中对供肺的保护作用[D].浙江大学,2002.
[50]边贵.《阿毗达磨俱舍论》中的“十八界”观之研究[D].西藏大学,藏语言文学,2014,硕士.