Hadoop大数据平台与传统数据仓库的协作研究

【摘要】随着Hadoop技术的发展,从最初为Google、Facebook等公司解决海量数据的存储问题,到现在被越来越多企业用来处理大数据,企业已经建设好的传统数据仓库地位受到了挑战。本文重点研究Hadoop与传统数据仓库(如无特殊说明,本文提及的传统数据仓库皆指单节点的关系型数据仓库)如何进行协作、分工,进行数据采集、传输、存储、处理等工作。在已有传统数据仓库的基础上提供Hadoop的支持,弥补传统数据仓库在海量数据处理、存储等方面的不足,也可以依靠Hadoop的横向扩展能力突破单节点的传统数据仓库在存储和计算能力上的瓶颈。本文根据现今传统数据仓库的应用情况及Hadoop大数据平台的前景预测,针对传统数据仓库已无法满足大多数用户需求的问题,提出了Hadoop与传统数据仓库协作的新架构后,重点针对Hadoop与传统数据仓库之间协作的可行性进行研究。新架构源于Cloudera和Teradata的工程师们提出的Hadoop与传统数据仓库协作的设想方案,本文将新构架分为三大模块：数据采集、数据存储和数据应用,主要考虑结构化与非结构化数据的采集、存储和应用问题,研究Hadoop与传统数据仓库在数据存储和数据应用方面的协作可行性。针对数据采集和传输问题,本文采用Apache的Sqoop技术解决；而数据存储问题则依靠Hadoop集群的HDFS文件系统和Hive数据仓库,同时也介绍了在Hive中的数据应用,最后通过原型系统验证了所设计架构的可行性。本文基于现今企业对大数据平台的需求,同时也考虑到企业已有传统数据仓库的重用,研究其两者之间的协作关系,最终实现了系统原型为企业的实际应用提供指导。
【作者】费仕忆；
【导师】李继云；吕俊涛；
【作者基本信息】东华大学，计算机技术（专业学位），2014，硕士
【关键词】Hadoop；数据仓库；大数据；关系型数据库；

【参考文献】
[1]张艳芬.彩色多普勒超声检测主肾动脉窃血现象与肾肿瘤的关系[D].广西医科大学,腹部超声诊断（专业学位）,2013,硕士.
[2]吴瑕,陈建文,鲍拯,赵志国.混合估计多模粒子滤波的机动弱目标检测前跟踪算法[J].控制与决策,2014,03:523-527.
[3]姜龙.通化市初中篮球教学现状调查与对策研究[D].吉林体育学院,体育教学（专业学位）,2013,硕士.
[4]熊丽媛.在华外企公关危机探究[D].华中师范大学,新闻学,2013,硕士.
[5]王微.6～10月龄锦江黄牛蛋白质和能量需要量及其代谢规律研究[D].江西农业大学,养殖,2012,硕士.
[6]安群涛,孙立志,刘超,孙力.无刷直流电机的磁链自控直接转矩控制[J].中国电机工程学报,2010,12:86-92.
[7]毕敬亮.“统一俄罗斯”党及其对俄罗斯民主的影响[D].山东师范大学,国际政治,2013,硕士.
[8]张红林.土地督察对土地违法状况的影响效果研究[D].华中科技大学,土地资源管理,2013,硕士.
[9]贺嘉.国际商事仲裁裁决发回重裁制度研究[D].西南政法大学,国际法学,2012,硕士.
[10]胡冰.生态视角下的中英文公益广告对比研究[D].西安工业大学,外国语言学及应用语言学,2014,硕士.
[11]张帅.TRB2及相关miRNA在肺腺癌发病中的作用研究[D].滨州医学院,免疫学,2011,硕士.
[12]孙旭霞.基于WLAN/UWB无线通信系统的小型微带天线设计[D].浙江工商大学,电子与通信工程（专业学位）,2014,硕士.
[13]崔志松.海洋专性解烃菌Cycloclasticus spp.的代谢特性及协同降解高分子量多环芳烃的研究[D].中国海洋大学,生物化学与分子生物学,2014,博士.
[14]马芳.结构广义可靠性分析及其在天线结构优化中的应用[D].西安电子科技大学,机械制造及其自动化,2004,硕士.
[15]杨玉华.冀南扇鼓舞研究[D].中国艺术研究院,舞蹈学,2014,硕士.
[16]李玉幸.地铁车站格栅吊顶对探测器响应性能影响的研究[D].北京建筑大学,控制理论与控制工程,2013,硕士.
[17]宋增凤.基于灰色预测理论的液氮灌装智能控制器应用研究[D].东北大学,控制理论与控制工程,2010,硕士.
[18]王艳丽.住宅室内设计中集成材料运用的环保性研究[D].湖北工业大学,工业设计工程（专业学位）,2013,硕士.
[19]王彬,郭庆来,孙宏斌,汤磊,张伯明,吴文传.交流特高压近区电网自动电压控制研究与实践[J].电力系统自动化,2013,21:99-105.
[20]宋建全,许玲,褚丽,曲红云,顾忠禹,TricciSo.WiMAX中的组播/广播业务[J].电信网技术.2008(05)
[21]糜永红.建筑结构在地震作用下的能量反应分析及应用研究[D].湖南大学,结构工程,2003,硕士.
[22]杨田静.蜂针治疗膝骨性关节炎的疗效研究[D].广州中医药大学,针灸推拿学（专业学位）,2013,硕士.
[23]刘文文.主板上市公司退市制度研究[D].杭州师范大学,民商法学,2013,硕士.
[24]韩丽荣.陕西省环境教育的困境及优化研究[D].西北大学,公共管理（专业学位）,2014,硕士.
[25]梁红飞.1981年太阳西边缘耀斑后环物理量场的研究[D].中国科学院研究生院（云南天文台）,天体物理,2003,硕士.
[26]支晗.基于损伤相关性的钢筋混凝土简支梁安全性评价方法研究[D].东北大学,固体力学,2011,硕士.
[27]赵丽慧.盐碱度对尼罗罗非鱼生长、渗透生理及鳃离子转运酶基因表达的影响[D].上海海洋大学,动物遗传育种与繁殖,2014,硕士.
[28]谢康宁.网络课程答疑系统的研究与实现[D].第四军医大学,教育技术学,2004,硕士.
[29]贺巍.面向石化企业的安全管理信息系统研究[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[30]包建荣.基于以太网传输射频识别应用系统的研究与设计[D].浙江工业大学,2004.
[31]谭汉松,刘涛.基于ODS的数据仓库研究与实现[J].信息技术,2003,03:16-18.
[32]石晓改.国家高新区文化品牌塑造研究[D].西南交通大学,传播学,2012,硕士.
[33]汪奕.眉山移动分公司绩效管理体系的战略性设计研究[D].电子科技大学,工商管理（专业学位）,2012,硕士.
[34]王莹,郭宇春.基于位置的社交网络链接预测特征研究[J].计算机与现代化,2015,04:26-30.
[35]万昕.我国商业银行资本结构研究[D].江西财经大学,金融学,2013,硕士.
[36]陆建兵.区域水资源优化配置与土地生态潜力研究[D].扬州大学,2005.
[37]汪正刚,孙晓东,张元健.切头飞剪的选型[J].一重技术.1999(03)
[38]周勇亮.圆检测算法研究与参数数据管理[D].浙江工业大学,2012.
[39]胡莎莎.新疆典型森林类型生物量监测研究[D].新疆农业大学,生态学,2012,硕士.
[40]王宏,林振智,文福拴,薛禹胜,郭锋,吴烨.基于区间数的黑启动决策方法[J].电力系统自动化,2013,11:26-32.
[41]陈协林.旭阳公司电子商务规划[D].大连理工大学,工商管理,2004,硕士.
[42]周辉.基于1-Wire总线温度采集装置的设计与实现[D].湖南大学,电子与通信工程,2013,硕士.
[43]高国平.复合双金属催化剂的设计与研究-CO还原SO_2[D].宁波大学,凝聚态物理,2013,硕士.
[44]舒志兵1,瞿敏敏1,翟正磊1,高军虎2.基于矢量控制的数控系统的伺服驱动优化[J].电气传动,2014,08:64.
[45]杨龙斌.区域建筑产业政策实施效果评价研究[D].重庆大学,管理科学与工程,2014,硕士.
[46]杨科.下肢康健训练机器人控制系统的研究[D].合肥工业大学,机械电子工程,2013,硕士.
[47]李艳丽.宁夏银行会计操作风险管理研究[D].宁夏大学,工商管理（专业学位）,2014,硕士.
[48]格日乐其木格.梁启超书信研究[D].内蒙古师范大学,历史文献学,2013,硕士.
[49]陈建明.第二外语教学中的文化教学研究[D].西北师范大学,课程与教学论,2013,硕士.
[50]崔洪刚.移动电子政务系统中知识管理技术的研究和实现[D].广东工业大学,2002.