MapReduce作业调度算法优化与改进研究

【摘要】随着互联网技术的迅猛发展,IT产业已经逐渐趋于消费化、社会化,日益累积的大数据已经开辟了一个崭新的计算时代,而云计算为这个时代带来了无限机遇与挑战。在Google云计算三大论文和Apache开源社区的推动下,Hadoop逐渐发展为应用最广泛的开源云计算平台。作为其中的核心技术之一,MapReduce作业处理框架及其作业调度算法对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准。针对MapReduce原生作业调度算法中的数据本地性问题,论文主要工作如下：首先,对开源云计算平台Hadoop的基础架构和MapReduce相关技术进行研究与分析。重点介绍和分析了MapReduce基本原理、MapReduce作业处理机制和MapReduce作业调度机制等相关内容。其次,详细阐述并分析了目前关于MapReduce原生作业调度算法及其相关改进算法的研究现状,总结出各自的优缺点。针对当前与数据本地性相关的作业调度算法进行了详细的研究分析,总结出当前作业调度算法在数据本地性方面所表现出来的缺陷,为后续研究提供基础。然后,针对原生作业调度算法在数据本地性方面考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术,设计并实现一种基于资源预取的HadoopMapReduce作业调度算法。在非本地map任务被真正调度之前预先读取其输入数据到待分配的计算节点之上,以一定的网络开销和磁盘空间开销换取数据本地性的提升,从而使作业执行效率更高。最后,通过搭建小型Hadoop实验集群,设计实验场景,分别在集群上配置使用改进调度器与Hadoop原有的三种作业调度器进行对比实验。实验结果表明,改进后的算法不仅在作业的数据本地性方面有较大提升,而且在一定程度上减少了作业的响应时间,对系统的整体性能有较大提升。
【作者】万兵；
【导师】黄梦醒；
【作者基本信息】海南大学，计算机应用技术，2014，硕士
【关键词】云计算；Hadoop；MapReduce；作业调度；数据本地性；资源预取；

【参考文献】
[1]秦戎.对动画表演与影视表演异同的研究[D].湖北工业大学,工业设计工程（专业学位）,2013,硕士.
[2]曾波,刘思峰,孟伟,陈久梅.具有主观取值倾向的离散灰数预测模型及其应用[J].控制与决策,2012,09:1359-1364.
[3]王玺.水稻田常用杀虫剂对主要天敌蜘蛛的安全性评价[D].南京农业大学,农药学,2012,硕士.
[4]李秀英.历史教学中创造性思维的研究[D].东北师范大学,教育,2003,硕士.
[5]赵四化.新型纳米材料在微电子技术中的应用探究[J].微电子学,2013,04:577-580.
[6]尤艳芳.温中益气胶囊药学及药效学研究[D].黑龙江中医药大学,方剂学,2014,硕士.
[7]范正伟.探讨TNF-α与Wnt/β-catenin信号通路在小鼠原代前脂肪分化过程中相互作用机制[D].山东师范大学,细胞生物学,2013,硕士.
[8]王晓华.数据仓库技术及应用和发展[J].中文信息,2003,04:28-30.
[9]岳磊磊.老子与赫拉克利特辩证法思想比较研究[D].宁夏大学,外国哲学,2014,硕士.
[10]范子珍.基于可持续发展战略的中小企业品牌形象设计研究[D].浙江工业大学,2013.
[11]巫明健.兰渝铁路两水隧道软岩开挖及支护技术研究[D].西南交通大学,地质工程,2014,硕士.
[12]杨炳儒,陈泓婕.多最小支持度规则的挖掘算法[J].计算机工程,2003,06:40-41+115.
[13]李腾.不同体制下中日两国足球后备人才培养的对比研究[D].南京体育学院,运动训练（专业学位）,2012,硕士.
[14]徐希,孙嘉龙.简讯[J].时代建筑,2013,06:152-153.
[15]高喜龙,孙希瑞,李顺玲,杨明,常解晨.测井约束反演在埕岛油田储层预测中的应用[J].石油地球物理勘探,2001,03:334-338+382.
[16]邵锦挺,应国清,王琦,梅建凤,王鸿,易喻.微型化DNS法测定多糖水解液中还原糖的质量浓度[J].浙江工业大学学报,2012,03:250-252.
[17]杨铮.预应力混凝土结构的三维有限元分析与研究[D].浙江大学,2005.
[18]陈素芳.基于Web的汉语拼音评估系统[D].西安电子科技大学,电路与系统,2012,硕士.
[19]侯庆慧.基于高频AC链的高效率微逆变器的优化研究[D].哈尔滨工业大学,电气工程,2013,硕士.
[20]王蕾.创业教育促进大学生创业的机制研究[D].河南科技大学,技术经济及管理,2014,硕士.
[21]曲远辉.气吸式萝卜精量播种机关键技术的研究[D].湖北工业大学,机械设计及理论,2014,硕士.
[22]赵玉清.模糊PID控制方法在单室跳汰模型中的应用研究[D].太原理工大学,机械电子工程,2004,硕士.
[23]胡寿松,范存海,何亚群.关联大系统的分散H~∞／LTR控制[J].自动化学报,1995,01:9-16.
[24]王艺婷.基于单目视觉的手势识别的研究与应用[D].青岛大学,计算机软件与理论,2013,硕士.
[25]陈强,李晓磊.国际石油工业界POSC及其相关项目的进展[J].石油地球物理勘探,1995,02:223-229+291.
[26]徐炬磊.地方本科高校人才队伍建设面临的挑战与路径选择[D].宁波大学,公共管理（专业学位）,2014,硕士.
[27]张松.公司担保合同效力研究[D].吉林大学,法律,2013,硕士.
[28]刘冬.我国企业技术创新的税收优惠政策研究[D].长安大学,行政管理,2013,硕士.
[29]秦宗川.论我国亲告罪立法标准的确立[D].西南政法大学,刑法学,2012,硕士.
[30]李光荣.国有煤炭企业全面风险演化机理及管控体系研究[D].中国矿业大学（北京）,管理科学与工程,2014,博士.
[31]崔晨.WTO框架下的电影贸易问题研究[D].山东大学,国际法学,2013,硕士.
[32]王冲.《关于美》中的张力研究[D].中国矿业大学,英语语言文学,2014,硕士.
[33]王喜军.饱和黏土的一维流变固结分析[D].郑州大学,岩土工程,2013,硕士.
[34]赵松淑.延边朝鲜族自治州特色主导产业的发展战略[D].中央民族大学,中国少数民族经济,2004,硕士.
[35]李生杰,任翠霞,务宗文.叠后高分辨率处理方法研究及效果分析[J].石油地球物理勘探,1996,02:270-277+308.
[36]卢雪华.《红楼梦》中称谓变异研究[D].湖南工业大学,外国语言学及应用语言学,2012,硕士.
[37]李甫英.中学数学教学中实施情感教育的理论与实践研究[D].江西师范大学,2005.
[38]陶铜筑.在生物课堂教学中进行研究性学习的探索[D].华东师范大学,学科教学论,2003,硕士.
[39]李亚.几类分数阶微分方程解的存在性的研究[D].燕山大学,运筹学与控制论,2013,硕士.
[40]陈冰琳.2012年“Possible Japan-China Tensions over Their ASEAN Policy”学术讨论会口译实践报告[D].广西民族大学,翻译,2013,硕士.
[41]张昕光.组织知识共享的实现途径及其风险控制研究[D].东北大学,2005.
[42]余振兴.蛋壳镶嵌在中国现代漆画中的艺术表现[D].安徽大学,美术学,2014,硕士.
[43]蔡奎.河北平原区土壤有机碳储量变化控制因素及趋势分析[D].石家庄经济学院,矿产普查与勘探,2012,硕士.
[44]殷慧菁.以文化创新推动管理创新——论客户关系管理与企业文化[D].南京航空航天大学,2003.
[45]巴格根图牙.科尔沁右翼前旗满族乡查干敖包祭祀习俗探析[D].内蒙古师范大学,民俗学,2013,硕士.
[46]高政南,谢蓉华,樊卫华,陈庆伟.基于信号差值死区调度的无线网络控制系统H_∞控制[J].控制与决策,2012,09:1301-1307.
[47]刘敏.中国古代文论“冲淡”范畴研究[D].湖北民族学院,文艺学,2013,硕士.
[48]钟星星.现代文化认同问题研究[D].中共中央党校,马克思主义哲学,2014,博士.
[49]达虎.半参数测量误差模型的经验似然[D].兰州理工大学,运筹学与控制论,2014,硕士.
[50]孙文静.转化生长因子β_1对支气管哮喘患者肺成纤维细胞的作用研究[D].青岛大学,内科学,2013,硕士.