基于Hadoop的学习资源分布模型设计研究

【摘要】随着计算机技术、网络应用和多媒体技术的不断发展，学习者的学习观念和学习形式也在不断的发生转变。在这种转变下网络学习满足了学习者的终身学习和开放式学习的需要，成为学习者学习的一个重要途径和方式。在这种形式下，网络学习资源的组织和提供成了整个学习过程中的核心部分。为了满足学习者的需求，各个单位也分别开发了自己的资源库。但是，随着各个学科不断的发展，学习内容不断的丰富，学习资源形式的不断更新，对于这些资源的管理就成了一个核心问题。传统资源库对于大量的学习资源的存储，基本的解决方法是采用升级硬件设备的方法，但是随着学习资源爆炸式的增长，使很多设备提前“退役”，降低了系统的经济性。这种方法带来巨大的资金投入，形成了硬件瓶颈，但是没有从根本上解决问题。云计算思想在数据资源中的应用，为解决海量学习资源的存储提供新的解决方案。通过对文献资料的分析研究，发现采用分布式集群存储思想是解决这个问题的最佳方案。本文在分析现有的学习资源发展形势和国内外资源库及云计算应用的研究现状，结合Hadoop系统平台的自身关键技术和存储架构，设计了一种基于Hadoop云计算平台的海量学习资源分布模型。本课题以HDFS为文件存储，以HBase为元数据存储，构建在低廉的计算机集群上，实现海量学习资源存储的分布模型。该模型提高了系统的稳定性，扩展性和存取高效性。本课题重点研究的内容是在研究Hadoop关键技术的基础上，结合海量学习资源的特点，针对Hadoop在处理海量小文件时产生的高内存、高磁盘碎片及中心节点的压力过大等问题，设计了学习资源分布模型。在Hadoop模型的基础上进行优化，设计了以Hadoop为核心的四层架构模型，针对海量学习资源中有众多小文件和学习资源之间存在内在联系的特点，优化了学习资源文件的分布存储策略和元数据存储的数据结构，在实验室条件下使用七台计算机，借助虚拟机软件模拟部署了资源分布模型，并在此模型上进行现有数据的模拟测试。本课题通过对学习资源的特点设计了分布模型，满足了对资源存储的可靠性、高效性、可扩展性、低成本的要求。通过实验室的模拟测试，验证了模型的可用性和小学习资源文件的存储策略的正确性。
【作者】郭松；
【导师】张岩；
【作者基本信息】沈阳师范大学，教育技术学，2014，硕士
【关键词】Hadoop；分布式；学习资源；分布模型；

【参考文献】
[1]姜虹宇.大学生村官激励机制的研究[D].吉林财经大学,行政管理,2014,硕士.
[2]张然.CIGS电池钼电极研究—掺钠钼膜以及陶瓷基底上钼膜的探究[D].厦门大学,光伏工程,2014,硕士.
[3]朱瑜.社区2型糖尿病患者自我血糖监测现状、影响因素和干预研究[D].复旦大学,公共卫生,2012,硕士.
[4]喻祖建.板料多次拉深过程数值模拟分析[D].重庆大学,2005.
[5]曾义方.导航星全球定位系统(GPS)的发展和应用[J].电信工程技术与标准化.1994(02)
[6]李晓丽.列宁的农民教育思想研究[D].曲阜师范大学,马克思主义基本原理,2013,硕士.
[7]林琼.高职院校护士生实习安全问题及研究[D].福建师范大学,教育管理（专业学位）,2012,硕士.
[8]门春艳.（氢）氧化钴/碳纳米管纸柔性复合材料的制备及电化学性能[D].新疆大学,2014.
[9]申风.人造板砂光技术(2)——影响人造板砂光质量的一些主要因素[J].林产工业.2005(02)
[10]翁金箱.我国当前检察笔录问题研究[D].中国政法大学,法学理论,2013,硕士.
[11]柳学勇.计算机辅助记忆训练对脑损伤后记忆障碍的影响[D].遵义医学院,内科学（专业学位）,2013,硕士.
[12]王抖威.蒙西至华中地区煤运通道运输组织研究[D].北京交通大学,交通运输规划与管理,2013,硕士.
[13]廖世霞.基于碳纳米管催化剂的异丙苯催化氧化性能研究[D].华南理工大学,2014.
[14]孙长吉.民初家庭功能变革述论[D].吉林大学,中国近现代史,2004,硕士.
[15]廖田梅.有限责任公司股权继承问题研究[D].江西财经大学,民商法,2013,硕士.
[16]阿卓.财务风险预警模型效果比较研究[D].西南大学,会计学,2014,硕士.
[17]刘阳.现代汉语相互义的表达形式[D].吉林大学,语言学及应用语言学,2013,硕士.
[18]张胜武.铁路企业高技能人才激励机制初探[J].甘肃科技纵横,2014,02:46-48.
[19]沈标正,李向欣,师淑珍,张卫.热带钢轧机主传动驱动系统交交变频技术改造[J].冶金自动化,2000,06:15-28.
[20]肖雁.中美媒体关于苹果在华保修事件新闻报道的立场对比研究—介入视角[D].南昌大学,外国语言学及应用语言学,2014,硕士.
[21]张翔宇.明人南亚地理知识详考[D].首都师范大学,历史文献学,2014,硕士.
[22]孙常运.频敏转差调节器发热的解决措施[J].冶金自动化,1985,03:51-53.
[23]陈佳佳.基于制度视角的湖北省农村土地流转研究[D].中南民族大学,企业管理,2013,硕士.
[24]周纯杰,黄雄峰,秦元庆,杨明月.网络化控制系统瞬时故障恢复和安全控制研究综述[J].控制与决策,2011,10:1441-1446+1451.
[25]徐俊.大学生网络成瘾的现状分析及其心理治疗与预防策略研究[D].武汉理工大学,马克思主义理论与思想政治教育,2004,硕士.
[26]黄琼.M公司市场营销渠道建设研究[D].华东理工大学,工商管理（专业学位）,2013,硕士.
[27]杨自厚.人工智能技术及其在钢铁工业中的应用第四讲知识的不精确表示和推理[J].冶金自动化,1994,03:42-46+54.
[28]杨盈.住院2型糖尿病患者甲状腺结节发病相关因素的分析[D].大连医科大学,内科学,2012,硕士.
[29]王健.微量元素对厌氧污泥发酵产酸影响研究[D].中国地质大学（北京）,环境科学与工程,2013,硕士.
[30]苑秀芳.春节旅客运输的组织与对策[J].中国铁路.2005(06)
[31]阮克全.越南青年就业中心职业培训及青年人就业现状研究[D].东北师范大学,社会保障,2012,硕士.
[32]古惠行.精稳正弦波激励信号源设计与实现[D].西安科技大学,电子与通信工程,2013,硕士.
[33]吴晓娟.中国高速铁路建设筹资渠道研究[D].北京交通大学,2010.
[34]张洪涛.纸机传动系统中节能及耦合控制等问题的研究[D].陕西科技大学,电力电子与电力传动,2013,硕士.
[35]苗杰.店坪北地区延长组长6油层有利区预测[D].西北大学,石油与天然气工程（专业学位）,2014,硕士.
[36]肖仪.基于WAVE的车载自组织网络MAC协议研究[D].湖南大学,计算机科学与技术,2012,硕士.
[37]计亚新.弹箭气动力参数辨识优化方法研究[D].中北大学,火炮、自动武器与弹药工程,2013,硕士.
[38]王扬.城市地名景观研究[D].南京农业大学,城市规划与设计,2011,硕士.
[39]王琳.互联网端端延迟对TCP低速率拒绝服务攻击的影响分析[D].国防科学技术大学,计算机科学与技术,2012,硕士.
[40]袁勤.砒砂岩区典型地域人工林生态效益分析研究[D].内蒙古农业大学,水土保持与荒漠化防治,2013,硕士.
[41]林瑞娟.A Study of English Translation of Chinese Neologisms in China Daily from the Perspective of Eco-translatology[D].西安外国语大学,外国语言学及应用语言学,2014,硕士.
[42]黎新章.关于眼镜质量检测工作的建议[J].中国眼镜科技杂志.1994(02)
[43]黄如娜,双菊荣,梁锡林.数据挖掘技术在机动车排气检测中的应用前景探讨[J].现代科学仪器,2003,05:32-34.
[44]陈明.套筒式热风炉流场及温度场数值模拟[D].东北大学,机械设计及理论,2011,硕士.
[45]杨峰.纯电动汽车动力系统参数匹配与优化[D].合肥工业大学,车辆工程,2013,硕士.
[46]马竟容.西部地区房地产品牌传播发展研究[D].北京印刷学院,传播学,2012,硕士.
[47]田文奇,和敬涵,姜久春,牛利勇,王小君.基于自适应变异粒子群算法的电动汽车换电池站充电调度多目标优化[J].电网技术,2012,11:25-29.
[48]杨晓娜.现代人力资源管理模式下我国公务员聘任制研究[D].延安大学,行政管理,2014,硕士.
[49]俞琛.明中后期言官门户之争研究[D].复旦大学,中国古代史,2012,硕士.
[50]周莉莉.武汉市中考体育研究[D].湖北大学,体育教育训练学,2011,硕士.