基于HDFS的云存储系统的设计与实现

【摘要】近年来,云计算由于其可以快速分析处理大量数据而普及。而大容量高性能的存储系统是云计算的基础。其中,分布式存储系统HDFS作为GoogleFileSystem最为知名的开源实现,已经被广泛使用和研究。它为各大公司和科研机构搭建云存储服务提供了很好的参考。然而,HDFS作为云计算的辅助系统,自身还存在小文件存储效率低下等不足,由于这些不足导致HDFS本身是无法直接提供针对商业需求的应用。为了解决这些问题,本文首先提出针对小文件存储的优化方案并根据实际商业需求设计并实现了基于HDFS集群的分布式文件存储系统。本文所设计的系统主要包括两种访问模式：Web模式和NFS模式。重点研究了小文件存储优化、用户管理、配额管理、NFS和HDFS的融合等方面。本文的主要工作如下：1、针对小文件存储提出了优化方案,并进行了仿真验证。2、设计出一套完整的针对企业级用户需求的解决方案,从客户端的设计到整个系统的架构,从客户的需求分析到功能点的实现,都给出了非常详尽的描述。3、本文完成了三大部分的实现,首先完成了基于Web模式的云存储系统,主要实现了用户登录,配额管理,文件共享等重要功能。然后将NFS引入云存储系统,和HDFS分布式集群系统完成对接,实现了用户可以访问各自的独立空间。最后完成了后台管理系统。4、针对本系统的两种使用模式,使用黑盒子技术设计了非常详尽的测试用例来测试它们各自的性能,并在上传文件、下载文件和不同并发下上传文件这三个场景里进行性能的比较。本文首先针对小文件存储设计了优化方案,通过仿真实验表明优化方案在内存使用效率和文件读取效率方面提高明显。之后利用HDFS作为基础设计并实现了符合商业需求的分布式存储系统,成功将NFS和HDFS进行融合。在实际的测试和应用当中,系统的功能全面而实用、性能也表现良好。
【作者】高正九；
【导师】郑烇；
【作者基本信息】中国科学技术大学，模式识别与智能系统，2014，硕士
【关键词】云存储；小文件存储；HDFS；NFS；配额管理；

【参考文献】
[1]范民军.基于运动目标检测的三维滤波技术研究[D].浙江大学,信息与通信工程,2013,硕士.
[2]张宝.成就目标定向、领导风格与反馈寻求行为之间关系的研究[D].浙江大学,2006.
[3]彭兵兵.房地产信托的风险控制[D].中国社会科学院研究生院,信托理论与实务（专业学位）,2014,硕士.
[4]刘小溪.由公平走向正义—中国社会保障制度发展趋势的思考[D].吉林财经大学,行政管理学,2014,硕士.
[5]徐静娴.地方政府创新奖评选机制研究[D].苏州大学,行政管理,2013,硕士.
[6]刘森.骨铣削过程中切削力和温度的仿真与实验研究[D].哈尔滨工业大学,机械电子工程,2014,硕士.
[7]王玲.上市公司内部控制信息披露对权益资本成本影响的实证研究[D].西安科技大学,企业管理,2013,硕士.
[8]刘冲.HBx通过EGR1上调mPGES-1表达在促肝细胞炎性反应中的作用[D].福建医科大学,临床检验诊断学,2014,硕士.
[9]马在田.水平迭加剖面的波动方程偏移法[J].石油地球物理勘探,1977,05:1-13.
[10]马静.基于Web的高校图片管理系统的设计与实现[D].西安工业大学,计算机技术,2014,硕士.
[11]刘显娇.平地栽参土壤改良对人参皂苷的影响研究[D].吉林农业大学,中药学,2012,硕士.
[12]葛平.退休知识分子精神关爱服务的社会工作介入研究[D].南京农业大学,社会工作,2013,硕士.
[13]姚明珠.公共自行车租赁系统建模及评价研究[D].华中科技大学,管理科学与工程,2012,硕士.
[14]蔡敏琦.电子束焊接中的高压放电及其改进[J].焊接学报.1990(01)
[15]周国萍.论网络教育的发展与作用[D].江西师范大学,教育管理,2004,硕士.
[16]王鹏,张迎春.基于天文/GPS的HEO卫星自主导航方法[J].控制与决策,2015,03:519-525.
[17]李世强.我国工伤事故处理程序研究[D].湘潭大学,社会法学,2011,硕士.
[18]林姗姗.泉州公办高职院校营销策略研究[D].华侨大学,工商管理（专业学位）,2013,硕士.
[19]王坤杰.右丙亚胺及磷酸肌酸钠对大鼠放射性心脏损伤的防治作用[D].河北大学,中西医结合临床,2014,硕士.
[20]袁悦.电视新闻记者人格力量的构建[D].新疆大学,新闻与传播学,2013,硕士.
[21]高红霞.基于高级验证语言的IP验证方法[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[22]陈芝,单汨源,王珊珊.基于Web环境下的企业知识管理系统框架[J].现代情报,2005,12:172-174+177.
[23]赵江敏刘海娇.京津翼一体化区域创新系统的构建研究[J].经营管理者,2015,01:.
[24]张玉.论我国社会救助立法的现状与完善[D].河北师范大学,宪法学与行政法学,2013,硕士.
[25]王仲旻.实名制社交网络平台人际交往研究[D].南京航空航天大学,社会学,2013,硕士.
[26]单观敏.基于MapReduce的移动对象的Skyline查询[D].宁波大学,计算机应用技术,2014,硕士.
[27]姚旺.高校学生信息管理系统的设计与实现[D].吉林大学,软件工程,2013,硕士.
[28]汲江涛.高岩温隧道衬砌混凝土力学性能的研究[D].西安建筑科技大学,材料学,2013,硕士.
[29]徐媛.中扬子西缘早中三叠世海平面变化及古环境意义[D].中国地质大学（北京）,地理学,2014,硕士.
[30]王芳.基于嵌入式的微波宽带传输视频监控系统设计与研究[D].山东大学,电子与通信工程（专业学位）,2013,硕士.
[31]彭扬威.新型移动业务控制网中基于服务能力的资源管理机制研究[D].华中科技大学,计算机系统结构,2013,硕士.
[32]张宝华.一体式平板膜生物反应器（MBR）处理垃圾渗滤液工艺研究[D].广西科技大学,生物化工,2013,硕士.
[33]白雪.语言文化学视角下的俄语数字及其语义阐释[D].沈阳师范大学,外国语言学及应用语言学,2014,硕士.
[34]朱海霞.浙江省科技型中小企业融资结构影响因素的实证分析[D].浙江大学,2007.
[35]温晓莹.健脾益气补血法联合小剂量铁剂治疗缺铁性贫血的临床研究[D].广州中医药大学,中医儿科学（专业学位）,2013,硕士.
[36]王伟华.纤锌矿半导体电子能带结构和光学性质：第一性原理研究[D].内蒙古大学,2013.
[37]张枭波.基于Linux平台的多机器人系统移动自组织网络研究与实现[D].西南交通大学,系统工程,2014,硕士.
[38]葛珍珍.我国现行农业补贴制度的问题及对策研究[D].郑州大学,财政学,2013,硕士.
[39]刘徽.论汽车4S店财务战略管理研究[D].首都经济贸易大学,会计学,2014,硕士.
[40]张景伟.NBA中锋特点与球队战术的分析研究[D].山东师范大学,体育（专业学位）,2013,硕士.
[41]杨艳.PARSTER改性聚酯纤维的性能及染整工艺研究[D].上海工程技术大学,服装设计与工程,2013,硕士.
[42]温秋敏.初中级阶段泰国学生汉语交际语用偏误分析[D].广西民族大学,汉语国际教育,2013,硕士.
[43]胡泽民.“学习用户”理念下远程高等教育教学运行模式研究[D].厦门大学,2005.
[44]汪申.我国公务员考试录用制度存在的问题及其对策研究[D].南京航空航天大学,行政管理,2013,硕士.
[45]陈文妍.我国资本主义工商业社会主义改造过程中的思想政治教育研究[D].海南大学,思想政治教育,2014,硕士.
[46]威廉G·基克勒.静校正估算模型的基本特点[J].石油地球物理勘探,1976,S1:15.
[47]任卫红.基于LabVIEW和支持向量机的柴油机故障诊断研究[D].中北大学,动力工程,2014,硕士.
[48]卜祥航.散粒体斜坡地质灾害挡排固砂工程防治技术研究[D].成都理工大学,地质工程,2013,硕士.
[49]袁巨伟.美国HEIL公司投资中国铝合金罐车项目的可行性研究[D].扬州大学,工商管理,2011,硕士.
[50]叶凌青.未来时间知觉与积极效应的关系研究[D].西南大学,发展与教育心理学,2014,硕士.