基于Map/Reduce的分布式搜索模型研究

【摘要】随着互联网的发展,数据呈现几何式的增长,如何能够从巨大的数据中快速寻找出对自己有用的数据,将会是大家面临的一个问题。搜索技术的出现方便了人们快速而且有效的获取信息。在搜索技术中,最突出的搜索工具就是搜索引擎,当然针对于一些特定数据的搜索工具,比如说在交叉学科领域的一些数据的检索工具也给人们带来了巨大的便利之处。本文正是基于这两个方面开展研究工作,并且从研究和设计的角度出发,对于分布式搜索领域的相关理论和技术进行了详细的讨论和分析,详细的介绍了Map/Reduce的分布式架构技术和搜索领域的Lucene技术,并以此为基础,开展了两项工作的设计开发。论文中主要实现的工作为：第一,实现了学术论文搜索的单机搜索模型和分布式搜索模型的开发,并对于其中遇到的一些问题进行了解决或优化；第二,对于学术论文搜索中的文本分类和索引存储进行了方法上的改进,使得效率有了显著的提高；第三,实现了基因/蛋白质序列搜索的单机搜索模型和分布式搜索模型的开发,对于分布式中的Combiner优化和数据倾斜的问题,给出了合理的解决方法；第四,通过对于单机搜索模式和分布式搜索模式的实验数据对比,突出展示了分布式模式在解决大数据问题上的优越性。本文通过设计与开发搜索工具并进行分布式扩展,使我们了解到分布式搜索模型在大数据领域的先进性和优越性,并且对于其中遇到的问题都有妥善的处理和详细的解答,所以,本文的内容是具有极大的研究意义的。
【作者】胡始昌；
【导师】邹权；
【作者基本信息】厦门大学，计算机应用技术，2014，硕士
【关键词】分布式搜索；Map/Reduce；优化；

【参考文献】
[1]修志亮.YVO_4:Eu纳米发光材料、石墨烯复合光催化材料的制备与性能研究[D].山东大学,2012.
[2]陈超.视觉导航系统中多环境道路识别算法研究[D].湖南大学,计算机系统结构,2011,硕士.
[3]谷云庆,牟介刚,郑水华,赵刚,汝晶,王成刚.射流孔排布对射流表面减阻性能的影响[J].农业机械学报,2014,10:340-346.
[4]周敏菲.城乡小学教师专业协同发展个案研究[D].西南大学,基础教育学,2013,硕士.
[5]朱海峰.β-咔啉衍生物设计、合成及其应用[D].宁波大学,无机化学,2013,硕士.
[6]张正函.《参与（设计概要）》翻译评论[D].山东师范大学,翻译（专业学位）,2013,硕士.
[7]崔羽杭.大学英语词汇移动学习的实证研究[D].延安大学,课程与教学论,2014,硕士.
[8]刘贵忠,宗涛,章珂,邹大文,钱俊生,李凤歧.利用纵向小波包变换和横向多项式拟合提高地震信号的信噪比和分辨率[J].石油地球物理勘探,1995,05:584-592+718.
[9]何德威.《左传》鬼神观念新论[D].南京大学,中国古代文学,2013,硕士.
[10]王青.白洋淀湿地对干旱的适应机制及综合调控研究[D].东华大学,环境科学,2013,硕士.
[11]孙庆.基于DPC31的PROFIBUS-DP嵌入式从站模块开发[D].天津理工大学,模式识别与智能系统,2013,硕士.
[12]李建乐.基于SOPC的晶体生长信息采集与处理系统设计[D].西安工业大学,电子与通信工程,2014,硕士.
[13]陈洪转.我国商业银行核心竞争力评价研究[D].河海大学,2004.
[14]赵慧雅.基于群体智能与AdaBoost算法的人脸检测研究[D].兰州理工大学,计算机软件与理论,2013,硕士.
[15]郭铁明,王力群,李小成,寇生中.三维石墨烯/泡沫镍基底上制备Ni掺杂Co(OH)_2复合材料及其超电容性能[J].兰州理工大学学报,2015,02:12-16.
[16]张慧敏.中华民国北京政府时期律师制度探析[D].内蒙古大学,法律,2014,硕士.
[17]李萌.Fmr1敲除鼠海马Fast-spiking中间神经元钾离子通道特性分析[D].广州医科大学,神经病学,2014,硕士.
[18]韩银伟.长春市南关区幸福乡农民增收问题研究[D].吉林农业大学,农村与区域发展（专业学位）,2014,硕士.
[19]裴昌永.南通港口应急物流管理系统设计[D].南京理工大学,管理科学与工程,2012,硕士.
[20]魏武华.基于CBR和XML的知识管理系统架构研究[D].西北大学,2003.
[21]刘俊.中医综合治疗方案对肺心病缓解期生存质量与复发率的临床观察[D].湖南中医药大学,中医内科学,2014,硕士.
[22]刘一婷.放逐：校园欺负中“双面人”的境遇[D].首都师范大学,学科教学,2014,硕士.
[23]石少亮.随机振动激励下汽车副车架用橡胶衬套的力学特性分析[D].上海工程技术大学,车辆工程,2011,硕士.
[24]蒋兴.探析光影元素在中国水墨人物画中的运用[D].西安美术学院,美术学,2014,硕士.
[25]沈黎.带卷质量监测系统[J].冶金自动化,1993,02:32.
[26]雷阳,雷英杰,冯有前,孔韦韦.基于直觉模糊推理的目标识别方法[J].控制与决策,2011,08:1163-1168+1174.
[27]桓佳君.LiFePO_4/FeN正极材料的制备及其电化学性能研究[D].苏州大学,物理化学,2012,硕士.
[28]李玉凤.对魏书生语文教育教学改革的回顾和反思[D].华东师范大学,教育,2003,硕士.
[29]赵强.累犯量刑制度研究[D].河北经贸大学,刑法学,2012,硕士.
[30]张莉梅.泰国罗勇公立光华学校汉语教学与学生汉语学习积极性调查研究[D].广西师范大学,汉语国际教育,2013,硕士.
[31]饶洪辉.基于机器视觉的作物对行喷药控制系统研究[D].南京农业大学,2006.
[32]曹聪.基于嵌入式技术的应急通信网络故障管理系统研究[D].沈阳理工大学,计算机系统结构,2012,硕士.
[33]杨励雅,邵春福,聂伟,赵熠.基于TOD模式的城市交通与土地利用协调关系评价[J].北京交通大学学报,2007,03:6-9.
[34]詹博.六年制小学教育专业师资培养研究[D].湖南师范大学,教育经济与管理,2013,硕士.
[35]刘维宁,马蒙,王文斌.地铁列车振动环境响应预测方法[J].中国铁道科学,2013,04:110-117.
[36]黄燕春.大陆社会工作有偿服务发展的困境与出路[D].华中师范大学,社会工作,2014,硕士.
[37]张玉真.数据采集蓝牙无线传输模块研制[D].西北工业大学,电工理论与新技术,2004,硕士.
[38]萨娜.大学生思想政治教育社会化研究[D].内蒙古大学,马克思主义理论,2013,硕士.
[39]彭琼.民事非法证据排除问题研究[D].四川大学,法律,2003,硕士.
[40]吴国明,杨海生,龚小金.在吸收边界条件下的双变差分法偏移[J].石油地球物理勘探,1986,02:208-214.
[41]袁浩.项目管理在宽带接入产品开发中的应用[D].复旦大学,计算机技术,2012,硕士.
[42]仇克利.气爆次声扫雷声源[J].舰船科学技术.1991(01)
[43]李奶花.PCOS引起排卵障碍不孕的中西医结合治疗方法临床研究[D].云南中医学院,中西医结合临床（专业学位）,2012,硕士.
[44]包毕力格.金融改革背景下中国银行业监管机制的研究[D].内蒙古大学,行政管理,2013,硕士.
[45]胡鑫,张晓东,谢毅.类石墨烯化学中的挑战与机遇[J].中国科学:化学,2015,03:234-250.
[46]李云虎.井陉古驿道保护研究[D].河北师范大学,人文地理学,2013,硕士.
[47]高宏适.日本表面热处理技术最新研究进展[N].世界金属导报,2014-09-02B04.
[48]刘润生.纽荷尔脐橙（Citrus sinensis Osbeck’Newhall’）蜡质突变株系的生物学评价[D].华中农业大学,果树学,2014,硕士.
[49]王东坡.北京市群众性羽毛球运动参与者状况及影响因素分析[D].首都体育学院,体育教学,2013,硕士.
[50]陈翠娜,吴丽丽,安华良,赵新强,王延吉.正丁醛自缩合合成辛烯醛反应催化剂研究进展[J].化学通报,2013,04:313-318.