基于MapReduce的Web链接结构分析算法研究

【摘要】随着互联网信息技术的飞速发展,Web网页信息正在呈现指数级的增长趋势。面对如此巨大的Web信息资源库,搜索引擎已成为用户获取网络信息资源的重要工具。Web链接结构分析算法,作为网络搜索引擎的重要组成部分,用于通过分析Web页面间链接结构来对Web网页信息做潜在的重要性评估。然而,随着数据计算量的不断增加,传统集中式架构的Web链接结构分析算法不仅在计算和存储方面存在着瓶颈,且存在系统的稳定性和扩展性不高等问题。近年来,处理海量数据的Hadoop分布式平台,以其可靠性、高效性、高扩展性等优势,已成为学术界研究的热点。深入研究Web链接结构分析的经典算法PageRank、HITS,以及Hadoop、Map/Reduce等理论知识,将Web链接结构分析算法和Hadoop平台相结合,并做了如下工作：1.在Hadoop平台上,对PageRank算法每次迭代都要多次访问HDFS,I/O的消耗大；每次MapReduce操作,在混合阶段和排序阶段处理Key的数量大,算法效率低等问题进行研究。并提出了基于块结构划分的方法,将网页之间的链接关系转换成网络块间的关系,大大减少了算法迭代过程中需要处理的Key的数据量,从而减少了Map和Reduce操作的调用次数,降低了I/O传输造成的开销,提高算法执行效率。2.在Hadoop分布式平台上,对传统HITS算法矩阵存储链接结构以及规范化处理效率低问题进行研究,根据Hadoop平台特性,重新设计为基于MapReduce的HITS算法,改变结点信息的存储方式,突破传统HITS算法中Hub值和Authority值公共耦合的繁杂关系,并测试和分析了改进后的HITS算法。
【作者】尹传晔；
【导师】张永；
【作者基本信息】兰州理工大学，计算机应用技术，2014，硕士
【关键词】Web链接结构分析；Hadoop分布式平台；MapReduce；PageRank算法；HITS算法；

【参考文献】
[1]潘慧叶.基于手机视频监控系统的人员入侵检测[D].西安科技大学,电子与通信工程,2014,硕士.
[2]周妍妍.当代中国电视娱乐节目的性别意识研究[D].山东师范大学,美学,2013,硕士.
[3]翟玉.防感喷雾剂质量标准和稳定性的进一步研究[D].云南中医学院,中药学,2012,硕士.
[4]李国财.江泽民思想政治教育理论研究[D].西南大学,思想政治教育,2013,硕士.
[5]秦艳华.VOIP技术在长庆油田的应用[D].兰州大学,计算机技术（专业学位）,2013,硕士.
[6]张国超.基于节点兴趣的非结构化P2P网络的搜索机制[D].新疆大学,计算机应用技术,2013,硕士.
[7]刘智.新型烷氧基硅烷给电子体改性Ziegler-Natta催化体系制备高性能聚烯烃的研究[D].北京化工大学,材料科学与工程,2013,硕士.
[8]朱伟鹏.美国风险投资发展及其趋势研究[D].吉林大学,世界经济,2004,硕士.
[9]杨少辉.城市小学教师工作满意度研究[D].湖南师范大学,课程与教学论,2013,硕士.
[10]王华琳.高校二手书交易系统的设计与实现[D].厦门大学,软件工程,2014,硕士.
[11]顾元.还田麦秸对水稻幼苗的化感作用及其调控技术研究[D].南京农业大学,环境科学,2012,硕士.
[12]梁艳.论信用证项下进口押汇的法律性质及信托收据的法律依据[D].华东政法学院,法律,2004,硕士.
[13]叶鹏飞,陈海涛,卜良民,张堃,韩玖荣.SnO_2量子点/石墨烯复合结构的合成及其光催化性能研究[J].物理学报,2015,07:360-366.
[14]孔慧娟1,赵国玲2,汪雯岚1,阎卫东1*.六种水果中键合态香气成分的气相色谱-质谱法鉴定与比较[J].食品科学.
[15]张建新.基于贝叶斯方法的有限元模型修正研究[D].重庆大学,结构工程,2014,硕士.
[16]孙业中.宝钢1880mm热轧实现自由程序轧制关键技术研究[D].东北大学,材料工程,2010,硕士.
[17]郭鹏.恒压型白光LED驱动电路研究与实现[D].浙江大学,2006.
[18]无锡市惠山区科技局.拓宽思路：争创苏南自主创新“先导区”[N].科技日报,2014-12-15008.
[19]刘华源.间断有限元法求解考虑镜漫反射边界的辐射传递及其耦合问题[D].哈尔滨工业大学,动力工程,2014,硕士.
[20]马竹梧,刘玉昆.无料钟高炉炉顶设备自动控制[J].冶金自动化,1981,04:17-24.
[21]闫俊平,陈英杰.国外Web2.0市场回顾与展望[J].现代电信科技.2008(05)
[22]毕晓君,张磊.基于混合策略的双种群约束优化算法[J].控制与决策,2015,04:715-720.
[23]钟嘉鸣.构建Internet/Intranet信息系统多层次安全模型[J].现代计算机(专业版),2001,11:41-46.
[24]唐瑶.天津宝坻商务区人地互动性景观设计探讨[D].华中科技大学,艺术,2013,硕士.
[25]李开顺.信息化在上海三菱电梯有限公司销售业务的应用研究[D].吉林大学,工商管理,2013,硕士.
[26]魏代增.基于变化灵敏度场进行图像重建方法的研究[D].辽宁大学,测试计量技术及仪器,2012,硕士.
[27]李志清.电子作业自动批改中问题的研究[D].湘潭大学,计算机应用技术,2003,硕士.
[28]杨海涛.医学影像三维重建系统的研究与实现[D].广东工业大学,计算机应用技术,2013,硕士.
[29]秦首科,徐学洲.事务模式树分层挖掘算法及其应用[J].兰州大学学报,2003,05:48-52.
[30]王婷.农村环境保护的法律对策研究[D].四川省社会科学院,法律（专业学位）,2014,硕士.
[31]许静.血管性痴呆小鼠海马组织线粒体动力学变化及左旋丁基苯肽的干预作用[D].河北医科大学,神经病学,2013,硕士.
[32]吴丽霞.活性染料印花牛仔面料色牢度的控制方法研究[D].东华大学,纺织工程（专业学位）,2014,硕士.
[33]邱语.大学生抑郁认知易感者的神经系统软体征[D].首都师范大学,心理健康教育,2014,硕士.
[34]周欣欣.网络服务商侵权责任与立法完善研究[D].南京财经大学,国际法学,2012,硕士.
[35]记者张巍巍.新技术将锂电池储电量和充电率各提高10倍[N].科技日报,2011-11-16001.
[36]杨露.论非法演绎作品的保护[D].西南政法大学,知识产权法学,2012,硕士.
[37]高杰,荣涛,李宝生,刘琳章.中波发射台搬迁建设及中波小型发射天线使用浅谈[J].广播与电视技术.2006(06)
[38]商蕾.粘合衬及粘合工艺对服装外观性能影响的研究[D].青岛大学,服装设计与工程,2004,硕士.
[39]高培生,谷湘文,吴为麟.基于空间谱和支持向量回归机的间谐波分析[J].电力系统自动化,2007,24:67-70.
[40]熊宇.内容分发网络抗DDoS攻击性能研究[D].东北大学,计算机系统结构,2010,硕士.
[41]王雅娟,赵一婷,戴斌,汤慧芳,蒋雅丽,汪雪峰,陈季强.两种大鼠哮喘模型的比较[J].中国药理学通报,2014,08:1175-1178.
[42]高锦林,王永新.软土地质地铁车站盖挖顺作法施工实践及关键技术[J].现代城市轨道交通.2005(01)
[43]杨振英,田源.数据挖掘并不遥远[J].中国科技信息,2005,23:79+85.
[44]RafaelOrtegon.中国文化对在华外国商人的影响与启示[D].宁波大学,工商管理（专业学位）,2012,硕士.
[45]常艳兵,周朝本.GO/CHIT复合物修饰的电化学传感器对土壤中镉和铅的同时测定[J].曲靖师范学院学报,2013,03:30-33.
[46]陈敏.我国商品房预售登记制度研究[D].华中师范大学,法律,2013,硕士.
[47]陈玮.中医药企业形象塑造之文化策略研究[D].江南大学,设计艺术学,2012,硕士.
[48]王磊,鄂志国,余汉勇,汤圣祥,GrahamC.McLAREN.国际水稻信息系统及其应用[J].中国水稻科学,2005,02:193-194.
[49]刘宾武.图像畸变校正系统及其工程应用[D].郑州大学,计算机技术（专业学位）,2013,硕士.
[50]姬洲.图文显示控制系统设计与实现[D].西安电子科技大学,物理电子学,2012,硕士.