基于MapReduce的分布式聚类算法在社交网络上的应用研究

【摘要】在信息爆炸的大数据时代,人们的生活、工作和思维方式逐渐在改变。对于数据分析而言,传统的抽样方法有悖于数据量的增长态势,使用全体数据取代随机抽样成为时代的发展需求。为了实现这个目标,仅仅依赖摩尔定律来提升计算性能是远远不够的,云计算等弹性计算体系架构逐渐受到关注。社交网络作为互联网发展史上的一个重要和成功的应用领域,也是大数据时代的重要数据来源之一。这不论对于社交网络服务提供商自身还是对其商业伙伴,乃至对于社会科学研究领域而言,都是巨大的财富。本文针对目前国内主流微博网站在自动话题识别和归类上的欠缺,研究基于分布式聚类算法和信息检索技术,并结合语义相似度计算模型,实现一个能够根据内容对微博按话题聚类,并以此为基础向用户推荐相似话题微博的应用。论文的主要工作包括以下几个方面：首先,研究探讨MapReduce编程模型的基本原理,就开源框架Hadoop对其工作流程、容错和任务调度机制的实现进行分析,并探讨MapReduce用于大数据处理的核心思想和基本流程。其次,阐述k-Mean、Canopy两个经典聚类算法的原理以及它们在实际应用中的结合方式,同时研究算法并行实现的可行性及策略并基于MapReduce模型给予实现。最后,总结向量空间模型和语义方法在文本相似度计算上各自的优缺点,提出了一种综合TF-IDF和语义的文本相似度计算方法,详细论述该方法的思想及计算过程,将此作为微博文本聚类的距离度量依据。实验结果表明,论文中的技术和方法是切实可行的,能够较为有效地识别出微博中的话题并给予用户特定的推荐和反馈,从而改变用户浏览微博的习惯,具有一定的实用性。
【作者】林小楠；
【导师】王备战；
【作者基本信息】厦门大学，软件工程，2014，硕士
【关键词】MapReduce；文本聚类；信息检索；

【参考文献】
[1]毕艳.课程导向下韩国初中道德教育分析及启示[D].吉林大学,思想政治教育,2014,硕士.
[2]曹洁.离婚财产分割中的房屋分割问题[D].南京大学,法律（专业学位）,2013,硕士.
[3]张晓莹.环境规制对中国国际竞争力的影响效应[D].山东大学,西方经济学,2014,博士.
[4]刘丹.基于C-MEMS的微纳结构的制备及其超级电容特性的研究[D].华中科技大学,机械电子工程,2013,硕士.
[5]姚利红.中西语境下的法律信仰解读[D].浙江大学,法律史（专业学位）,2012,硕士.
[6]方勇.思想政治教育视域下马克思主义农民教育及新农村建设问题研究[D].西安科技大学,思想政治教育,2013,硕士.
[7]崔艳菲.师范新生自我接纳与自我表露的关系及其干预研究[D].河北师范大学,心理健康教育,2014,硕士.
[8]郭玉姣.我国房地产养老PE的可行性分析[D].首都经济贸易大学,金融（专业学位）,2014,硕士.
[9]胡少华,李秀珍,王庆果.塔里木盆地志留纪地层分布及其地震层序特征[J].石油地球物理勘探,2005,S1:11-18+138.
[10]肖金枝.基于知识工程的高速机车车辆焊接专家系统研究[D].南京航空航天大学,材料加工工程,2013,硕士.
[11]张华.甲磺酸雷沙吉兰在中国健康志愿者中药动学药效学的研究[D].苏州大学,药剂学,2013,硕士.
[12]吴蔚,何昌清,古继宝.我国研究生分类培养的理念、实践与困惑[J].研究生教育研究,2015,01:48-52.
[13]王青青.长沙生产性服务业发展研究[D].湖南师范大学,人文地理学,2013,硕士.
[14]刘存亮.我国公职人员利益冲突管理制度体系研究[D].大连理工大学,行政管理,2013,硕士.
[15]吴琳华.《卡罗莱纳州的私生女》中的身份认同困境[D].宁波大学,英语语言文学,2013,硕士.
[16]佐拉（ZAHRAJABEEN）.野生大麦与栽培大麦耐盐性的生理及遗传差异研究[D].浙江大学,作物学,2014,博士.
[17]张涛.高速精密数控机床可靠性技术研究[D].河南科技大学,机械设计及理论,2013,硕士.
[18]钟莉.地方政府绩效民意评价研究[D].湖南大学,公共管理,2013,硕士.
[19]陶淳.舆论监督与人格权保护的法律界限[D].华东政法学院,民商法,2003,硕士.
[20]苏小敏.员工离职密度与职业成长相关性实证研究[D].兰州大学,企业管理,2013,硕士.
[21]刘炳全.TIG熔覆制备Fe_2B强化铁基表面层组织及性能研究[D].吉林大学,材料加工工程,2013,硕士.
[22]张天平,朱秋琴.时变时滞非线性系统的自适应神经网络控制[J].控制与决策,2011,02:263-270.
[23]窦玉鹏.汽车租赁企业内部控制体系研究[D].山东建筑大学,技术经济及管理,2013,硕士.
[24]亓建飞.农杆菌介导转化棉花过程中畸形苗发生机理的研究[D].中国农业科学院,生物化学与分子生物学,2004,硕士.
[25]张薇.盐酸二甲双胍肠溶片的研究[D].吉林大学,药物化学,2013,硕士.
[26]曾平生.全面建设农村小康社会与农村基层党组织建设[D].江西师范大学,马克思主义理论与思想政治教育,2004,硕士.
[27]高立波,张强,李俊漾,冯瑞婷,海振银,徐宏妍,薛晨阳.四氧化三钴光催化制氢或制氧研究进展[J].现代化工,2014,10:68-71.
[28]周广萍.生命的失落与复得—原型视域下解读《苏菲的选择》[D].沈阳师范大学,英语语言文学,2013,硕士.
[29]王旭华.《蒙古秘史》中r辅音的统计研究[D].内蒙古师范大学,中国古典文献学,2012,硕士.
[30]邓刘洋.尚义—平泉断裂带深部电性结构研究[D].中国地质大学（北京）,地质工程,2013,硕士.
[31]陈爱萍.跳动的思想音符[D].安徽师范大学,马克思主义哲学,2004,硕士.
[32]蔡君.猪血生物法制备血红素及珠蛋白肽的工艺研究[D].湖北工业大学,化学工程（专业学位）,2013,硕士.
[33]缪立芳.都市报社会新闻报道现状及问题研究[D].厦门大学,新闻学,2014,硕士.
[34]林海芳.壳聚糖光敏改性及其应用研究[D].江南大学,材料学,2012,硕士.
[35]徐匆.高膳食纤维谷物营养粉制备关键技术研究[D].南京农业大学,食品科学,2012,硕士.
[36]王永亮.城市轨道交通列车交路计划编制方法研究[D].北京交通大学,2014.
[37]闫海峰.液压支架虚拟监控关键技术研究[D].中国矿业大学,2011.
[38]王浦澄.氟烯烃的活性/可控自由基聚合及功能化含氟聚合物的制备[D].中国科学技术大学,高分子化学与物理,2014,博士.
[39]王恒.面向城市水资源监测的WSN节点设计[D].西安工业大学,通信与信息系统,2014,硕士.
[40]吕宝阔.细胞器定位型双光子极性探针的设计[D].大连理工大学,应用化学,2013,硕士.
[41]毛信顺.中标成功——源于船舶制造用户对优质产品的信赖[J].机械工人(热加工).2007(02)
[42]张业.人民币汇率形成机制的法律问题研究[D].华中科技大学,经济法学,2013,硕士.
[43]蔡磊.乙酰丙酸绿色高效制备方法研究[D].浙江大学,化学工艺,2004,硕士.
[44]丁乐.论“耶儒结合”[D].华中科技大学,宗教哲学,2013,硕士.
[45]尚恩明.双量子点系统中Majorana费米子和自旋输运的理论研究[D].南京大学,理论物理,2014,博士.
[46]王清爽.高性能CeO_2纳米颗粒湿度传感器研究[D].厦门大学,微电子与固体电子学,2014,硕士.
[47]徐力.房地产开发企业税收筹划分析与设计[D].西南财经大学,工商管理,2003,硕士.
[48]王贞.基于协同技术创新的高技术企业成长方式研究[D].北方工业大学,企业管理,2014,硕士.
[49]李军.用于光动力治疗的酞菁聚合物的制备及表征[D].苏州大学,高分子化学与物理,2013,硕士.
[50]于明强.多孔材料的制备及脱硝性能研究[D].济南大学,2014.