基于Hadoop平台的重叠社区发现算法研究

【摘要】网络已经成为研究关联对象系统的重要方法，在比如生物信息学和人类社区等多种研究领域都有重要应用。社区发现是研究网络结构的一个关键方法，相互间关联的节点集合组成了网络中有意义的子集，例如蛋白质复合体或者社交圈。真实网络中的社区往往是重叠的，也就是说网络中存在同时属于几个社区的节点，这样的节点称之为重叠节点。传统的社区发现算法是将社区定义为了节点的集合，而节点的全局层次结构无法捕捉到网络的重叠关系。链接社区（LinkCommunities,LC）[1]方法将社区重新定义成了边的集合，通过对边进行层次聚类得到边的树状谱系图，利用分割密度函数对树状谱系图进行划分，得到了针对连接的社区划分，最后将连接映射回节点就得到了网络的重叠社区划分结果。与针对于节点的社区发现算法不同的是，链接社区算法在进行聚类的同时自然地包含了网络的重叠结构。链接社区方法虽然能够获得良好的聚类效果，但算法中使用了一个NN维（N是网络中的边数）的矩阵来表示边之间的相似关系。随着网络中边数的增多，该矩阵的维度随之更快增长，可导致内存无法存储该矩阵，以及算法效率严重降低，从而使得链接社区方法失去可扩展性。本文为了解决链接社区方法可扩展性问题，提出了基于Hadoop平台的链接社区方法。本方法主要使用了Hadoop中的MapReduce模型，MapReduce模型是一个用于处理大数据的编程模型，它将计算分解为map和reduce方法，运行时系统自动地将计算在计算机集群中并行化，处理计算机异常和调度计算机间通信。本文将链接社区方法以MapReduce框架实现以处理大数据集，解决链接社区方法的可扩展性，取得了良好的效果。
【作者】李金朋；
【导师】黄岚；
【作者基本信息】吉林大学，计算机应用技术，2014，硕士
【关键词】重叠社区；链接社区；Hadoop；MapReduce；

【参考文献】
[1]庄定根.南麂岛大黄鱼产业化养殖品质改良技术开发[D].宁波大学,渔业,2014,硕士.
[2]卢晓璐.建国初期上海工农速成中学研究（1950-1958）[D].复旦大学,中国近现代史,2012,硕士.
[3]闫中蔚.《泰安市投资指南》翻译实践报告[D].曲阜师范大学,翻译（专业学位）,2013,硕士.
[4]张帆.我国网络媒体的现状及发展研究[D].华东师范大学,情报学,2001,硕士.
[5]胡翠萍.中职学生心理健康教育研究[D].天津大学,教育经济与管理,2013,硕士.
[6]苗保河,李向东,刘波,何启平,朱陶,刘兴坦,朱启玉,乔广法,樊廷安,陈成君,董庆裕,余松烈.波浪冠层栽培模式对高油大豆叶片活性氧代谢和膜脂过氧化的影响[J].植物生态学报,2008,03:673-680.
[7]王海亮.论转化型抢劫罪的成立条件[D].黑龙江大学,法律,2012,硕士.
[8]李田田.短暂非线性交替波检测技术[D].山东师范大学,信号与信息处理,2013,硕士.
[9]李燕.碳纳米管上电沉积Pd的电催化性能研究[D].上海师范大学,2010.
[10]张臻.高层钢筋混凝土结构中预制拼装柱的抗震性能研究[D].哈尔滨工业大学,建筑与土木工程,2013,硕士.
[11]罗鸣天.周至县中心街街道景观更新改造设计研究[D].西安建筑科技大学,建筑设计及其理论,2013,硕士.
[12]凌晨.面向电子化量身定制服装eMTM的人体体型分析系统设计与实现[D].东华大学,2005.
[13]蔡花.银行信息系统的数据保护问题研究[D].西安电子科技大学,控制理论与控制工程,2012,硕士.
[14]李长悦.基于WSN的奶牛信息采集系统路由节点研究与开发[D].西北农林科技大学,计算机系统结构,2012,硕士.
[15]豆晓.中国紧凑区域发展研究[D].兰州大学,城市与区域规划,2013,硕士.
[16]倪红梅.基于Internet/Intranet的采油工程管理信息系统[D].大庆石油学院,计算机应用技术,2004,硕士.
[17]吴安琪,邵梦云,吴伟强.碳关税对浙江的潜在影响及政策回应[J].浙江经济,2013,04:44-45.
[18]曹闰.纳米Ni-Fe颗粒增韧氧化铝基陶瓷复合材料的制备及性能研究[D].合肥工业大学,材料学,2004,硕士.
[19]邵晓枫.我国新时期公安院校培养目标体系构建研究[D].西南师范大学,教育史,2004,硕士.
[20]王利民.徐某某等故意伤害案分析[D].兰州大学,刑法学（专业学位）,2013,硕士.
[21]石凯.我国裁判文书公开的检视与完善[D].中国社会科学院研究生院,司法制度（专业学位）,2014,硕士.
[22]隋本吉.文本细读在高中语文现代诗歌教学中的应用研究[D].山东师范大学,课程与教学论,2013,硕士.
[23]刘迎新,李喜英,方艳艳,张琳.溶胶-凝胶法制备SiO_2固载酸性离子液体催化剂及其在2-甲基-4-甲氧基苯胺“一锅法”合成中的应用[J].浙江工业大学学报,2013,03:250-253+269.
[24]熊鹏.水热合成铌酸盐粉体及掺杂改性压电陶瓷性能的研究[D].陕西科技大学,材料学,2013,硕士.
[25]牛淑芳.大功率半导体激光器电源的设计[D].沈阳师范大学,粒子物理与原子核物理,2013,硕士.
[26]赵双双.基于ADAMS的永磁球形电机动力学建模与控制[D].安徽大学,控制工程,2014,硕士.
[27]肖勇.页岩气开发利用对电力行业的影响[J].华东电力,2013,06:1396-1399.
[28]吕铎.资产评估舞弊行为的决定因素分析[D].云南财经大学,资产评估（专业学位）,2014,硕士.
[29]江田汉,束炯.基于LSSVM的混沌时间序列的多步预测[J].控制与决策,2006,01:77-80.
[30]王成焱.网络游戏设计核心的动态平衡研究[D].陕西科技大学,设计艺术学,2013,硕士.
[31]李滨,韦化,农蔚涛,崔长江,阳育德.互联电网CPS下AGC控制参数的优化[J].电力系统自动化,2009,18:37-41.
[32]何长欢,周玉,王利繁,张立.尚勇保护区亚洲象种群数量评估和遗传多样性分析[J].生物多样性,2015,02:202-209.
[33]陈霞.基于信源决策的拥塞控制策略的研究和实现[D].华侨大学,计算机应用技术,2004,硕士.
[34]张慧.无线传感器网络泛洪时间同步的分析与研究[D].内蒙古大学,电子与通信工程,2014,硕士.
[35]许卫东.“V_1着V_2”结构研究[D].辽宁师范大学,汉语言文字学,2003,硕士.
[36]杨世永.基于核心竞争力的山东省通信公司互联网发展战略研究[D].天津大学,工商管理,2004,硕士.
[37]陆海燕.顺式硝基新烟碱类化合物作用机制研究及靶标的验证[D].南京农业大学,农业昆虫与害虫防治,2012,硕士.
[38]潘庆民,白永飞,韩兴国,杨景成.氮素对内蒙古典型草原羊草种群的影响[J].植物生态学报,2005,02:311-317.
[39]王雪.团体辅导促进外省籍大学新生适应的研究[D].鲁东大学,应用心理（专业学位）,2014,硕士.
[40]王进莹,赵瑞奇,刘志荣,刘忠范.氮化硼杂化石墨烯的电荷输运性质研究[A].中国化学会.中国化学会第28届学术年会第4分会场摘要集[C].中国化学会:,2012:1.
[41]莫宏伟,管凤旭,吕淑萍,徐立芳.人工免疫网络记忆分类器信息恢复系统应用[J].计算机应用,2005,S1:271-273.
[42]邰鑫成.石家河文化墓地研究[D].吉林大学,考古学及博物馆学,2014,硕士.
[43]侯丽艳.D电力建设公司构建与提升核心竞争力研究[D].北方工业大学,工商管理,2014,硕士.
[44]廖瑞金,刘骁,刘捷丰,高竣,夏桓桓,周年荣.现场变压器油纸绝缘时频域介电特征量提取及状态评估[J].电力系统自动化,2015,05:94-100.
[45]郭富民.信噪比约束下网络控制系统的故障检测[D].北方工业大学,控制理论与控制工程,2014,硕士.
[46]田新首,王伟胜,迟永宁,李庚银,汤海雁,李琰.基于双馈风电机组有效储能的变参数虚拟惯量控制[J].电力系统自动化,2015,05:20-26+33.
[47]陈智利.低能离子束诱导晶体表面纳米自组织结构及光学性能[D].西安电子科技大学,微电子学与固体电子学,2014,博士.
[48]宋芳.西部地区中小企业清洁生产实施影响因素研究[D].中南民族大学,企业管理,2013,硕士.
[49]徐川龙.基于三维加速度传感器的人体行为识别[D].浙江工业大学,2013.
[50]高守婉,唐功友.具有随机丢包的网络控制系统的镇定[J].控制与决策,2011,05:690-694.