基于MapReduce和遗传算法的粗糙集属性约简研究

【摘要】随着互联网时代的蓬勃发展,以及物联网、云计算等新兴技术的涌现,大数据时代已经到来。如何有效地从大数据中挖掘知识,释放数据中隐含的巨大经济价值、科研价值和社会价值,成为当今学术界和产业界研究的重大课题。粗糙集理论是由波兰数学家PawlakZ.提出的一种数据推理方法,这个理论工具在研究不精确知识表达、不完整数据、学习、归纳等方面非常强大,尤其在知识分类和知识发现方面的数据挖掘具有强大的能力。属性约简是粗糙集理论的一个核心问题之一,国内外学者在这方面都有大量研究,提出了不少算法,其中大多数是启发式属性约简算法。它是以属性重要度作为一个指引来对属性进行选择或删减,但这种算法并不能正确求解某些信息系统,有学者提出了遗传约简算法,这种生物智能算法能有效解决启发式算法无法覆盖的部分信息系统。但遗传约简算法由于遗传算法本身具有的未成熟局部收敛这一缺陷,而导致遗传约简算法可能出现未成熟局部收敛,所获得的并非最小约简。针对以上这些问题,本论文研究提出了并行化遗传约简算法。将多种群并行化于简单而强大的分布式并行处理系统MapReduce编程架构,既能保留生物智能算法的优势,解决传统算法所不能覆盖的系统,又能解决遗传算法未成熟局部收敛这一问题。本论文主要的研究工作如下：在学习和研究了粗糙集、遗传算法的理论概念、设计思想、算法步骤和工作原理等相关知识后。又系统学习了一种智能化的粗糙集属性约简算法：遗传约简算法。在这些经典理论和算法模型的基础上,又引入了新兴的MapReduce理论及它的实现平台Hadoop,提出了基于MapReduce的遗传算法解决粗糙集属性约简方案,简称并行化遗传约简算法。它的主要思想是,在遗传约简算法的基础上,进行多种群并行化遗传。传统遗传约简算法是单一种群的进化遗传以寻求最优个体,这可能会出现未成熟局部收敛现象。若能多种群同时相对独立进化,从概率统计上而言,最终结果就不会出现未成熟局部收敛的结果。而且由于是并行化多种群进化,所以在时效上不会太差。基于这样的想法,本论文设计了并行化遗传约简算法的实验,并在论文中对如何具体并行化设计做了详细介绍,实验结果证明了并行化遗传约简算法的确比非并行化遗传约简算法具有更高的正确率,能更有效地获得最小相对约简。
【作者】傅轶娜；
【导师】李龙澍；
【作者基本信息】安徽大学，软件工程，2014，硕士
【关键词】粗糙集；属性约简；遗传算法；MapReduce；并行化；

【参考文献】
[1]王燕红.东营野大豆居群的遗传分化研究[D].山东师范大学,植物学,2013,硕士.
[2]于洋,曹飞飞,陈小龙.糖基转移酶的性质、作用机制及其在抗生素中的应用[J].中国抗生素杂志,2013,02:90-97.
[3]许培荣.脂肪干细胞复合牛心包膜修复兔腹壁缺损的实验研究[D].苏州大学,妇产科学,2013,硕士.
[4]王铭义.介入综合治疗下肢深静脉血栓形成216例的临床分析[D].大连医科大学,影像医学与核医学,2012,硕士.
[5]蔡静桐.小麦韧皮部筛分子程序性细胞半死亡中BEN1-LIKE蛋白和Zn~(2+)的定位与功能初探[D].华中农业大学,细胞生物学,2014,硕士.
[6]张博文.侵犯著作权罪的认定分析[D].兰州大学,刑法学（专业学位）,2013,硕士.
[7]陈超.基于远程登录的网络IP管理系统[D].黑龙江大学,软件工程,2012,硕士.
[8]刘华.九十年代以来当代文学改编电影研究[D].南京师范大学,中国现当代文学,2012,硕士.
[9]景洋.成渝经济区电子信息产业集群竞争力研究[D].重庆工商大学,产业经济学,2014,硕士.
[10]周亚芹.电动式六自由度飞行模拟器控制参量的优化匹配研究[D].华中科技大学,轮机工程,2013,硕士.
[11]郭秋彤.基于CHNS数据的城乡居民典型数码产品消费行为计量研究[D].吉林大学,数量经济学,2014,硕士.
[12]孙杉,操国兴,罗燕江,李庆军.花柱卷曲性的维持及功能性别特化[J].植物生态学报,2010,07:827-838.
[13]陈文菊.碳酸盐岩地层油气物探方法研讨会在湖北省江陵市召开[J].石油地球物理勘探,1992,03:427.
[14]刘文涵,何晶晶,滕渊洁.顶空液液萃取-气相色谱-质谱法用于白术挥发性成分的分析[J].分析化学,2013,08:1226-1231.
[15]逄方慧.甲骨文非祭祀动词句型研究[D].西南大学,汉语言文字学,2013,硕士.
[16]郭继宁.老年人犯罪刑事责任问题研究[D].吉林大学,法律,2013,硕士.
[17]高晖.急性冠脉综合征患者决策延迟现状及影响因素[D].山东大学,护理学,2013,硕士.
[18]张晓东.含油气盆地形成机制的综合分析[J].石油地球物理勘探,1993,06:721-728+770.
[19]高晓秋.我国行政赔偿制度的立法完善[D].内蒙古大学,法律,2014,硕士.
[20]吴律.地震记录与测井曲线的相互转换[J].石油地球物理勘探,1978,03:1-10.
[21]陈燕青.大中型企业税务风险管理研究[D].广东工业大学,会计学,2014,硕士.
[22]赵俊芝.浅析当前中国社会的阶层矛盾及其化解[D].河北经贸大学,马克思主义基本原理,2012,硕士.
[23]席阳,施灿涛,李铁克.基于ARIS的钢铁企业ERP下的MES建模[J].冶金自动化,2008,02:57-60+63.
[24]邹昕阳.勃拉姆斯《C大调钢琴奏鸣曲》的结构及其音乐语言的探析[D].沈阳师范大学,音乐学,2013,硕士.
[25]苌静.当代人才理论视域下乡镇干部队伍素质建设探析[D].湖南工业大学,马克思主义中国化研究,2012,硕士.
[26]方能.美国副总统职位的现代转型（1945-1981）[D].西南大学,世界史,2014,硕士.
[27]孙长江.基于局部二值模式和稀疏表示的新生儿疼痛表情识别[D].南京邮电大学,信号与信息处理,2013,硕士.
[28]陈一珺.信息技术课程教学网站设计与开发[D].浙江工业大学,计算机技术,2012,硕士.
[29]李荟.中亚五国消除贫困策略研究[D].华东师范大学,外交学,2013,硕士.
[30]鞠治洲.膜生物反应器处理生活污水试验及其简化数学模型研究[D].东北农业大学,生物化学与分子生物学,2013,硕士.
[31]沈德耀,桂卫华.涡流时间常数T_φ对控制系统动态性能的影响[J].冶金自动化,1983,06:24-28.
[32]伍江磊.数据清洗在贵州地税省级数据集中项目中的研究与应用[D].湖北大学,系统分析与集成,2012,硕士.
[33]朱天竹.中国家族企业人力资源开发研究[D].吉林大学,学科教学,2014,硕士.
[34]陈怡钊.Fe_3O_4/SiO_2/PMMA磁性高分子微球的制备与表征[D].广东工业大学,应用化学,2013,硕士.
[35]陈国新,陈生昌,任浩然,王汉闯,周华敏.地震数据广义合成的频率空间域逆时偏移[J].浙江大学学报(工学版),2015,02:384-392.
[36]李青,李海强,赵娟,黄江,于军胜.阴极修饰层对SubPc/C_(60)倒置型有机太阳能电池性能的影响[J].物理学报,2013,12:516-521.
[37]王攀.中国移动在移动互联网时代的流量经营和积分平台策略研究[D].华中科技大学,工商管理,2013,硕士.
[38]姚安娜.荧光—超声纳米泡在小鼠肿瘤模型中的研究[D].华中科技大学,生物制药工程,2013,硕士.
[39]刘薇.光子晶体GaN LED及准晶光子晶体的理论与实验研究[D].郑州大学,物理电子学,2013,硕士.
[40]慕登慧.河南油田二元复合体系驱油效果研究[D].东北石油大学,油气田开发工程,2013,硕士.
[41]罗正东.基于逆可靠度理论的边坡稳定分析方法研究[D].湖南大学,岩土工程,2014,博士.
[42]柏林.基于分组交换网络仿真TDM电路技术的研究与设计[D].燕山大学,电路与系统,2004,硕士.
[43]杨小毛.基于聚类算法的网络入侵检测研究[D].湖南大学,计算机科学与技术,2010,硕士.
[44]董朝艳,钟英杰,邓凯,胡艳军,郑小艳.印染污泥热解和燃烧特性的对比实验研究[J].浙江工业大学学报,2014,02:147-151.
[45]李静文.基于稳定同位素的岩溶地下水运移研究[D].西南大学,自然地理学,2014,硕士.
[46]林善希.我国160电话信息业务联网方案探讨[J].中兴新通讯.1995(02)
[47]张睿.革命战争时期我军医学教育研究[D].第四军医大学,马克思主义基本原理,2014,硕士.
[48]任志国,李寿宝,佟津.磁铁精矿配加铬渣、钒渣生产烧结矿工艺研究[J].钢铁.1997(06)
[49]卢彪.我国利率市场化研究[D].江西财经大学,金融学,2004,硕士.
[50]谭骆艳.青年农民工的人力资本投资模型分析[D].北京交通大学,2006.