K-means算法与智能算法融合的研究

【摘要】数据挖掘的基本含义就是从海量、不完全、有噪音的数据中获取对用户来说有直接或间接价值的信息。聚类分析的显著特征就是不需要任何先验知识或信息,只是根据事物之间的某些属性,把事物聚集成类,同时要尽可能满足同一个簇内和簇间的高内聚、低耦合要求,聚类是一种无导师监督的学习方法,聚类分析技术的迅速发展使得它被广泛地应用于科研和生活中的各个方面,是数据挖掘领域重要的分支之一。K-means算法是典型的一种划分聚类算法,由于算法简单而且易于实现,受到很多科研人员的关注,但同时也存在一些缺点,如对初始中心点的选择较为敏感,同样的数据集不同的初始化可能会有不一样的结果,特别是面对不规则的数据集或者是大数据集时更是如此。遗传算法是模仿生物界自然选择和进化机制的一种智能算法,以染色体为基本运算单位,通过染色体之间的交叉、变异、复制然后采用事先设定的评价函数最终选择出最优的个体。遗传算法具有潜在的并行性、较强的鲁棒性、问题无关性、全局最优性等优点,从而得到了广泛的研究和应用。云计算是大数据时代来临的必然产物,Map-Reduce计算模型是Hadoop平台里的一个组织架构,它是模仿Google云计算平台架构下的免费的、开源的一个云计算平台。近些年人们对云计算的研究大多是在这个平台下进行的。本文提出了一种在Hadoop平台下,将遗传k-means算法并行化设计实现,这样就可以避免基于MPI并行化繁琐设计同时可以提高算法的运行效率以及聚类的准确性。蚂蚁算法是近年来人们研究的热点,主要原理是研究蚂蚁活动过程中利用分泌的信息素,然后根据信息素浓度的不同来找到最佳的路径或方法。蚂蚁算法除了经常应用在人们熟悉的TSP等问题中,基于蚂蚁觅食以及尸体堆积的聚类算法中也越来越受到关注。基于蚂蚁觅食的聚类算法利用蚂蚁的群体智能性往往可以得到较好的聚类结果但是在聚类的初期由于信息素的匮乏,蚂蚁算法的收敛速度较慢,针对这个缺点本文提出对数据集进行预处理,采用基于密度和距离的方法来选择初始的聚类中心,然后据此生成初始的信息素不均匀分布从而加快了算法的收敛时间。
【作者】管玉勇；
【导师】贾瑞玉；
【作者基本信息】安徽大学，计算机软件与理论，2014，硕士
【关键词】遗传算法；蚂蚁算法；hadoop；mapreduce；并行化；k-means算法；

【参考文献】
[1]彭荣文.俄罗斯能源外交研究[D].南京师范大学,科学社会主义与国际共产主义运动,2012,硕士.
[2]于艇.Innbio医械公司战略转型研究[D].河北工业大学,工商管理,2013,硕士.
[3]凌代红.基于MS Agent和TTS的剧本引擎的设计与应用[D].浙江工业大学,计算机技术,2012,硕士.
[4]何兮索.新《刑事诉讼法》背景下审前程序律师辩护权行使问题研究[D].四川省社会科学院,法律（专业学位）,2014,硕士.
[5]郭峰濂,盛水源.我国高新技术产品对外贸易发展特点、问题及对策[J].国际贸易.2006(11)
[6]李辰文.基于战略管理视角的中国国航全面预算管理改进研究[D].内蒙古大学,工商管理,2013,硕士.
[7]付振元.并联混合动力汽车能量控制策略仿真研究[D].哈尔滨工业大学,车辆工程,2013,硕士.
[8]牛永防.新疆南疆高校大学生思想政治教育研究[D].喀什师范学院,思想政治教育,2014,硕士.
[9]周志环.从操纵论评葛浩文英译《红高粱家族》[D].外交学院,外国语言学与应用语言学,2014,硕士.
[10]汤勇强.巴塞尔协议新发展与其在中国适用问题研究[D].哈尔滨工业大学,国际法学,2013,硕士.
[11]黄海.基于粗糙集理论的知识约简算法研究[D].重庆邮电大学,2005.
[12]刘欣.基于GPU的FPGA并行布线算法实现[D].哈尔滨工业大学,微电子学与固体电子学,2013,硕士.
[13]邓政健.中国基本住房保障问题及其模式创新探析[D].吉林大学,公共管理,2012,硕士.
[14]程春梅,邸彦彪,张晓芬.本科经管类创新型应用人才培养模式的研究与实践[J].辽宁工业大学学报(社会科学版),2015,01:.
[15]曹平军.基于地磁场的飞行体滚转角测量技术研究[D].中国舰船研究院,检测技术与自动化装置,2014,硕士.
[16]潘珩.关联规则挖掘在汽车营销决策中的应用研究[J].成都信息工程学院学报,2004,04:597-600.
[17]杨金花,董新姣,林国栋.利用科学知识图谱量化研究我国近十年多元智能发展[J].渭南师范学院学报,2014,19:57-62.
[18]李立源,龚坚,陈维南.基于二维灰度直方图最佳一维投影的图像分割方法[J].自动化学报,1996,03:314-322.
[19]于婷婷.黄东海小型底栖动物群落结构和线虫多样性及分布研究[D].中国科学院研究生院（海洋研究所）,海洋生物学,2014,博士.
[20]莫小凤.基于受激布里渊散射的水中声速测量[D].南昌航空大学,光学工程,2013,硕士.
[21]鲍丽莉.DL电器公司发展战略研究[D].西南交通大学,企业战略管理（专业学位）,2013,硕士.
[22]王子凌.县域土地综合整治潜力与整治分区研究[D].中国地质大学（北京）,资源管理工程,2014,硕士.
[23]刘伟.基于损伤理论的砌体结构房屋性能化抗震设计研究[D].郑州大学,结构工程,2014,博士.
[24]吴姝.我国上市公司股权结构与现金持有水平的实证分析[D].江西财经大学,会计学,2013,硕士.
[25]孙令艳.军队医院聘用制人员流失预警管理[D].南方医科大学,社会医学与卫生事业管理,2012,硕士.
[26]马宁.大庆油田萨南开发区南二区西部聚合物驱注聚阶段钻停恢复方法研究[D].吉林大学,地质工程,2014,硕士.
[27]符芮三.ABAQUS与PERFORM-3D在弹塑性时程分析中的应用及对比研究[D].重庆大学,土木工程,2014,硕士.
[28]曹振华.乡镇卫生院实施基本药物制度的调查研究[D].青岛大学,社会医学与卫生事业管理,2013,硕士.
[29]张璐.基于PFC3D的模拟月壤本构关系研究[D].中国地质大学（北京）,地质工程,2014,硕士.
[30]廖孟春.金属杂质离子对电解30%KOH溶液制氢的影响[D].湖南大学,化学工程,2012,硕士.
[31]王兆彬.睡眠监测与干预系统的设计与实现[D].华中科技大学,生物医学工程,2013,硕士.
[32]万晶晶.新型烟支传送装置设计与分析[D].湖南大学,机械工程,2012,硕士.
[33]陈琪雯.新型碳基纳米材料电极的研制及其在食品药品分析中的应用研究[D].复旦大学,2013.
[34]陈盼虎.Nrf2在液压冲击脑损伤抗神经细胞凋亡中的作用以及姜黄素对其的影响[D].河北医科大学,外科学（专业学位）,2013,硕士.
[35]何鹏.《离子反应》个案中课堂教学内容结构基于CPUP模型分析[D].东北师范大学,学科教学,2012,硕士.
[36]李易洲.合肥市特殊老人养老需求调查报告[D].安徽大学,社会工作,2014,硕士.
[37]李晓舒.初探如何提高初中美术欣赏课有效教学的措施[J].美与时代(中旬),2014,09:69-70.
[38]董晓东.静电纺丝复合纳米纤维的制备及电化学性能表征[D].河北科技大学,纺织工程,2012,硕士.
[39]李万岭.从文化冲突到女性书写[D].南京师范大学,影视文学,2012,硕士.
[40]孙丰田.英汉歌词翻译研究[D].对外经济贸易大学,外国语言学及应用语言学,2004,硕士.
[41]刘济民.山东海运股份公司航运业务竞争战略研究[D].山东大学,工商管理（专业学位）,2012,硕士.
[42]何俊和.圆度/圆柱度仪用高精度差动电感传感器若干问题研究[D].哈尔滨工业大学,仪器科学与技术,2014,硕士.
[43]闫月娟.井下旋流除砂器内固液两相流动特性研究[D].东北石油大学,石油与天然气工程,2014,博士.
[44]叶玮.城镇化进程中的城市社区治理模式研究[D].湖南师范大学,行政管理,2014,硕士.
[45]张学同.石墨烯气凝胶的合成及应用[A].中国化学会.中国化学会第28届学术年会第4分会场摘要集[C].中国化学会:,2012:1.
[46]马广.城市滨水景观设计中的地域特色表现研究[D].重庆大学,艺术（专业学位）,2014,硕士.
[47]邓华君.AlkB和低氧诱导因子-1α在大鼠低氧性肺动脉高压模型肺组织中的表达[D].河北医科大学,内科学,2013,硕士.
[48]范崇惠,施颂平,余雅声.内燃机车驾驶自动化[J].自动化学报,1963,01:22-30.
[49]朱美荣.贮藏时间和温度对小麦穗粒发芽率与α-淀粉酶活性的影响[D].扬州大学,作物栽培学与耕作学,2011,硕士.
[50]马伟杰.基于6岁离位儿童乘员的安全气囊参数优化研究[D].湖南大学,车辆工程,2011,硕士.