数据挖掘中的离群点检测算法研究

【摘要】离群点检测是数据挖掘中的一个分支,它的任务是识别其特征显著不同于其他数据的观测值。在我们平常的社会生活和自然界中,大部分的事件和对象,都是很寻常或者是平凡的。但是我们也不能因此忽视,在其中也有很多不寻常或者不平凡的对象存在的可能性。这些对象的事件背后可能蕴含着更大的研究价值,有着广阔的应用前景。因此,离群点检测是一个非常有意义的研究方向。目前,研究者们已经提出了很多离群点检测方法,包括基于统计的离群点检测方法、基于频率的离群点检测方法、基于深度的离群点检测方法、基于距离的离群点检测方法和基于密度的离群点检测方法等。本文分析了离群点检测的研究背景、意义和国内外研究现状,研究基于距离的离群点检测方法和基于频率的离群点检测方法,并改进了传统的离群点检测方法。属性通常可以分为两类,包括数值属性以及分类属性。本文详细分析了两种属性的区别,并做了以下工作：针对数值数据,对传统的基于距离的检测算法进行改进。传统的基于距离的检测算法输入参数多,而且算法对参数比较敏感,因此选择基于平均距离的离群点检测算法。针对这种算法计算量大,在大数据集中不适用的问题,根据如果数据对象r邻域内数据的个数达到k个以上就不是离群点的规则剪去部分非离群点,通过聚类,将类别按照密度进行排序,先选择密度小的类别开始检测,离群度阈值可以迅速增大,利用剪枝规则再次剪枝。这样可以大大减小运算时间。针对分类数据,分析了基于距离的算法的不足,介绍了针对分类数据的常用的离群点检测方法,包括基于频率的方法和基于信息熵的方法。指出基于频率的AVF算法的不足,提出改进的基于频率的检测算法。通过常用的针对分类属性数据的k-modes聚类算法对数据集进行聚类,去除相似度较高的对象,再通过基于频率的方法进行检测,以达到更好的检测效果。
【作者】胡婷婷；
【导师】陈海山；
【作者基本信息】厦门大学，计算机软件与理论，2014，硕士
【关键词】离群点检测；平均距离；频率；

【参考文献】
[1]林文台,娄淑琴,梁生.基于新型相位载波调制解调技术的双M-Z光纤振动传感器[J].测试技术学报,2014,03:237-242.
[2]袁林玲.基于雌性纳精囊及内含物蛋白组学探讨Wolbachia诱导果蝇Cl的机制[D].华中师范大学,动物学,2013,硕士.
[3]孙家鹏.活性炭的国际市场及出口问题[J].煤炭加工与综合利用.1988(04)
[4]卢景文.拱形巷道临时支护设备的参数化及关键部件优化设计[D].辽宁工程技术大学,机械设计及理论,2012,硕士.
[5]刘洋.“三融合+两中心”商学结合人才培养模式的构建与应用[D].广东技术师范学院,职业技术教育学,2014,硕士.
[6]孙海涛.花非花，梦非梦—透视刘震云小说的艺术世界[D].安徽大学,中国现当代文学,2004,硕士.
[7]陈波.射频功率放大器及LC压控振荡器的研究[D].杭州电子科技大学,电路与系统,2011,硕士.
[8]张杰.特殊波段钾钠离子交换锗酸盐玻璃波导放大器[D].大连工业大学,材料学,2012,硕士.
[9]吴冕.转GmDof4和GmDof11基因油菜的获得和鉴定[D].扬州大学,发育生物学,2012,硕士.
[10]冯力.论我国统计信息系统的结构变迁[J].统计研究,2002,06:6-11.
[11]刘春雨,董晓峰,刘英英,潘竟虎,车彦军.甘肃省净初级生产力时空变化特征[J].中国人口.资源与环境,2014,01:163-170.
[12]钟能.基于CTCS-3的终端隔离平台软件设计与实现[D].西南交通大学,通信与信息系统,2014,硕士.
[13]童耀南.模拟小波基构建及开关电流电路实现理论与方法研究[D].湖南大学,电气工程,2014,博士.
[14]黄敏慧.从纽马克的翻译理论看《红楼梦》两个英译本中喜剧性元素的翻译[D].南京师范大学,英语语言文学,2012,硕士.
[15]孟扬.基于遗传算法的沪深300指数HAR模型结构优化[D].南京大学,工业工程（专业学位）,2013,硕士.
[16]桂彬.石油中烃类化合物的粗粒化分子力学/分子动力学力场的建立[D].中国石油大学（华东）,化学工程,2012,硕士.
[17]马洁馨.深化高校后勤社会化改革的理论思考[D].曲阜师范大学,教育经济与管理,2013,硕士.
[18]胡倩倩.往复荷载下混凝土结构疲劳性能的仿真模拟研究[D].重庆大学,土木工程,2014,硕士.
[19]罗道成,易平贵,陈安国.建筑和装饰材料的室内污染对人体危害及预防措施[J].中国安全科学学报.2003(03)
[20]郝瑞祥.新疆阿尔金山喀腊大湾地区铁矿床地质特征及成因[D].中国地质科学院,构造地质学,2013,硕士.
[21]阮前途,马若新,肖飞,R.SELUDO,M.L.PASCUAL,H.V.delaCRUZ.菲律宾吕宋电网系统崩溃及黑启动措施分析(英文)[J].电力系统自动化,2011,04:82-91.
[22]王美玲.试论对外汉语教学中的成语教学[D].湖南师范大学,课程与教学论,2004,硕士.
[23]郑凌燕.从概念隐喻的视角看《围城》中的隐喻英译[D].福建师范大学,英语语言文学,2012,硕士.
[24]关亮.大型离心压缩机半开式叶轮级内瞬态气动特性研究[D].大连理工大学,动力机械及工程,2013,硕士.
[25]王永初.工业过程控制系统的实施[J].冶金自动化,1989,01:54-56.
[26]赵存卓.基于Internet的数据仓库解决方案的研究[D].天津大学,软件工程,2004,硕士.
[27]兰秋军,马超群,文凤华,甘国君,吴建宏.基于序列模板的股票时间序列交易决策规则挖掘[J].系统工程,2004,11:55-58.
[28]陈学冉.小分子化合物2BROP对神经干细胞发育的影响及机制研究[D].山东大学,人体解剖与组织胚胎学,2014,博士.
[29]牛科.基于Hadoop云平台的分布式支持向量机研究[D].山西师范大学,计算机应用技术,2014,硕士.
[30]蔡立军,张大方.电子文档挖掘技术在电子邮件监控系统中的应用[J].计算机科学,2003,04:58-60+78.
[31]乔晓瑜.基于频谱感知的动态频谱管理研究[D].北京交通大学,2013.
[32]徐静洁.新媒体环境下河北高校校园媒体整合发展研究[D].河北经贸大学,新闻学,2014,硕士.
[33]李靖.掌握核心技术差异化满足市场需求——访德国惠朋(VIPAGmbH)自动化中国区首席代表许勇[J].冶金自动化,2014,06:77-80.
[34]袁林.义务教育背景下湖南省青少年运动员文化教育现状的调查与分析[D].湖南师范大学,运动训练（专业学位）,2014,硕士.
[35]范勇.江苏省普通高校体育教师职业倦怠研究[D].中国矿业大学,体育教育训练学,2014,硕士.
[36]李丽飒.中国移动电话经理系统渠道协同工作流程设计[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[37]尹峰,韦钰.最大熵井间逆散射层析成像[J].石油地球物理勘探,1992,05:572-582+694.
[38]李世伟.秘鲁鱿鱼丝贮藏过程中色泽风味变化机制及控制技术研究[D].渤海大学,食品科学,2014,硕士.
[39]黄绯.关于上海流动就业人口收入影响因素的实证研究[D].复旦大学,人口学,2012,硕士.
[40]苏辛一,何光宇,张雪敏,连鸿波,张王俊,尹文君.配电网无功优化逐层筛选寻优算法[J].电力系统自动化,2010,21:40-45.
[41]陈志.当代中国马克思主义大众化的实践路径探析[D].安徽工程大学,思想政治教育,2012,硕士.
[42]黄海东.A公司中端阀门品牌创建策略研究[D].华东理工大学,工商管理（专业学位）,2014,硕士.
[43]刘志,马骏,潘翔.特征自适应的三维模型最优视点提取[J].计算机辅助设计与图形学学报,2014,10:1774-1780.
[44]李华琴.随县新农村经济建设研究[D].华中师范大学,农村与区域发展,2012,硕士.
[45]吴迪.基于B/S结构的题库管理系统的设计与实现[D].吉林大学,软件工程,2014,硕士.
[46]卢兆良.武汉市普通高校非体育专业大学生网球运动开展现状及对策研究[D].华中师范大学,体育教育训练学,2012,硕士.
[47]刘畅.英汉数字缩略语的比较[D].华中师范大学,应用语言学,2003,硕士.
[48]刘光耀.商品房预售合同研究[D].吉林大学,法律,2004,硕士.
[49]沈文渊.船舶机舱运行管理系统设计与实现[D].大连理工大学,软件工程（专业学位）,2012,硕士.
[50]孙涛.上市公司高管股份转让规制研究[D].中国社会科学院研究生院,商法（专业学位）,2014,硕士.