高维小样本数据的特征选择研究及其稳定性分析

【摘要】随着生物信息学、图像处理、文本挖掘等大规模数据挖掘问题的不断涌现,数据挖掘的研究对象越来越复杂,对象的特征维数也越来越高。在现实生活及科学研究中产生了大量的高维小样本数据,如果直接利用这些高维小样本数据进行数据挖掘,容易出现维数灾难问题。通过特征选择,可以删除高维小样本数据中的冗余特征和噪声特征,从而降低学习算法的时间和空间复杂度,避免维数灾难。已有的特征选择方法主要侧重于特征选择结果的高分类性能或者聚类性能,而忽略了特征选择结果的稳定性。特征选择的稳定性问题对于高维小样本数据的数据挖掘与机器学习过程是非常重要的,不稳定的特征选择结果将带来很多歧义,难以获取可以理解的真实特征。本文以高维小样本数据的特征选择及其稳定性为研究对象,做了如下主要工作：1.通过大量地阅读特征选择及其稳定性的相关文献,系统地介绍了特征选择稳定性的概念、意义,详细地整理了已有的稳定性度量方法,对现有的稳定性特征选择方法进行整理研究,为后续的研究打下基础。2.提出了一种高维小样本数据的特征选择方法——基于随机森林的递归聚类消除特征选择方法RF-RCE.RF-RCE是在SVM-RCE以及ISVM-RCE的基础上提出的。RF-RCE在ISVM-RCE的框架上使用随机森林的特征重要性给特征评分,由于随机森林在处理高维小样本数据集上的优越性,使得RF-RCE在保持分类准确率和特征选择的稳定性的基础上,极大地提高了特征选择的时间效率,并且能够解决ISVM-RCE不能解决的超高维数据集。3.为了提高特征选择的稳定性,本文系统地整理并分析了特征选择不稳定的原因,并进行了大量的实验验证,此外本文引入了一种新的稳定性度量方法,该度量方法同时考虑了基于特征子集和特征排序的稳定性度量方法。在已有的稳定特征选择方法的研究基础上,本文提出了一种基于随机森林思想的稳定特征选择方法——随机集成特征选择方法REFS,通过在多个高维小样本数据集上进行实验,验证了所提方法的有效性。
【作者】宁永鹏；
【导师】周绮凤；
【作者基本信息】厦门大学，模式识别与智能系统，2014，硕士
【关键词】高维小样本；特征选择；稳定性；随机森林；

【参考文献】
[1]冯世明.潍坊市高新区征地拆迁与房屋安置管理系统的设计与实现[D].山东大学,软件工程（专业学位）,2013,硕士.
[2]戚东梅.民营企业的可持续成长——基于竞争力演化的研究[D].浙江工业大学,技术经济及管理,2004,硕士.
[3]赵燕.论盗窃罪中的扒窃行为[D].吉林大学,法律,2014,硕士.
[4]佘又有.《东方杂志》广告与近代上海社会生活变迁[D].西北大学,传播学,2014,硕士.
[5]苏泉.取样锁相频率合成器的研究[D].合肥工业大学,电路与系统,2004,硕士.
[6]岳峰.贡师泰诗歌研究[D].扬州大学,中国古代文学,2012,硕士.
[7]张军.受贿罪共同犯罪若干问题研究[D].吉林大学,法律,2004,硕士.
[8]谢城亮.三维观测系统双聚焦评价及其GPU加速研究[D].中国地质大学（北京）,地球物理学,2013,硕士.
[9]张健,崔雪梅,高永生.干熄焦过程自动化的开发与研究[J].冶金自动化,2004,04:74.
[10]郑跃平,陈传峰.基于XML的WEB数据收集的一种应用[J].福建电脑,2005,12:5-6.
[11]魏捷,余辉,匡廷云,贲桂英.青海高原不同海拔珠芽蓼叶绿体超微结构的比较[J].植物生态学报,2000,03:304-307+387.
[12]李亚鹏.棉铃虫田间种群对三种杀虫剂的抗性监测及对氰戊菊酯抗性机理的研究[D].南京农业大学,昆虫学,2012,硕士.
[13]马银霞.对外汉语教学中的动物词文化附加义研究[D].青海师范大学,汉语言文字学,2012,硕士.
[14]仝新琴.段正渠表现性油画风景艺术语言探析[D].首都师范大学,美术,2014,硕士.
[15]田占国.氟比洛芬酯联合丙泊酚对老年开胸手术患者全麻苏醒质量的影响[D].吉林大学,临床医学,2014,硕士.
[16]马竹梧.热工系统中调节器的选择及其整定(上)[J].冶金自动化,1978,05:1-17.
[17]杨树人.PDMS/PVDF中空纤维复合膜渗透蒸发回收处理煤化工废水中酚[D].哈尔滨工业大学,环境科学与工程,2013,硕士.
[18]祝永明.1.利咽颗粒剂制备及其质量标准研究　2.氟罗沙星注射液与抗感染中药注射液配伍的稳定性考察[D].浙江大学,2003.
[19]左春伟.北京市动物卫生监督工作效能研究[D].北京交通大学,2014.
[20]徐海清.刻槽控制爆破有限元数值模拟[D].武汉理工大学,采矿工程,2004,硕士.
[21]夏泉,胡芸.岑春煊研究述评[J].广西民族研究,2014,02:136-143.
[22]杨欢.自噬在大鼠重症急性胰腺炎肠粘膜屏障中的表达及意义[D].河北医科大学,内科学,2014,硕士.
[23]肖麟芬.PLC在武钢滚焊机系统中的应用[J].冶金自动化,2002,03:56-58.
[24]王永刚.我国政府绩效评估法律制度研究[D].东北大学,宪法学与行政法学,2010,硕士.
[25]金轶晨.循环肿瘤细胞计数在激素敏感性前列腺癌治疗中的作用研究[D].苏州大学,临床医学（专业学位）,2014,硕士.
[26]杨帆.重庆市城市污水处理厂升级改造的环境影响评价[D].重庆大学,市政工程,2014,硕士.
[27]杨妍.矿工疲劳与不安全行为的实验研究[D].西安科技大学,企业管理,2013,硕士.
[28]赵伟.基于虚拟仪器及光纤电压传感器的过电压在线分析系统[D].华北电力大学（河北）,电工理论与新技术,2004,硕士.
[29]何朕,孟范伟,刘伟,王广雄.H_∞回路成形设计的鲁棒性[J].自动化学报,2010,06:890-893.
[30]吴文宇.技术设计的演进理性探究[D].东北大学,科学技术哲学,2010,硕士.
[31]吕琳.黑龙江省村镇银行信用风险管理研究[D].东北农业大学,金融学,2013,硕士.
[32]陈涛.作为义务来源体系的建构研究[D].南京师范大学,刑法学,2012,硕士.
[33]朱涛,于继来,柳进,刘长义,柳焯.高峰运行模式下有功调度的偶对协调法[J].电力系统自动化,2006,18:21-26.
[34]戴敏.重庆市城乡居民期望寿命及减寿情况分析[D].第三军医大学,公共卫生（专业学位）,2012,硕士.
[35]杨挺,桂峻峰,高胜友,何文,陈锡阳,夏云峰,杨巧源.电缆局部放电波形特征与脉冲传播研究[J].南方电网技术,2014,05:38-41.
[36]M.图哈塔纳,F.凯勒,K.阿尔海利利,王友仁.地表时间异常的估算和校正[J].石油地球物理勘探,1976,03:72-95.
[37]楼旭阳,崔宝同,吴炜.具漏泄时滞的细胞神经网络多周期性分析[J].控制与决策,2008,07:767-770+775.
[38]张仕凯.应用生物固定型假体对青年强直性脊柱炎髋关节病变行全髋置换[D].苏州大学,关节外科,2013,硕士.
[39]韩梅.武汉城市圈承接产业转移问题研究[D].湖北大学,世界经济,2011,硕士.
[40]贾薇.学科教师团队建设存在的问题及改进策略研究[D].东北师范大学,教育,2012,硕士.
[41]周丹.《原本老乞大》对当下汉语教材编纂的借鉴[D].厦门大学,汉语国际教育,2014,硕士.
[42]林宁.养阴清热法对MRL/lpr狼疮鼠调节性T细胞、Th17细胞和肾脏病理的作用[D].广州中医药大学,中医临床基础,2014,博士.
[43]万宣辰.功能视角下中国农村金融体系改革研究[D].吉林大学,金融学,2013,硕士.
[44]马强武.孔隙率对膜吸收传质行为的影响[D].北京化工大学,化学工程与技术,2013,硕士.
[45]张健.集散控制系统CS3000在济钢20000m~3/h制氧机中的应用[J].冶金自动化,2003,S1:276-278.
[46]韩沂希.初级阶段综合课《妈妈的面条》教学设计[D].渤海大学,汉语国际教育（专业学位）,2014,硕士.
[47]雷冲.Curry悖论研究[D].华中科技大学,科学技术哲学,2013,硕士.
[48]陈霖.汉语新闻听力教学研究[D].吉林大学,汉语国际教育,2013,硕士.
[49]杜玲.基于FC-AE-1553总线的箭载测试系统高速互联技术研究[D].哈尔滨工业大学,控制科学与工程,2014,硕士.
[50]宋小玲,皇甫超河,强胜.抗草丁膦和抗草甘膦转基因油菜的抗性基因向野芥菜的流动[J].植物生态学报,2007,04:729-737.