支持向量机特征选择中的L_p正则化方法研究

支持向量机特征选择中的L_p正则化方法研究

作者:师大云端图书馆 时间:2015-05-30 分类:期刊论文 喜欢:3784
师大云端图书馆

【摘要】特征选择是机器学习领域中一个重要的研究课题.特征选择可以剔除数据集中冗余和噪声特征,得到一个精简且判别能力更强的特征子集,从而避免学习过程中的“过拟合”问题,提高模型的泛化能力和可解释性,减少数据的采集量和存储量,节省训练和预测时间.岛正则化方法在特征选择中具有重要地位,已成为当前研究的热点课题.在标准的支持向量机中所使用的L2范数不具备特征选择的能力.为了能在学习分类模型的同时实现特征选择,常采用L0范数或L1范数正则化方法.但Lo-SVM是一个难以求解的组合优化问题,而Li-SVM存在欠稀疏的缺点,因此介于两者之间的LP-SVM(0<p<1)引起了国内外学者的关注.本文研究支持向量机特征选择中的Lp正则化方法.主要研究成果如下:1.针对LP-SVM(0<p<1)的目标函数非光滑非凸且非Lipschitz连续的问题,本文提出LP-SVM(<p<1)的一个等价模型LOSC-SVM.该等价模型具有线性目标函数和光滑约束条件,从而可利用光滑约束最优化的成熟算法有效求解Lp-SVM(0<p<1).我们证明了LOSC-SVM与LP-SVM之间的等价性以及LOSC-SVM的若干良好性质.该等价模型的建立为求解LP-SVM问题开辟了新途径.人工数值实验验证了模型的有效性,并表明不同结构的数据集适用不同的正则化阶次p.真实数据实验结果表明,采用自适应正则化阶次p的LOSC-SVM在特征选择和分类上的性能均优于L1-SVM.与已有的求解LP-SVM问题的SLA-SVM算法相比,LOSC-SVM的结果更稳定.2.大量计算研究表明:L1/2正则化可作为Lp(0<p<1)正则化问题的代表.在此研究成果之上,本文侧重于研究求解L1/2-SVM的数值算法.基于L1/2-SVM的等价约束模型,我们提出一种求解L1/2-SVM问题的内点法,并证明算法的收敛性.人工数据实验结果表明,与L0-SVM和L1-SVM相比,L1/2-SVM能够更准确的找到相关且非冗余的特征.真实数据实验表明,L1/2-SVM可获得比L0-SVM更精确的分类结果,以及比L1-SVM更稀疏的特征选择结果.3.本文研究求解L1/2-SVM的惩罚序列线性规划算法(PSLP)该算法利用线性规划逼近最优解,适用于变量和约束都很多的大规模问题.我们将PSLP算法应用于具有高维小样本、高噪声、高冗余等特点的基因表达谱数据集.数值实验结果表明,PSLP算法的准确性高于求解Lo-SVM的FSV算法.与L1-SVM相比,PSLP算法不仅能找到比L1-SVM更少的特征基因,而且可获得比L1-SVM更好或相当的分类结果.我们统计得出各数据集中频繁被选择的前十位基因,为生物学的进一步研究提供参考.4.本文对Lp正则化支持向量机在特征选择方面的能力进行理论分析.我们首先分析对特定数据进行特征选择的可能性,研究表明支持向量机实现特征选择不仅与目标函数采用的范数有关,还与数据本身有关.然后推导出一个用于度量支持向量机特征选择能力的概率计算公式,并应用该公式计算LP-SVM在p不同取值时的特征选择概率.计算结果表明,较小的正则化阶数p有助于提升LP-SVM的特征选择能力.
【作者】姚兰;
【导师】曾金平;
【作者基本信息】湖南大学,应用数学,2014,博士
【关键词】关机器学习;特征选择;数据分类;Lp正则化;支持向量机;内点法;序列线性规划法;

【参考文献】
[1]查显弧.一维和二维纳米材料热力学性质的第一性原理研究[D].中国科学技术大学,2014.
[2]冯秋红,程瑞梅,史作民,刘世荣,王卫霞,刘兴良,何飞.四川巴郎山齿果酸模叶片氮素及其分配的海拔响应[J].植物生态学报,2013,07:591-600.
[3]刘浩然.多级液力透平参数之间关系的研究[D].兰州理工大学,流体机械及工程,2014,硕士.
[4]单尹珮.国内乳酸菌饮料产业化现状及发展策略[D].江西农业大学,微生物资源与利用,2012,硕士.
[5]吕婵君.信息空间中的情感坐标价值研究[D].西安美术学院,设计艺术学,2014,硕士.
[6]杨乐.TiO_2纳米复合结构的制备与宏观尺度组装[D].苏州大学,无机化学,2014,硕士.
[7]方一鸣,杨景明,王洪瑞,焦晓红.液压厚调系统上、下位机数据通讯接口设计[J].冶金自动化,1994,06:26-28.
[8]荆福霞.应用Déjà Vu X2的翻译实践报告[D].鲁东大学,英语笔译(专业学位),2014,硕士.
[9]吉日格乐.RFID测试系统载波抵消技术研究[D].北京交通大学,通信与信息系统,2013,硕士.
[10]张鹏鹏.血尿酸与代谢综合征各组分关联的研究[D].山东大学,流行病与卫生统计学,2013,硕士.
[11]马静.集束化综合护理预防ICU呼吸机相关性肺炎的临床研究[D].辽宁医学院,护理学,2012,硕士.
[12]乔明静.卵巢过度刺激征高危患者鲜胚移植与冻胚移植临床结局分析[D].华中科技大学,妇产科学,2013,硕士.
[13]肖健.托普软件的发展战略研究[D].电子科技大学,2001.
[14]高东龙.异步电机无速度传感器矢量控制系统的设计与实现[D].中国科学院研究生院(沈阳计算技术研究所),计算机科学与技术,2014,硕士.
[15]陶丹丹.土地整理项目综合效益评价研究[D].江西农业大学,土地资源管理,2012,硕士.
[16]薛辉.某保险公司客户关系管理系统设计与实现[D].厦门大学,软件工程,2014,硕士.
[17]王继琴.自治与行政:台湾乡镇改革的抉择与前景[D].华中师范大学,地方政府学,2012,硕士.
[18]胡东平.三种消化道重建术对非肥胖性2型糖尿病患者糖脂代谢的影响[D].兰州大学,外科学,2013,硕士.
[19]郭振雷.基于有限元法的钢筋混凝土水池设计软件的研究[D].北方工业大学,结构工程,2013,硕士.
[20]戎文慧.新药研发信息资源开发与利用的策略研究[D].中国人民解放军军事医学科学院,情报学,2004,硕士.
[21]王雅琳,陈斌,王晓丽,桂卫华.基于密度调整的改进自适应谱聚类算法[J].控制与决策,2014,09:1683-1687.
[22]罗熙.基于英文电影的高职学生口语交际能力研究[D].西安工业大学,外国语言学及应用语言学,2014,硕士.
[23]易雪琴.我国义务教育问责制的问题与对策研究[D].湖北大学,教育经济与管理,2012,硕士.
[24]皮道映,孙优贤.非线性时变系统开闭环P型迭代学习控制的收敛性[J].自动化学报,1999,03:67-70.
[25]陈金莲.我国社区养老模式的研究[D].吉林大学,政治经济学,2013,硕士.
[26]胡书娜.给定团数或色数条件下图的谱矩[D].华中师范大学,运筹学与控制论,2014,硕士.
[27]杨意.BDD及其在电路故障检测与可靠度中的应用研究[D].华南师范大学,电路与系统,2004,硕士.
[28]马嵩山.离心泵轴头甩油分析及对策研究[D].大连理工大学,机械工程,2003,硕士.
[29]李妍依依.昆冶高专贫困生管理系统的设计与实现[D].电子科技大学,软件工程(专业学位),2012,硕士.
[30]陈瑶.方方小说的存在主义解读[D].华中师范大学,中国现当代文学,2013,硕士.
[31]靳凯.生产制造业库存管理与控制研究[D].大连海事大学,交通运输工程,2012,硕士.
[32]江想莲.TC11钛合金热变形行为及其组织演变规律的研究[D].东北大学,材料学,2011,硕士.
[33]邓儒佳.ERP整体规划的实证研究[D].西南财经大学,工商管理,2003,硕士.
[34]周翔.城市管理的数字化模式研究[D].长安大学,公共管理(专业学位),2013,硕士.
[35]杨少朋.集体土地多元所有权主体制度的反思与重构[D].扬州大学,法律,2012,硕士.
[36]王攀.加权基因共表达网络分析(WGCNA)在食管鳞癌中的应用[D].北京协和医学院,临床医学,2014,博士.
[37]刘珊珊.跨国公司的环境责任研究[D].辽宁大学,国际法学,2012,硕士.
[38]喻华兵.仿生超疏水纳米材料/聚氨酯涂层的研究[D].太原理工大学,化学工程与技术,2014,博士.
[39]陈雅静.染料分子敏化半导体功能化石墨烯的制备及其光催化产氢的研究[D].苏州大学,2013.
[40]谢可.我国住房公积金支持保障性住房建设研究[D].河北经贸大学,金融学,2014,硕士.
[41]刘阳.面向新一代测序的GPU序列比对工具研究[D].中国人民解放军军事医学科学院,生物医学工程,2013,硕士.
[42]丁浩.高速列车空调系统与车内流场质量分析[D].西南交通大学,动力机械及工程,2013,硕士.
[43]马振龙.猪骨蛋白水解物美拉德反应产物的制备及其在肉糜中的应用[D].东北农业大学,食品工程(专业学位),2013,硕士.
[44]邢丽娟.原位反应生成Fe-Al/Al_2O_3梯度涂层及界面结合机制研究[D].山东大学,材料学,2013,硕士.
[45]李鹏,李占斌,鲁克新.黄土区草本植被根系与土壤垂直侵蚀产沙关系研究[J].植物生态学报,2006,02:302-306.
[46]黄博文,马晶晶,廖小珍,马紫峰.NiMn_2O_x/石墨烯双功能催化剂在锂空气二次电池中的应用[A].中国电子学会化学与物理电源技术分会、中国化学与物理电源行业协会、中国电工技术学会氢能发电装置专业委员会、中国电工技术学会电池专业委员会、化学与物理电源重点实验室.第30届全国化学与物理电源学术年会论文集[C].中国电子学会化学与物理电源技术分会、中国化学与物理电源行业协会、中国电工技术学会氢能发电装置专业委员会、中国电工技术学会电池专业委员会、化学与物理电源重点实验室:,2013:1.
[47]黄韵玲.跨国公司对华直接投资研究[D].武汉理工大学,国际贸易学,2004,硕士.
[48]沈健.基于生物电阻抗原理的心功能检测技术研究[D].西北工业大学,模式识别与智能系统,2004,硕士.
[49]李孟.基于.NET的电子商务平台创建及安全技术应用[D].河北工程大学,计算机技术,2012,硕士.
[50]陈克强.热镀锌板耐指纹工艺及装置简介[J].重型机械科技.2000(01)

相关推荐
更多