基于梯度提升模型的负相关学习算法的研究与应用

【摘要】论文的第一个工作是关于集成学习的研究。在机器学习领域,我们把具备从经验知识中学习能力的系统或者模型叫做学习器。一般来说训练出一个学习能力较弱的模型比训练出一个学习能力较强的模型所要耗费的代价小得多。集成学习是一类特殊的机器学习方法,其思想是不直接训练一个强学习器,而是通过组合一批弱学习器来得到一个学习能力强的集成学习器。集成学习算法性能好坏主要取决于两个因素：基学习器自身的性能好坏以及基学习器之间的差异性。目前常用的集成学习算法包括Bagging、Boosting等,在提升每个基学习器性能的同时,其实也是在以一种隐性的方式维持了基学习器之间的差异性,从而使得最终的集成学习器的性能达到最佳。负相关学习(Negativecorrelationlearning,NCL)是一种常用于神经网络集成的集成学习算法,它是把基学习器之间的差异性作为一个显性的度量标准引入到神经网络的损失函数中去,进而影响神经网络的训练。通过调整影响因子可以权衡基神经网络之间的性能与多样性,以谋求获得一个性能最优的集成神经网络模型。我们借鉴NCL的思路,提出了一种新的集成学习算法。NCL最早提出是使用神经网络作为基学习器,而且目前有关NCL的研究大多数还是采用神经网络作为基学习模型,主要原因是神经网络具有一个显性的损失函数,而且训练神经网络的BP算法是一种采用梯度下降方法来最小化该损失函数的优化算法。我们比较了神经网络与另外一种常用的学习模型：梯度提升模型(gradientboostingmachine,GBM)之间的相似性,提出可以用GBM代替神经网络来实践负相关学习的思想,设计出一种新的集成学习算法：GB-NCL。论文给出了GB-NCL算法的设计思路以及详细的步骤,并且通过实验比较了GB-NCL与原始基于神经网络的NCL算法以及梯度提升算法的分类性能。实验结果表明GB-NCL算法相比于这两种算法,拥有更好的性能。论文的第二个工作是基于GB-NCL算法设计并实现了一种新的用于解决高光谱遥感图像分类问题的分类算法：RCASSL。高光谱遥感图像分类的特点是标记样本少,未标记的样本多,而且人工标记遥感图像的像素点属于什么地物类别的成本比较大。前人的做法主要有两种：第一种,利用主动学习算法,从大量未标记样本中挑选出最值得标记的像素点让人类专家来标记其所属的地物类别。这种方法的特点是新增训练样本的质量高(类标号百分百正确),但是数量少。第二种,利用半监督学习算法,用已训练出来的分类器赋予一些未标记样本类标号,并将其视为真实可用的样本,添加到训练集中,我们称之为“伪标记”样本。这类算法可以大大提高训练样本数量但是无法保证新增的伪标记样本的类标号一定正确。数量多,质量不好,这是半监督学习算法的特点。我们提出不妨将主动学习与半监督学习结合,并且引入一套“伪”标记样本验证的机制,对通过半监督学习引入进来的伪标记样本进行校验,将不合格的伪标记样本剔除出去,从而既能够获得足够多的训练样本,又能够保证训练样本集的质量。拥有了更大更完备的训练集,训练出来的分类器也就自然会有更佳的性能。根据这种想法我们在论文中针对高光谱遥感分类设计了RCASSL算法。RCASSL在训练分类器的时候不仅采用带标记的样本,而且使用半监督学习引入的伪标记样本。我们采用GB-NCL算法校验半监督学习方法引入的伪标记样本,提升伪标记样本集的质量。我们在高光谱遥感数数据集上对比了RCASSL算法、MCLU-ECBD算法以及RCASSL-NoPLV算法。MCLU-ECBD算法是一种常用的主动学习算法。RCASSL-NoPLV算法是去除掉伪标记样验证环节的RCASSL算法。实验的结果表明,在引入相同多的标记样本情况下,RCASSL算法的分类性能最强。RCASSL与MCLU-ECBD的对比结果说明结合半监督学习可以提升主动学习算法的性能,RCASSL与RCASSL-NoPLV的对比结果说明我们采用GB-NCL算法实现的伪标记验证机制的有效性。
【作者】万伦军；
【导师】唐珂；
【作者基本信息】中国科学技术大学，计算机系统结构，2014，硕士
【关键词】集成学习；负相关学习；梯度提升；高光谱遥感；图像分类；伪标记验证；

【参考文献】
[1]陈伟杰,邵元海,叶娅芬.基于特征值分解的最大间隔支持向量回归机[J].控制与决策,2013,12:1817-1821.
[2]刘晓媛.甘肃演艺集团公司发展战略研究[D].兰州大学,工商管理（专业学位）,2013,硕士.
[3]樊锋超.光纤激光柔性工作站毛化软件开发[D].兰州理工大学,材料加工工程,2012,硕士.
[4]刘思廷.考虑偏差因素的集成电路软错误分析方法研究[D].哈尔滨工业大学,仪器仪表工程,2014,硕士.
[5]程子嵌.脑室—腹腔分流术（V-P）治疗脑积水的临床观察[D].郑州大学,临床医学（专业学位）,2013,硕士.
[6]戴燕燕.基于FEM和DMM的TB6钛合金锻造变形组织类型的模拟与预测[D].南昌航空大学,材料加工工程,2013,硕士.
[7]徐文平.内蒙古达青牧场一带二叠系碎屑锆石年龄及其地质意义[D].中国地质大学（北京）,构造地质学,2014,硕士.
[8]牛艳芳.数据仓库技术在企业信息化中的应用[J].中国会计电算化,2002,02:8-10.
[9]王蓉丽.谢家福与晚清义赈[D].湖南师范大学,中国近现代史,2013,硕士.
[10]陈志.稀土资源开发许可制度研究[D].中国政法大学,环境与资源保护法学,2013,硕士.
[11]沈旻懿.出口企业应对人民币升值的策略研究[D].上海外国语大学,企业管理,2013,硕士.
[12]全碧昕.单层双曲抛物面网壳结构动力特性及最不利地震分析[D].南昌大学,结构工程,2012,硕士.
[13]阮程广.通用技术课程网络教学平台设计与实现[D].浙江工业大学,计算机技术,2012,硕士.
[14]陈留群,孙光辉,李春林,金江彬.从碳纳米管到石墨烯——浅谈碳纳米材料的研究进展[J].材料导报,2011,S2:115-117+124.
[15]徐凯.基于转移供电的和谐机车库内动车变流系统研究[D].华东交通大学,电力电子与电力传动,2013,硕士.
[16]周玲强,张文敏.2000年以来我国旅游规划研究领域热点问题综述[J].JournalofZhejiangUniversity(HumanitiesandSocialSciences),2009,07:29-38.
[17]李冰.转录因子SOX7在肺癌中的表达及其临床意义[D].中南大学,生物医学工程,2014,博士.
[18]张曼玲.企业内部会计控制研究[D].首都经济贸易大学,会计学,2004,硕士.
[19]龚纾碧.侵权责任法下的医疗侵权责任[D].华东政法大学,民商法学,2012,硕士.
[20]杨晶.黄土状压实填土压缩和强度特性研究[D].太原理工大学,岩土工程,2014,博士.
[21]李义博.环氧树脂/弹性聚合物的共混研究[D].武汉理工大学,材料加工,2012,硕士.
[22]吕红梅.基于B/S模式的气象装备管理系统的设计与实现[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[23]黄河.我国网球方向硕士研究生培养状况的研究[D].北京体育大学,体育教育训练学,2013,硕士.
[24]吴柯豫.竹笋深加工机理与工艺技术研究[D].中南林业科技大学,植物学,2014,硕士.
[25]邵东桥.香妃墓琉璃砖破坏机理及防治方法研究[D].兰州大学,防灾减灾工程及防护工程,2013,硕士.
[26]宋盟.鼠疟原虫TatD-like DNase序列的表达与分析[D].吉林大学,兽医,2013,硕士.
[27]赵佳佳.内在性激励、外在性激励与经理契约设计[D].东北财经大学,西方经济学,2003,硕士.
[28]戴琴.土家族“撒尔嗬”的数字化保护技术应用研究[D].华中师范大学,教育技术学,2013,硕士.
[29]蒋培强.内镜下金属支架和腹腔镜胆总管十二指肠吻合术在恶性梗阻性黄疸中的应用比较[D].吉林大学,临床医学,2013,硕士.
[30]赵磊.反垄断法中的经营者承诺制度研究[D].河北经贸大学,经济法学,2014,硕士.
[31]陈建清.电晕放电等离子体催化室内空气净化器的研制[D].北京交通大学,2015.
[32]王萌,李强,王斌杰,张友印.罐车车体结构疲劳损伤规律研究[J].铁道机车车辆,2015,02:19-22.
[33]雷春龙.高精料日粮中添加不同吸附剂对肉牛体内内毒素吸附、养分消化率、生产性能及选择性采食的影响[D].西南大学,动物营养与饲料科学,2013,硕士.
[34]罗娴.“为澳大利亚而教”项目研究[D].西南大学,比较教育学,2013,硕士.
[35]窦衍花.“教学案一体化”在高中物理教学中的应用与探究[D].鲁东大学,学科教学（专业学位）,2013,硕士.
[36]纪成强.上海市肥胖小学生自我意识和身体自尊特征研究及运动干预研究[D].上海师范大学,体育教育训练学,2013,硕士.
[37]石淼.股份有限公司中小股东权益保护制度研究[D].苏州大学,法律,2003,硕士.
[38]宋龙腾.卵孢白僵菌防治蛴螬及其固态培养条件优化[D].东北农业大学,农业昆虫与害虫防治,2013,硕士.
[39]宁春晖.神经系统的系统学研究[D].太原科技大学,科学技术哲学,2013,硕士.
[40]张庆夫.跨座式单轨车辆动力传动系统参数匹配优化[D].重庆交通大学,车辆工程,2012,硕士.
[41]李志永.车辆主动悬架的模糊滑模控制策略研究[D].吉林大学,机械电子工程,2013,硕士.
[42]谢悦.战略性新兴产业政府补贴绩效[D].南京大学,数量经济学,2013,硕士.
[43]王敏.反倾销价格承诺规则分析[D].苏州大学,法律（专业学位）,2014,硕士.
[44]王伟.高速高精度瓷砖平整度检测方法研究及装置研制[D].哈尔滨理工大学,检测技术与自动化装置,2012,硕士.
[45]王佳顼.基于Android的电子词典手机客户端的设计与实现[D].北京交通大学,2012.
[46]刘昕.岩石冻融循环特性试验与低温响应数值模拟研究[D].中国地质大学（北京）,地质工程,2013,硕士.
[47]邵广周,李庆春,吴华.基于波场数值模拟的瑞利波频散曲线特征及各模式能量分布[J].石油地球物理勘探,2015,02:306-315+5.
[48]本报通讯员郭晓洪.无锡惠山创业中心：以全球视野打造高端新兴产业[N].科技日报,2015-01-05006.
[49]杨帆.重庆市万州区城市公园绿地系统研究[D].南京农业大学,风景园林,2012,硕士.
[50]徐宁.SL公司员工满意度问题研究[D].山东大学,工商管理（专业学位）,2013,硕士.