基于Boosting思想的半监督学习算法研究

【摘要】Boosting算法是一种利用组合分类器思想提高算法学习性能的一种算法。近年来Boosting算法的研究成为机器学习领域的热点，并产生了Adaboost等Boosting系列算法。Boosting算法性能比较好，是一种比较好的提升算法，近年来Boosting系列算法被广泛的应用于很多领域。半监督学习是当前机器学习领域的一个比较热门的方向，半监督学习能够充分利用训练样本中的无标签样本，能够结合少量的有标签样本和大量的无标签样本来训练分类器，同时由于半监督学习只需要少量的有标签样本，因此半监督学习算法能够节省获取样本标签的成本。半监督学习对于减少标签代价提高学习器的性能具有重大意义。当前机器学习领域Boosting算法和半监督学习算法都是提高分类性能的算法。近年来很多专家学者在这两方面的研究都取得了良好的进展。但是将Boosting算法和半监督学习结合起来的相关研究还比较少。在本课题中，我们将研究将Boosting思想和半监督学习结合起来的算法。在本课题中我们研究了基于WEKA的数据挖掘开发，我们将我们的算法在WEKA平台上实现。我们是在算法MCSSB的基础上对算法进行改进的。MCSSB算法结合了半监督学习和Boosting思想，它是用来解决多分类问题的，并在很多数据集上取得了较好的效果。但是MCSSB算法对于样本训练集有标记样本比较少的情况下实验效果并不理想。在本课题中，我们对MCSSB算法进行改进，在MCSSB的基础上实现了我们的算法IMSB算法。我们在算法的迭代过程中加入了数据预处理阶段，对样本训练集中的无标签样本的标签进行预测，预测完后随机抽取一部分样本加入到初始分类器的训练集中。实验表明，我们的算法能够在样本训练集中有标记样本比较少的情况下取得较好的效果。我们的算法IMSB在一定程度上改进了MCSSB算法的性能。为了获得具有较高置信度的无标签样本的伪标签，我们采用目标函数优化的思想。我们建立一个类似于MCSSB算法中的目标函数，通过优化这个目标函，我们找到具有最高置信度的无标签样本的伪标签。同时在目标函数优化过程中找到最佳的基分类器的权重。通过优化目标函数得到每一个基本分类器的训练集和相应的基分类器的权重，并最终将所生成的基分类器加权起来形成一个组合分类器。在改进MCSSB算法的过程，我们在样本数据的预处理阶段加入一个有监督学习算法对无标签样本的标签进行简单预测，并从这些样本中随机抽取一部分作为下一次迭代过程中的训练集。我们在这里引入的有监督学习算法是直接从WEKA中导入的，比如KNN算法和NaveBaiyes算法等等。然后再将我们实现的IMSB算法部署到WEKA框架中。实验证明我们的算法在有标签样本比较少的情况下同样能够取得比较好的效果。对于我们提出的基于Boosting思想的半监督学习算法IMSB，我们采用基于weka平台的数据挖掘实验进行实验验证，我们将算法用java语言实现并整合到weka平台中。同时我们利用UCI开发数据库中的数据集对我们的算法进行测试。
【作者】吴继民；
【导师】王生生；
【作者基本信息】吉林大学，计算机应用技术，2014，硕士
【关键词】数据挖掘；半监督学习；有监督学习；标签；机器学习；目标函数；Boosting；

【参考文献】
[1]路璐.报网互动视角下灾难报道探析[D].内蒙古大学,新闻与传播,2014,硕士.
[2]贾林培.费氏三维话语模式下的有关钓鱼岛争端报道的对比分析[D].郑州大学,外国语言学及应用语言学,2013,硕士.
[3]鲁明.石家庄市区中学体育教师专业能力评价研究[D].河北师范大学,体育人文社会学,2014,硕士.
[4]夏正强.双四唑—铜（Ⅰ/Ⅱ）配合物的合成、表征及性质[D].西北大学,材料化学,2013,硕士.
[5]张聪.宽禁带功率二极管的研制[D].山东大学,电子与通信工程（专业学位）,2012,硕士.
[6]张烜普.对婚外性行为的伦理思考[D].西南大学,伦理学,2014,硕士.
[7]冯宇锋.多供体造血干细胞移植术后的嵌合率定量检测[D].苏州大学,免疫学,2012,硕士.
[8]张友全.“宅青”生活方式研究[D].黑龙江省社会科学院,社会学,2013,硕士.
[9]李长安.堆料机无人值守智能堆料控制系统设计与实现[D].燕山大学,控制工程,2012,硕士.
[10]四兵锋,张好智,高自友.求解Logit随机网络配流问题的改进Dial算法[J].中国公路学报,2009,01:78-83.
[11]李超.临床应用补正续骨丸治疗腰椎间盘突出症疗效观察[D].辽宁中医药大学,中西医结合临床（专业学位）,2012,硕士.
[12]姚凯.功能化氧化石墨烯与蛋白质相互作用机理的研究[D].苏州大学,生物化学与分子生物学,2013,硕士.
[13]秦如浩.高固含量纳米阳离子聚丙烯酸酯乳液的制备和应用研究[D].湖北大学,应用化学,2012,硕士.
[14]邢鲲鹏.通用技术有效教学策略研究[D].首都师范大学,教育管理,2013,硕士.
[15]韩春莹.右美托咪定对老年胸科手术患者围术期心率变异性的影响[D].吉林大学,临床医学,2013,硕士.
[16]李杰先.FTA框架下中日韩农产品的竞争性与互补性分析[D].山东财经大学,国际贸易学,2014,硕士.
[17]黄瑞冰.任务驱动教学法在中职《电子技术基础》中的应用研究[D].河北师范大学,课程与教学论,2012,硕士.
[18]王娜.基于危机生命周期的企业危机管理中的沟通研究[D].南昌大学,企业管理,2012,硕士.
[19]孙文芳.集体林权制度改革中的利益相关者分析[D].华中师范大学,政治学理论,2012,硕士.
[20]施展.基于层簇式无线传感器网络节点认证研究[D].中南民族大学,计算机应用技术,2013,硕士.
[21]赵惠文.枕形包装机横封器的性能研究[D].中北大学,机械制造及其自动化,2014,硕士.
[22]戴靓.县域土地生态质量的空间分异及其主控因子识别[D].南京大学,土地资源管理,2013,硕士.
[23]陶冶.多业务城域传送网的组网和应用[D].南京邮电大学,电子与通信工程（专业学位）,2012,硕士.
[24]杨天权.MicroRNA-16调控BCL2表达和NF-κB1/MMP-9信号通路抑制胶质瘤生长和侵袭的机制研究[D].苏州大学,神经外科学（专业学位）,2014,硕士.
[25]吴莹.VAV中央空调末端控制器的研究[D].沈阳工业大学,控制理论与控制工程,2013,硕士.
[26]裴志锋.基于生产函数法对中国潜在产出的实证研究[D].吉林大学,数量经济学,2014,硕士.
[27]李博.大庆油田特低渗透水平井提高固井质量技术研究[D].东北石油大学,石油与天然气工程（专业学位）,2013,硕士.
[28]陈晓婷.锡基石墨烯复合负极材料的合成、表征和性能研究[D].上海交通大学,2014.
[29]杨鹏,胥晓.淹水胁迫对青杨雌雄幼苗生理特性和生长的影响[J].植物生态学报,2012,01:81-87.
[30]陈伟.数据清理关键技术及其软件平台的研究与应用[D].南京航空航天大学,2005.
[31]尹辉金.妨害传染病防治罪研究[D].湘潭大学,法律,2003,硕士.
[32]刘和芝.伊通断陷盆地重点目标刻画与评价[D].东北石油大学,地质工程（专业学位）,2013,硕士.
[33]刘光余.论我国农村教育信息化[D].曲阜师范大学,教育学原理,2004,硕士.
[34]韩朝霞,孙守光,赵方伟.基于实测载荷谱的侧架寿命分析[J].铁道机车车辆,2015,01:15-18.
[35]刘立恒.益生乳酸杆菌筛选和苹果渣发酵工程研究[D].中国农业科学院,微生物学,2004,硕士.
[36]颜海梅.碳纳米管的快速纯化及其增强铜基复合材料的研究[D].湖南大学,材料物理与化学,2011,硕士.
[37]宋艳波.双边网络环境下电子商务平台企业的竞争战略研究[D].北京交通大学,工商管理（专业学位）,2013,硕士.
[38]张文俊.化学吸收法处理烟库磷化氢废气的研究与工程应用[D].合肥工业大学,化学工程,2013,硕士.
[39]安东.EDTA对树脂基纳米水合氧化铁稳定性及其除重金属性能的影响[D].南京大学,环境科学与工程,2013,硕士.
[40]逄铁铮,方勇生,覃卫民.厦门梧村隧道明挖深基坑施工监测分析[J].岩石力学与工程学报,2013,S1:2751-2757.
[41]朱金星.豆类蔬菜斜纹夜蛾绿色防控技术研究[D].浙江大学,农业推广（专业学位）,2012,硕士.
[42]答花花.生物质碳材料改性及其在电催化中的应用研究[D].西北师范大学,高分子化学与物理,2013,硕士.
[43]孟楚.房地产投资对经济增长的影响研究[D].浙江大学,政治经济学,2013,硕士.
[44]胡少博（JoelHubert）.量化宽松时代美国联邦储备委员会公告对股票价格的影响研究[D].首都经济贸易大学,应用经济学,2014,硕士.
[45]王春艳.结构性掺杂提高超铁电池放电性及稳定性研究[D].东北石油大学,化学工艺,2012,硕士.
[46]宋雪萍.浙江省理工科院校公共艺术教育现状调查研究[J].浙江科技学院学报,2012,02:168-173.
[47]陆旭.任务驱动的自适应构件模型研究与实现[D].西安电子科技大学,计算机软件与理论,2011,硕士.
[48]汪辰静.初中英语作文评改中“量规”的引入及实施策略[J].教学与管理,2014,04:68-71.
[49]卢蒙蒙.实现与血氧光谱分离的脉搏色素谱测量方法研究[D].吉林大学,精密仪器及机械,2014,硕士.
[50]徐凝.牛化脓隐秘杆菌分离鉴定及毒力因子检测[D].东北农业大学,预防兽医学,2013,硕士.