特征选取和SVM算法研究及在股市行业资讯中的应用

【摘要】在信息化时代的今天,随着存储容量的翻倍增长和网络通讯速度的不断提高,海量文本信息的传输和保存已变得异乎平常。很显然的是传统的信息获取技术早已跟不上时代的步伐,如何在信息高速膨胀的文本数据库中及时地检索到我们想要的文本信息问题显得日益突出。文本挖掘也正是为解决这一需求而在近些年得到了迅猛的发展。文本挖掘涉及文本聚类、文本分类、信息提取等多个方面,其中文本分类是当前数据挖掘研究领域的热点内容之一。目前,文本分类技术已被成功应用到多个领域,如邮件服务器使用的垃圾邮件过滤技术、网页搜索引擎公司采用的检索技术等等。文本分类就是按照一定的分类规则对未知类别的文本进行类别的划分,这里的分类规则指的是区分文本类别的特征信息。为了实现文本的自动分类,故需将文本分类规则数字化成分类器,也就是由分类器来决定待分文本的类别。文本分类是有监督的机器学习,也就是在训练分类器之前样本的类别是已知的。通常情况下,文本分类包含的步骤有：文本信息的预处理、文本特征项的选取、文本分类器的生成、文本分类性能测试、分类效果评价等。其中文本特征项的选取和文本分类器的生成是本文的重要研究内容,不同的特征选取方式和选择不同的分类算法将对分类的性能产生较大的影响。本文首先介绍了文本分类研究的背景和意义、国内外研究现状。与国外相比,国内文本分类的研究起步较晚,但随着网络技术取得了突破性的发展,文本分类技术逐渐受到国内各级、各类计算机研究机构的重视,并研究出了一系列符合中文文本分类的技术。接着对文本分类的相关技术作了概要的描述,包括文本的预处理、特征项的选取和文本分类算法。针对使用TF*IDF计算特征词的权重时存在的不足,提出了改进的TF*IDF权重计算方法,同时为了有效地降低文本训练的时间和空间复杂度,而又尽量地减少因降低向量维数对分类精度的影响,本文引入了特征相关度的概念,并使用特征相关系数来衡量特征项之间的关联程度。当特征项之间的特征相关系数大于约定的阈值时,采用一级特征项取代二级特征项来降低特征项集中同义或近义的冗余特征项。然后对SVM算法如何解决多类分类问题进行了研究,其中二叉树分类方法应用最为广泛,但不同的二叉树结构会产生不同的分类结果。目前在生成二叉树结构时,通常依据样本的分布情况或样本类别间的距离来确定样本在树中节点的位置。本文提出了改进的方法,即在生成多类分类二叉树时,综合考虑了样本的分布情况和样本类别间的距离,通过实验分析比较改进的算法的推广性能较好。最后本文设计了一个文本分类应用在股市行业资讯上的自动分类系统,在特征提取模块中采用本文改进的TF*IDF权重计算方法和文本特征项降维方法；在分类模块中采用本文改进的基于二叉树的SVM多类分类方法。之后,总结了本文所做的工作,同时对本文研究过程中未能深入探讨的相关问题,提出了需进一步研究的方向。
【作者】温春林；
【导师】周爱武；
【作者基本信息】安徽大学，计算机软件与理论，2014，硕士
【关键词】文本分类；支持向量机；二叉树；词频；特征项；

【参考文献】
[1]龚茜.妇科消瘤丸、丹黄祛瘀胶囊治疗气虚血瘀型子宫腺肌病的临床疗效观察[D].北京中医药大学,中医妇科学,2013,硕士.
[2]汪竹青,王敏,吴根华.浅析重金属离子吸附剂的优缺点及发展趋势[J].广东化工,2014,23:90+74.
[3]孙剑.基于DSP_CAN总线的数字伺服控制系统设计[D].西北工业大学,导航、制导与控制,2004,硕士.
[4]袁玮卿.航空航天医学专业本科临床教学质量监控评价指标体系研究[D].第四军医大学,社会医学与卫生事业管理,2014,硕士.
[5]郑志武.苯甲脒镍（Ⅱ）配合物与吡唑镍（Ⅱ）配合物的合成、表征及催化降冰片烯聚合性能研究[D].河南科技大学,高分子化学与物理,2013,硕士.
[6]李庭煦.SNS网站品牌体验对服装品牌忠诚影响的实证研究[D].北京服装学院,服装设计与工程,2012,硕士.
[7]杨乃平.统计数据失真与基层统计工作的完善[D].安徽大学,公共管理,2012,硕士.
[8]咸绪刚.碳材料/导电聚合物纳米复合材料电极电化学行为的研究[D].烟台大学,2014.
[9]韩琳琳.提升小学高年级学生幸福感的对策研究[D].鲁东大学,教育管理（专业学位）,2013,硕士.
[10]尹佳凤.江泽民的农村剩余劳动力转移思想研究[D].曲阜师范大学,马克思主义基本原理,2013,硕士.
[11]李佳.人教版八年级语文教材整合与阅读教学研究[D].内蒙古师范大学,教育（专业学位）,2013,硕士.
[12]魏琪元.论我国对信用证欺诈的认定及其防范对策[D].安徽大学,法律,2013,硕士.
[13]刘瑞琳.手机传播中隐私侵扰的伦理审视[D].东北大学,伦理学,2010,硕士.
[14]冯艳虹.IGBT逆变桥无源无损缓冲电路的研究[D].华北电力大学（北京）,电力电子与电力传动,2004,硕士.
[15]冯锐.运动预处理通过上调GLT-1诱导脑缺血耐受[D].河北医科大学,神经病学,2014,硕士.
[16]张震.冠心病患者介入治疗前后Toll样受体4的动态表达变化及意义[D].广西医科大学,内科学（专业学位）,2013,硕士.
[17]邢建荣.胡柚全果饮品加工关键技术研究[D].中国农业科学院,食品加工与安全（专业学位）,2012,硕士.
[18]黄静惠.从社会伦理角度看语境对言语交际的影响[D].广西师范大学,语言学与应用语言学,2013,硕士.
[19]黄彦军.语言思维视角下高中生英语完形填空解题能力调查分析[D].山东师范大学,学科教学（专业学位）,2013,硕士.
[20]薛英卫,苏奕虹.国外动态[J].工程机械,2001,08:61-62.
[21]冀倩倩.糖原合成酶激酶-3α，β在糖尿病小鼠肾组织中的不同分布及表达[D].华中科技大学,内科学,2013,硕士.
[22]刘守亚.女性企业家性别优势下的柔性管理研究[D].河北大学,企业管理学,2014,硕士.
[23]刘春祥.甲状腺癌细胞显微图像分割研究[D].内蒙古科技大学,计算机应用技术,2013,硕士.
[24]张忠杰.旋流式组合压力喷雾干燥技术研究[D].中国农业大学,2003.
[25]靳卫卫.社会转型期高校思想政治教育信任机制研究[D].浙江大学,思想政治教育,2013,硕士.
[26]王益强.ERP在电力企业财务管理中的应用研究[D].武汉纺织大学,工商管理,2014,硕士.
[27]伏晋.《野草在歌唱》中玛丽悲剧的空间解读[D].湖南师范大学,欧洲语言文学,2013,硕士.
[28]周丽玮.无形资产与企业价值相关性的实证研究[D].河北经贸大学,会计,2014,硕士.
[29]黄虹.成都市政府人力资本投资问题研究[D].西南交通大学,行政管理,2013,硕士.
[30]夏建明,杨俊安,康凯.基于局部稀疏表示和线性鉴别分析的典型相关分析[J].控制与决策,2014,07:1279-1284.
[31]曹伟.行业协会垄断行为的责任制度研究[D].郑州大学,法律（专业学位）,2013,硕士.
[32]毛培春.18种多年生禾草种子萌发期和幼苗期的耐盐性比较研究[D].内蒙古农业大学,草业科学,2004,硕士.
[33]夏栋.电动舵机伺服机构动力学特性研究[D].哈尔滨工业大学,动力机械及工程,2014,硕士.
[34]王佩.明代地方官学生员日常生活研究[D].华中师范大学,教育史,2014,硕士.
[35]张威.国际通信成本对我国进口贸易商品结构的影响研究[D].江西财经大学,国际贸易学,2013,硕士.
[36]查先进,严密.多学科融合对我国情报学教育的影响[J].图书情报知识,2005,06:14-17.
[37]吴通.LTE-A系统中SmallCell干扰协调技术研究[D].北京交通大学,2015.
[38]李金钢,何建平,王廷正.笼养条件下甘肃鼢鼠夏秋季行为活动节律[J].西北大学学报(自然科学版),2003,02:217-222.
[39]戴春锋.基于点表面的尖锐特征绘制及切割[D].上海交通大学,生物医学工程,2013,硕士.
[40]任俊帆.非汉字文化圈留学生第一学期用字研究[D].上海外国语大学,语言学及应用语言学,2013,硕士.
[41]沈国华,黄志球,柳雪涛,张定会.基于数据仓库技术的工程数据管理系统的研究与实现[J].小型微型计算机系统,2004,01:127-130.
[42]李盼盼.碳基水凝胶纳米油墨的合成及其荧光性能[D].上海师范大学,2014.
[43]刘名卓,张琴珠.知识管理的理念对教育知识管理的启示[J].中国电化教育,2003,12:17+19-20.
[44]苏明.金融危机对中国股票价格指数的传导机制及其影响研究[D].山东大学,国民经济学,2014,博士.
[45]史轶男.民国国语运动背景下中华书局出版传播活动研究[D].苏州大学,传播学,2014,硕士.
[46]李刚.煤炭含量智能化检测数据处理系统的设计与应用[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[47]闫伟,张浩,陆剑峰.基于设备故障监控的时间序列模式研究应用[J].计算机应用,2005,07:1584-1586.
[48]张静.海外汉语教师志愿者教学效能感与教学归因研究[D].北京外国语大学,汉语国际教育,2014,硕士.
[49]从洪泉.新时期党政领导干部选拔任用制度的改革与思考[D].中共中央党校,中共党史,2004,硕士.
[50]吴刚,唐杰,李涓子,王克宏.细粒度语义网检索[J].清华大学学报(自然科学版),2005,S1:1865-1872.