基于网络评论的话题挖掘

【摘要】随着移动互联网的快速发展，我们逐渐步入大数据时代，越来越多的人可以将自己的观点、心情等信息发布到网络平台中。评论中蕴含有很大的信息量，商品评论可以分析得出评论者对商品的购买表示值得还是不值得；视频的评论可以反映观看者对于视频的态度或者情感表达；博文的评论可以反映评论者对博文的观点以及对博主的情感表达。通过分析评论，可以了解目标产品的市场情况、舆论热点的形成过程、人们的消费习惯等信息，对个人、企业或政府都具有重要的理论意义和现实意义。本文提出了基于中文词汇相似度的有效评论的提取方法。由于评论与报纸、杂志等媒体不同，属于短文本，语法不严谨，并且使用网络用语、口语、不规则用语等特点，使得评论中的信息变得很复杂。为了能更精确地提取评论中的信息，我们需要对其进行预处理，对评论进行正确分类。我们将评论分为有效评论、情感评论、垃圾评论三类：1）使用规则简单地过滤垃圾评论；2）基于HowNet的中文词语相关性计算评论的空间向量来自适应识别有效评论；3）采用统计学习方法计算评论在正面空间和反面空间的语义倾向性，从而实现对评论的褒贬倾向性判断。本文提出了基于LDA的新闻评论的话题挖掘。评论话题挖掘的一个巨大挑战是每一条评论都由不同的人发表，每条评论比较简短、信息量较少，错别字、网络词汇使用较多，所有评论包含话题信息广泛。每一条评论包含评论者从某一个角度对事件的一个态度，和其他评论没有相关性，因此可以看作一篇简短的文档。但是评论又围绕事件做出描述，可以将所有评论进行主题聚类，使用户可以轻松方便地知道其他用户关注事件的各个方面。我们使用基于LDA主题模型生成事件评论中的主题，并使用维基百科概念表示评论中的特征词形成评论的空间向量，对其进行k中心点聚类，生成主题簇并展示评论。本文从文本评论中信息挖掘的紧迫性入手，分析评论的语言特性进行垃圾评论过滤，研究短评论的文本相似度，并对有效评论进行话题聚类，挖掘评论中蕴含的有趣知识，阐述了本课题研究的必要性和合理性。
【作者】沈幸峰；
【导师】姜明；
【作者基本信息】杭州电子科技大学，计算机应用技术，2014，硕士
【关键词】话题挖掘；垃圾评论；LDA；相似度；维基百科；

【参考文献】
[1]王素珍.京郊生态村可持续发展管理研究——以怀柔北宅村为例[D].中国农业大学,种植,2004,硕士.
[2]王一旭,吴重庆,李政勇,华勇.铌酸锂偏振编码器的偏振稳定性研究[J].光学学报,2014,09:79-85.
[3]赵迪.数字南水北调总体设计研究[D].河北师范大学,人文地理学,2004,硕士.
[4]马文景.论“隐含作者”对凯特·肖邦短篇小说主题多样性的作用[D].鲁东大学,英语语言文学,2014,硕士.
[5]张琳霞.基于供应链集成的管理信息系统的研究[D].西安理工大学,2004.
[6]王婧.泗州古汴风貌区景观的规划研究与实践[D].西北农林科技大学,风景园林,2012,硕士.
[7]刘尚刚.养育风格、道德认同与心理距离的关系研究[D].曲阜师范大学,应用心理（专业学位）,2013,硕士.
[8]韩耀顺.摩托车座垫底板的有限元分析及优化设计[D].重庆大学,仪器科学与技术,2014,硕士.
[9]雅茹.蒙古文网络传播研究[D].内蒙古大学,新闻学,2014,硕士.
[10]徐建国.抗战时期晋冀鲁豫边区解决“三农”问题研究[D].河北师范大学,中国近现代史,2004,硕士.
[11]林舜江,李欣然,刘杨华,罗安,金群,刘艳阳,陈辉华,唐外文.电力负荷动特性分类方法研究[J].电力系统自动化,2005,22:38-43.
[12]贾迅.我国中小学网络课程评价指标体系研究[D].淮北师范大学,教育经济与管理,2013,硕士.
[13]李铁阳.山西省煤炭运输通道布局研究[D].大连海事大学,物流工程,2014,硕士.
[14]黄荣海.微生物燃料电池电能采集系统的研究[D].华侨大学,物理电子学,2014,硕士.
[15]宁军楠.洛川黄土剖面地层CBR值分布规律研究[D].长安大学,交通运输工程（专业学位）,2014,硕士.
[16]曹丽.基于CT图像的肺结节检测方法研究[D].沈阳工业大学,计算机应用技术,2013,硕士.
[17]何瑞.公司捐赠制度研究[D].甘肃政法学院,民商法学,2011,硕士.
[18]张静.下丘脑室旁核Ghrelin对大鼠胃运动的中枢调节作用与相关神经肽类神经元对中枢Ghrelin作用的表达特点[D].青岛大学,生理学,2004,硕士.
[19]张文武.地方出入境部门社会管理创新研究[D].西南交通大学,公共管理（专业学位）,2012,硕士.
[20]时珊珊,鲁宗相,闵勇,王阳.微电网孤网运行时的频率特性分析[J].电力系统自动化,2011,09:36-41.
[21]鄂月胜.农作物种植面积遥感监测系统设计与实现[D].湖北大学,地图学与地理信息系统,2011,硕士.
[22]唐楠.中职学校学前教育专业课程设置研究[D].广东技术师范学院,职业技术教育学,2014,硕士.
[23]杨红.改性技术用于改善中药浸膏粉吸湿性的研究[D].成都中医药大学,药剂学,2012,硕士.
[24]张勤峰.军校学员人格倾向和社会支持与应付方式选择之间关系的研究[D].华中师范大学,基础心理学,2003,硕士.
[25]吴军.MUC1、E-cad和β-cat蛋白表达与胃黏膜不典型增生演变及胃癌病理关系的临床研究[D].安徽医科大学,内科学,2004,硕士.
[26]楼丰泽.论我国惩罚性赔偿制度适用范围的扩大[D].吉林大学,法律,2014,硕士.
[27]武妍.体外神经元网络4-AP痫性模型建立及能量代谢特征研究[D].中南大学,神经病学,2014,博士.
[28]苑圆.商业银行防范信贷欺诈问题研究[D].吉林大学,高级管理人员工商管理,2013,硕士.
[29]杨柳.电针的抗抑郁作用及其促海马神经干细胞增殖的相关机制[D].复旦大学,中西医结合基础,2012,博士.
[30]李瑛.临时名量词及其对外汉语教学策略研究[D].湖南大学,汉语国际教育,2013,硕士.
[31]马亚峰.活性粉末混凝土（RPC200）单轴受压本构关系研究[D].北京交通大学,2006.
[32]文璐.我国会计师事务所合并对审计质量的影响研究[D].武汉科技大学,会计学,2012,硕士.
[33]史鸿鑫,何杰,赵琴琴,武宏科,项菊萍,沈海民.全氟壬烯聚甘油醚的制备与表面张力[J].化工生产与技术,2013,01:1-5+69.
[34]龙博.基于博弈论视角的“体育、艺术2+1项目”实现路径研究[D].湖南师范大学,体育人文社会学,2014,硕士.
[35]邵文宗.经济增长与国防支出之间的关系：理论与实证[D].安徽大学,财政学,2013,硕士.
[36]黄玮.广州市居民社区卫生服务满意度调查研究[D].广东药学院,流行病与卫生统计学,2012,硕士.
[37]郑霞.不同信息框架下物价变化对通胀感知的影响[D].宁波大学,应用心理学,2013,硕士.
[38]任庆昌.一种多变量过程辨识方法及其实现[J].控制与决策,1995,05:401-406.
[39]吴竞.保险监管行政处罚效果的实证研究[D].河北大学,法律（专业学位）,2014,硕士.
[40]崔恩昊.从芭芭拉·皮姆的《秋日四重奏》看身体视角中的老年女性身份建构[D].华中师范大学,英语语言文学,2014,硕士.
[41]李春.海上打桩过程动态监测与分析[D].天津大学,船舶与海洋结构物设计制造,2013,硕士.
[42]张莹.长江内河小型LNG集装箱船航线优化设置研究[D].大连海事大学,交通运输规划与管理,2013,硕士.
[43]杨军.四川成渝高速公路公司能源项目后评价[D].西南财经大学,工商管理,2004,硕士.
[44]杨洋.城市污水厂A~2/O工艺效能优化与应用研究[D].哈尔滨工业大学,市政工程,2013,硕士.
[45]徐朝哲.含芳基丙烯腈及乙烯基喹啉结构单元的噻吩衍生物的合成及发光性质研究[D].浙江大学,有机化学,2013,硕士.
[46]毛向阳.论我国地方立法听证制度的构建[D].吉林大学,法律,2004,硕士.
[47]李涛.河北省重要自然湿地退化与关联因子研究[D].河北师范大学,地图学与地理信息系统,2013,硕士.
[48]王晓鹏.现当代油画中的“丑”艺术研究[D].西南大学,美术学,2014,硕士.
[49]孙育新.尼古丁对溃疡性结肠炎疗效的meta分析[D].福建医科大学,内科学,2014,硕士.
[50]卢頔,范国梁,易建强.系统性能极限理论的回顾和展望[J].自动化学报,2011,01:1-10.