基于排序主题模型的自动文摘及评价系统

【摘要】随着时代的发展与进步,计算机及互联网成为人们生活中必不可少的一部分,大量信息随着互联网技术的迅猛发展以电子文本的形式出现在人们面前。如何快速、准确地从大量无结构化的文本中获取人们需要的信息成为研究的热点和难点。人们越来越希望用简练的文字表达大量相关文本的主要内容,从而减少获取有用信息的时间。自动文摘技术就是解决这一问题的有效工具。主题模型在自动文摘中被广泛应用,通过得到的主题分布抽取原文中句子形成文摘,但文本集的主题分布之间是并列关系,因而在形成文摘时也没有相应的重要性排序。本文针对主题模型中得到的主题分布没有重要性排序这一问题,将排序算法与主题模型相结合,构建排序主题模型,进而有效地提高文摘质量。具体工作如下：1.基于特征选择的排序主题模型。本文采用的特征选择方法是特征相似度算法,根据主题分布计算主题间的最大压缩指数,以此去除冗余计算主题权重对主题进行排序,得到有序的主题分布来对文摘句进行抽取。在DUC2002数据集上进行对比实验,证明了特征相似度对提高摘要质量的有效性。2.基于互信息最大生成树的排序主题模型。采用互信息最大生成树算法,根据主题分布计算主题间的互信息,然后构建互信息最大生成树,通过计算权重对主题进行排序,得到有序的主题分布,进而指导文摘句抽取。在DUC2002数据集上进行实验,对算法进行验证,实验结果证明了互信息最大生成树算法对提高摘要质量的有效性。3.运用众包策略来对系统进行人工评价。考虑到人工评价的成本及平台推广,本文使用了微信公众平台对文摘进行评价。同时考虑到微信在大学生中应用较为广泛,因此本实验使用的数据集是大学英语四六级阅读,既有一定的应用性又利于微信这一平台的推广。
【作者】徐宇婷；
【导师】王春立；傅英亮；
【作者基本信息】大连海事大学，计算机技术，2014，硕士
【关键词】自动文摘；主题模型；排序算法；文摘评价；微信公众平台；

【参考文献】
[1]冯蓉.老人和残疾人智能家庭的算法设计和实现[D].浙江大学,电子信息技术及仪器,2013,硕士.
[2]王成山,李鹏.分布式发电、微网与智能配电网的发展与挑战[J].电力系统自动化,2010,02:10-14+23.
[3]王艳萍.当代中国的生存哲学[D].安徽师范大学,马克思主义哲学,2004,硕士.
[4]王宁.图像的阴影检测与去除算法研究[D].北京交通大学,2008.
[5]张怀宇.MRI在原发性直肠癌术前T分期中诊断价值的临床分析[D].吉林大学,外科学,2014,硕士.
[6]张浩靖.论我国行政程序价值实现的基础与路径[D].辽宁大学,法律,2012,硕士.
[7]申玲.传统节日文化在初中生思想品德培育中的作用研究[D].湖南师范大学,学科教学（专业学位）,2013,硕士.
[8]何超兰.中国环境下的语言输出与第二语言习得研究[D].湖南师范大学,英语语言文学,2003,硕士.
[9]于欣.上市公司股权激励与盈余管理的实证研究[D].吉林财经大学,会计学,2014,硕士.
[10]余欢.陕西省金融生态系统评价[D].兰州商学院,区域经济学,2014,硕士.
[11]王秉湖.零售业中的ECR和POS产品应用及其选型(3)[J].信息与电脑.1994(05)
[12]郑阿静.春秋时期晋国军事思想研究[D].山西师范大学,专门史,2013,硕士.
[13]胡建辉,邹继斌.具有不确定参数永磁同步电动机的自适应反步控制[J].控制与决策,2006,11:1264-1269.
[14]尹红燕.色诺芬的史学思想探微[D].内蒙古大学,史学理论及史学史,2014,硕士.
[15]李宁.玉筋鱼和赤魟的分子系统地理学研究[D].中国海洋大学,渔业资源,2014,博士.
[16]颜廷斐.过敏性皮炎患者IL-4和IL-13以及EBV抗体的检测及临床意义[D].青岛大学,病原生物学,2013,硕士.
[17]王鹤.汲取优秀传统文化构建现代民营企业文化研究[D].河北科技大学,思想政治教育,2013,硕士.
[18]徐超.三维动画与平面动画的艺术特征对比研究[J].品牌(下半月),2015,02:127.
[19]刘应霞.地役权制度研究[D].新疆师范大学,民商法学,2013,硕士.
[20]杨囡.企业STI/DUI学习对技术创新绩效影响[D].浙江理工大学,管理科学与工程,2013,硕士.
[21]卢继平,黎颖,李健,薛毅,曾青毅.行波法与阻抗法结合的综合单端故障测距新方法[J].电力系统自动化,2007,23:65-69.
[22]王朋.大型挖泥船用回转支承轴承性能研究[D].浙江海洋学院,农业推广（专业学位）,2013,硕士.
[23]王美兰,申萍,聂晓波,王立德,严翔.UIC网关用户服务功能的设计与实现[J].机车电传动,2014,05:30-33+58.
[24]唐文来,彭倚天,倪中华.基于有限元分析的石墨烯弹性性能和振动特性[J].东南大学学报(自然科学版),2013,02:345-349.
[25]汪建华,徐一军.电信网同步运行的维护管理[J].电信网技术.2005(03)
[26]郑金腾.新时期加强企业的物资管理刍议[J].煤炭企业管理.2002(06)
[27]熊月霞.太湖县工业化和信息化深度融合评价研究[D].安徽大学,行政管理,2014,硕士.
[28]刘凯宇.高墩大跨PC连续刚构桥荷载试验评价关键参数研究[D].长安大学,桥梁与隧道工程,2014,硕士.
[29]王直杰,方建安,邵世煌.一种采用增强式学习的模糊控制系统研究[J].控制与决策,1997,02:188-191.
[30]蔡玉喜.有机配体调控Ni-B非晶态合金制备、晶化与电化学性能研究[D].河北科技大学,环境科学与工程,2013,硕士.
[31]代冬梅.天然产物混合物结构鉴定的MS与NMR平行动态谱和正交相关谱新型分析方法研究[D].中国协和医科大学,2008.
[32]陈青青.基于专家调查法：专家学者对海外中国大学生的跨文化能力评价研究[D].华中科技大学,外国语学院英语语言文学,2013,硕士.
[33]张力.高速铁路陡坡地基路堤桩板墙受力特性监测分析[D].西南交通大学,建筑与土木工程,2014,硕士.
[34]田素馨.二型糖尿病患者血糖值稳定影响因素探讨[D].吉林大学,营养与食品卫生学,2012,硕士.
[35]解超.宽带路由器嵌入式操作系统的设计与实现[D].浙江大学,计算机应用,2004,硕士.
[36]罗曼.新结构复合半导体光催化剂的可控合成与性能研究[D].中南民族大学,物理化学,2013,硕士.
[37]刘梅琴.永定客家土楼围合形态的环境适应性衍变研究[D].华侨大学,建筑学,2014,硕士.
[38]华一品.T型接头焊接残余应力数值模拟及强度分析[D].大连理工大学,2009.
[39]黄德才,张平.公共交货期窗口下提前/拖期问题的多机调度算法[J].控制与决策,1999,S1:569-572.
[40]刘悦.京东商城与聚美优品的化妆品营销策略的比较研究[D].清华大学,工商管理,2013,硕士.
[41]高芳.临床医疗活动中知识服务的实现[J].医学情报工作,2005,02:91-92.
[42]陈伟.三种TWIN-BLOCK矫正器病人满意度影响因素的对比性研究[D].青岛大学,口腔正畸学,2003,硕士.
[43]程珂.基于J2EE架构统一用户管理系统的设计与实现[D].山东大学,计算机技术（专业学位）,2012,硕士.
[44]桑雪莲.MSI-99m基因转化油菜及其转基因植株抗病性分析[D].南京农业大学,细胞生物学,2013,硕士.
[45]刘迎松.四川盆地多种能源矿产富集规律初探[D].成都理工大学,地质学,2013,硕士.
[46]李一菲.环境内分泌干扰物2，4-二氯苯氧乙酸、阿特拉津对血液中正常性激素干扰的研究[D].山西大学,环境科学,2004,硕士.
[47]曹雯瑜.我国大学生专业选择与高等教育公平研究[D].安徽大学,高等教育学,2013,硕士.
[48]范锡波.离散-连续混合系统输出公式——Mason公式的推广应用[J].自动化学报,1985,04:433-437.
[49]陈曰怀清.面向越南学生汉语教材的几点思考[D].湖南师范大学,汉语国际教育（专业学位）,2013,硕士.
[50]AleskerovaYulia（清悦）.Negotiations on Construction of Russia-China Oil-pipe;Study Case: the Construction of Russian-China Oil-pipe[D].外交学院,国际关系,2014,硕士.