基于文本内容的微博突发话题检测技术研究

【摘要】微博的开放性与便捷性,使得微博己经成为了网络舆论传播的一个重要平台。但是微博信息量大,传播速度快,这给网络舆情的收集和管理工作带来了挑战。因此,如何从微博信息流中及时准确地检测出突发话题是当前研究中的一个难点和热点问题。本文对微博突发话题侦测中的两个关键技术：突现主题词和观点词的检测方法展开了研究。其主要工作包括如下三个方面。首先为了提高侦测话题的准确率和召回率,提出了一种基于内容搜索的突现主题词检测方法。以暴发性关键词为线索,借助Lucene检索工具把与暴发性关键词相关的微博文本合并形成一个文本文档,然后结合传统的TF-IDF方法摘取文档中的主题词。实验表明,当检测到的主题词达到八个甚至十个时,准确率和召回率的权衡值F-measure分别为0.87和0.84,其平均F-measure值比基于关联规则的方法提高了13.2%。其次,为了更准确地检测出话题中表达的主要观点,提出了一种基于互信息的观点词检测方法。以大连理工大学的情感词典为基础,训练情感词典,用改进的互信息方法计算主题词与情感词之间的关联程度,并以此来找到与主题词最相关的观点词。对比实验表明,以互信息理论为基础来计算主题词与观点词之间的关联程度,可以更准确的检测出话题中表达的主要观点,观点词检测的准确率和召回率分别为0.72和0.65,其综合评估指标F-measure的值为0.68,比传统的方法提高了约5%。最后在上述提出两种方法的基础之上,实现了一个可在线检测微博突发话题的系统。系统一方面采用了文章中提出的突现主题词检测方法和观点词检测方法,实现了突发话题的检测功能,验证了方法的有效性；另一方面实现了微博内容定位和微博内容搜索功能,使用户能够定位到与突发话题相关的具体微博。本文以微博文本内容为研究对象,提出了基于内容搜索的突现主题词检测方法和基于互信息的观点词检测方法,并且在这两种方法的基础上实现了一个在线的微博突发话题检测系统。本文的研究成果将有助于舆情监察用户更全面更直观的掌握最新的网络舆情,为微博的舆情监察工作带来了便利。
【作者】张文军；
【导师】郑宁；
【作者基本信息】杭州电子科技大学，计算机应用技术，2014，硕士
【关键词】微博；突发；话题；检测；主题词；观点词；

【参考文献】
[1]杜方川.非天然氨基酸定位的酶生物正交固定化研究[D].杭州师范大学,遗传学,2013,硕士.
[2]易洺瑶.高校后勤设施BOT项目定价研究[D].西南交通大学,项目管理,2013,硕士.
[3]刘晓娟,逯乐慧.表面增强拉曼散射基底的设计及其在有机小分子检测中的应用[A].中国物理学会光散射专业委员会.第十六届全国光散射学术会议论文摘要集[C].中国物理学会光散射专业委员会:,2011:1.
[4]张莹.基于灰度投影的电子稳像算法研究[D].华中科技大学,控制理论与控制工程,2013,硕士.
[5]侯铎,刘功鹏,程少华,郑明岁,赵雨相,马忠文,宋文斌,陶国家.横切线液压系统气囊式蓄能器国产化改造[J].钢铁研究.2003(02)
[6]张建宇.具有潜在兽用免疫促进活性的胞壁酰二肽聚合物的合成研究[D].江西农业大学,基础兽医,2012,硕士.
[7]李海林.基于变量相关性的多元时间序列特征表示[J].控制与决策,2015,03:441-447.
[8]夏万利.上市公司发布虚假信息对公司价值影响的实证分析[D].东北财经大学,数量经济学,2003,硕士.
[9]王军.委托执行制度实证研究[D].华东政法大学,法律（专业学位）,2012,硕士.
[10]许小平,陈锦娣.一种多变量广义最小方差自校正控制器[J].自动化学报,1990,02:166-169.
[11]黄现云.基于Android平台电子阅读客户端的设计与实现[D].北京交通大学,2014.
[12]颜培根.玻色—爱因斯坦凝聚体的对称破缺及隧穿动力学[D].吉林大学,原子与分子物理,2013,硕士.
[13]王梓萌.基于稀疏表示的静态人脸表情识别研究[D].西北大学,通信与信息系统,2014,硕士.
[14]魏强.航天企业计量管理改进研究[D].哈尔滨工业大学,管理工程与科学,2014,硕士.
[15]尚君彦.邯郸市社区管理机制研究[D].河北大学,公共管理,2013,硕士.
[16]本刊编辑部.数字地震仪的仪器因素[J].石油地球物理勘探,1975,04:84-90.
[17]矫健.论邓小平群众观及其当代价值[D].沈阳理工大学,马克思主义中国化研究,2013,硕士.
[18]吕伟.船舶运动检测系统设计及运动预报技术研究[D].国防科学技术大学,机械工程,2012,硕士.
[19]赵艳辉.基于消费者的品牌个性塑造[D].吉林大学,企业管理,2004,硕士.
[20]岳远刚.东昆仑南缘三叠系沉积特征及其对阿尼玛卿洋闭合时限的约束[D].西北大学,构造地质学,2014,硕士.
[21]李强.单晶金刚石的研磨与化学机械抛光工艺[D].大连理工大学,机械制造及其自动化,2013,硕士.
[22]孙榕潞.江南少女独有的心灵成长[D].南京大学,戏剧（专业学位）,2013,硕士.
[23]李徽.供应链信息协同绩效评价研究[D].大连理工大学,企业管理,2013,硕士.
[24]慕飞鸿.北京高校建筑砖石艺术形式研究[D].北方工业大学,建筑设计及其理论,2013,硕士.
[25]孙建光.无线Mesh网络QoS保障多径路由协议研究[D].中国矿业大学,信号与信息处理,2014,硕士.
[26]林乐.腹腔镜胆囊切除术前利用256层螺旋CT评估胆囊管及胆囊动脉[D].广州医科大学,影像医学与核医学,2014,硕士.
[27]李成,常向前,郑艳萍.拉扭组合轴圆周表面裂纹应力强度因子仿真[J].农业机械学报.2008(02)
[28]徐溪.低层高密度住宅区景观设计方法研究[D].大连理工大学,美术学,2013,硕士.
[29]王宁.双量子环中双激子和负施主中心杂质体系能态的研究[D].河北师范大学,凝聚态物理,2012,硕士.
[30]吴银娟.新窑煤矿安全文化建设研究[D].西安科技大学,工商管理,2014,硕士.
[31]魏白.《营利性慈善》翻译报告[D].河南科技大学,英语笔译（专业学位）,2014,硕士.
[32]朱玉祥.多普勒天气雷达资料的反演及其在中尺度模式中的四维同化试验[D].南京气象学院,气象学,2004,硕士.
[33]李玉菊,张秋生,谢纪刚.商誉会计的困惑、思考与展望——商誉会计专题学术研讨会观点综述[J].会计研究,2010,08:87-90.
[34]高银银.地铁用直流断路器灭弧方案的研究[D].西南交通大学,电力系统及其自动化,2013,硕士.
[35]周向东.农村初中英语教师语音问题研究[D].华中师范大学,学科教学,2014,硕士.
[36]常冬梅.特发性血小板减少性紫癜中医证候分布规律探讨[D].河南中医学院,中医内科学,2012,硕士.
[37]陈志恒.AK31数控刀架可靠性分析与控制技术研究[D].重庆大学,机械制造及其自动化,2014,硕士.
[38]周威.基于电光外调制的高倍频微波信号光子学生成研究与实验[D].西南交通大学,通信与信息系统,2014,硕士.
[39]姚雪.高星级饭店自助早餐服务质量管理研究[D].浙江大学,2014.
[40]李巧珍.陕甘宁边区的师范教育研究[D].延安大学,中国近现代史,2014,硕士.
[41]贺玲玉.基于关联数据的农业信息资源整合研究[D].华中师范大学,农业推广,2014,硕士.
[42]张文星.城网改造可靠性及经济效益评估方法研究[D].西安理工大学,电气工程,2003,硕士.
[43]胡子星.语言学习网站在英语学习中的作用[D].华中师范大学,学科教学,2013,硕士.
[44]贾蓉.岳麓区幼教教研活动的现状与对策研究[D].湖南师范大学,学前教育（专业学位）,2013,硕士.
[45]韩永剑.Al-Zn-Mg合金电子理论研究[D].广西大学,理论物理,2004,硕士.
[46]吴艳.兴泰物业公司员工激励机制研究[D].天津大学,高级工商管理,2013,硕士.
[47]王锦淳.黄芩茎叶总黄酮对高甘油三酯血清诱导的血管内皮细胞氧化损伤的保护作用及机制研究[D].扬州大学,药理学,2011,硕士.
[48]方原柏.有关皮带秤应用问题的思索[J].冶金自动化,2008,03:55-58+62.
[49]吴江宏.杭州市公安局巡逻指挥系统的设计与实现[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[50]尤慧.基于分布式压缩感知的无线传感器网络层次化数据融合算法研究[D].华东交通大学,计算机软件与理论,2014,硕士.