概率数据检索、挖掘及多层文本分类问题的研究

【摘要】数据检索与挖掘是一门不断发展的综合性交叉学科,涉及数据的存储、索引、检索、查询以及分析等多个方面。本文主要针对其中的三个重要问题进行了研究,主要内容和结论可以归纳如下：第一,研究针对概率空间数据的文本检索技术。不间断地跟踪、分析了Twitter数据在地理位置上和时间上的分布特征,发现存在大量空间文本检索的请求。从2011年11月至2012年5月,连续地收集带有地理位置标签的Twitter数据,分析发现存在大量位置不确定性,严重影响了空间文本检索结果的准确度和NDCG度量。研究旨在获得文本语义相关性强、空间可信度高的信息。首先,基于可能世界语义模型,定义top-(c,k)检索模式,以结合文本语义相关度和空间可信度两方面的语义。其次,分析现有的空间文本数据索引结构,利用IRTree混合索引结构索引概率空间文本数据,提出了文本相似度得分和空间可信度得分的增量式计算算法(ISA),按文本相似度得分递减的顺序逐个遍历空间文本对象。然后,设计了参数化的概率排序算法PRankc,与ISA算法相互配合,在线性时间内计算所有空间文本对象的top-c可信度；给出了优化策略,避免PRankc算法遍历全部空间文本对象；设计了统计模型估计PRankc算法中参数c的合理取值。最后,在真实的Twitter数据集上进行实验,实验结果表明,与其他检索方式相比,top-(c,k)检索模式能够获得更好的检索质量,并且采用优化策略的PRankc算法能够快速的完成检索任务。第二,研究针对概率事务数据的频繁项集挖掘技术。分析概率事务数据上频繁项集的语义,发现了基于期望值定义的期望频繁项集带来的语义缺失问题,提出了基于可能世界语义模型的概率频繁项集的概念,并考察了概率频繁项集的Apriori性质。设计了多项式时间的候选频繁项集的判定算法。分析确定环境下挖掘频繁项集的经典的Apriori算法,给出了概率频繁项集挖掘算法P-Apriori,按可信度递减地顺序、增量式地返回概率频繁项集。在概率事务数据上,对P-Apriori算法的项目概率分布敏感性进行测试,并测试了各种参数下挖掘算法的性能。实验表明,在各种挖掘参数下,P-Apriori算法均能在理想的时间和空间内获得挖掘结果,算法执行时间大体上与数据集规模呈线性关系。第三,开展了多层文本分类技术的研究,分析多层文本分类技术面临的两个关键问题：数据偏斜问题和错误传播问题。提出了基于路径的语义向量的概念,用于理解概念树结构中类别的准确语义。基于类别的路径语义向量表示和文本相似性度量,设计训练样本增强策略,为训练样本稀疏的类别收集潜在的、可靠的训练样本。考察了概念树和训练样本集中的先验信息,提出了利用类别出现先验信息减少错误传播,并引入类别同现先验信息,纠正发生在高层的分类错误。收集、整理真实的开放目录项目(ODP)数据,并在其上进行实验,验证方法的可行性和有效性。实验结果表明,在采用稀疏类别增强策略和错误传播纠正策略时,在Mi-F1度量下,贝叶斯分类器和支持向量机的性能均有很大的提高。
【作者】高峰；
【导师】钟亦平；
【作者基本信息】复旦大学，计算机应用技术，2013，博士
【关键词】概率数据；空间数据；文本检索；频繁项集；文本分类；

【参考文献】
[1]张启森.网络时代大学生社会心态的把握和引导[D].中北大学,思想政治教育,2014,硕士.
[2]朱汉卫.数字化设计院的IT规划[J].中国勘察设计,2005,09:49-51.
[3]郑艇.PARP-1依赖性程序性细胞死亡（Parthanatos）在布比卡因致SH-SY5Y细胞损伤中作用的研究[D].南方医科大学,麻醉学,2014,博士.
[4]陈琳.新疆冬季冰雪运动发展研究[D].新疆师范大学,体育教育训练学,2013,硕士.
[5].2013第六届中国(嵊州)电机展览会暨高新技术成果交易会10月23日至25日隆重举行[J].微电机,2013,10:93.
[6]李银华.高三英语写作错误分析及其教学启示[D].华中师范大学,学科教学,2013,硕士.
[7]崔龙.基于HART总线的气体报警仪的硬件实现[D].杭州电子科技大学,电路与系统,2014,硕士.
[8]闫洁.影响我国男子跳高运动发展的因素及对策研究[D].西北师范大学,2005.
[9]张明安.基于WebGIS的县域测土配方施肥系统的研究与建立[D].安徽农业大学,计算机应用技术,2011,硕士.
[10]李晓南,刘丰,郑绳楦.一种新型光纤电压互感器的设计[J].电力系统自动化,2006,06:74-78.
[11]钦骏.无独立请求权第三人制度之我见[D].中国政法大学,诉讼法学,2004,硕士.
[12]战鑫.基于公共交通系统的路由算法与缓存管理策略的设计与实现[D].内蒙古大学,计算机技术,2014,硕士.
[13]岂伟楠.小型四旋翼飞行器导航与控制系统研究[D].内蒙古科技大学,控制理论与控制工程,2013,硕士.
[14]苏靖.功能化桥联聚倍半硅氧烷的设计合成及其金属配位聚合物的性能研究[D].杭州师范大学,高分子化学与物理,2013,硕士.
[15]侯敬军.基于Web服务的分布式数据挖掘系统研究[D].华中科技大学,2004.
[16]吴文婉.中国北方地区裴李岗时代生业经济研究[D].山东大学,考古学及博物馆学,2014,博士.
[17]吴晓晓,李福山,吴薇,郭太良.基于石墨烯/PEDOT∶PSS叠层薄膜的柔性OLED器件[J].发光学报,2014,04:486-490.
[18]王胜利.一汽大众捷达品牌大客户营销策略研究[D].吉林大学,工商管理,2012,硕士.
[19]李海涛.切换布尔网络的分析、控制及应用[D].山东大学,控制理论与控制工程,2014,博士.
[20]李莹雪.时间触发AFDX终端系统的虚拟链路层调度算法研究[D].哈尔滨工业大学,电气工程,2014,硕士.
[21]金玉宝.混合MIMO-相控阵雷达的子阵级阵列结构优化[D].哈尔滨工业大学,信息与通信工程,2014,硕士.
[22]田笑.论当代艺术中的怪诞[D].辽宁大学,文艺学,2012,硕士.
[23]高坤.哥德尔的平行论数学哲学[D].复旦大学,逻辑学,2012,硕士.
[24]唐意.广告干预对消费者品牌回避的影响[D].宁波大学,应用心理学,2013,硕士.
[25]金素素.生物质炭施用对土壤CO_2释放和碳截留影响的研究[D].陕西科技大学,环境工程,2013,硕士.
[26]陈大泉.我国电信设备制造企业客户关系管理应用研究[D].天津大学,工商企业管理,2013,硕士.
[27]高军锋.安塞油田G52井区长10_1层段沉积储层特征研究[D].西北大学,矿物学、岩石学、矿床学,2014,硕士.
[28]蔡涵鹏,贺振华,李亚林,何光明,邹文,刘开元,龙浩.宽频带地震数据瞬时谱分解及快捷解释方法[J].石油地球物理勘探,2014,05:932-939+821.
[29]马国雄.软土地基中市政箱式隧道施工技术[D].浙江大学,建筑与土木工程,2004,硕士.
[30]龚婵娟.杭州市空气微生物群落结构与浓度分布特征研究[D].浙江工商大学,环境工程,2014,硕士.
[31]赵东亮.中国铝业河南分公司激励机制研究与设计[D].中南大学,工商管理,2004,硕士.
[32]徐超.外压无折边斜锥壳容器临界压力计算方法的研究[D].浙江工业大学,流体机械及工程,2012,硕士.
[33]俞徐斌.牛虻和家蝇螺原体的生物学特性及蜜蜂螺原体致病相关因子的探索[D].南京农业大学,微生物学,2013,硕士.
[34]刘泽.石墨（烯）纳米力学与器件的实验研究[D].清华大学,2011.
[35]汪根华.大功率智能型充电机的研究与应用[D].河海大学,控制理论与控制工程,2004,硕士.
[36]蔡颖.编织形态建筑的建构方式研究[D].浙江大学,2013.
[37]唐荷.国产电影之衍生品产业链设计和发展研究[D].上海外国语大学,工商管理,2012,硕士.
[38]苏銮.考虑客户重要度的软时间窗车辆路径优化问题研究[D].长安大学,载运工具运用工程,2014,硕士.
[39]马尊华.小学教育工会职能执行中的问题及对策研究[D].鲁东大学,教育管理（专业学位）,2013,硕士.
[40]张光伟.赣南脐橙叶片生长信息光谱诊断方法[D].华东交通大学,机械电子工程,2014,硕士.
[41]胡玥.义务教育均衡发展背景下教师资源配置研究[D].淮北师范大学,教育经济与管理,2014,硕士.
[42]阎潇毅.动漫创意产业市场营销策略研究[D].中国地质大学（北京）,工商管理,2014,硕士.
[43]张羽.基于生理测量的疲劳与矿工不安全行为关系研究[D].西安科技大学,安全技术及工程,2014,硕士.
[44]李卫坤.离子液体在萃取分离乙醇—水中的绿色应用[D].浙江工业大学,2008.
[45]赵晓云.Si衬底GaN外延层的MOCVD生长研究[D].西安电子科技大学,材料物理与化学,2013,硕士.
[46]李媛.会计职业判断研究[D].山东财经大学,会计学,2013,硕士.
[47]王岩.北京城市圈层结构研究[J].中国商贸,2014,23:28-30.
[48]韩占朋.基于全球信息栅格的对空防御智能指挥控制系统研究[D].南京航空航天大学,武器系统与运用工程,2013,硕士.
[49]吴引引.中越边境地区小学寄宿生行为习惯养成教育研究[D].西南大学,民族教育学,2014,硕士.
[50]高俊生.小学数学教师“图形与几何”领域疑难问题分析[D].东北师范大学,教育,2012,硕士.