面向金融领域的分布式垂直搜索引擎研究与实现

【摘要】随着近年来电子商务、社会化网络、移动互联网以及智能化技术的发展，互联网上的信息呈现出爆炸性增长的态势，通用搜索引擎的检索结果出现出多、杂、乱的现象。并且用户对搜索引擎的要求也不再局限于仅为其提供相关的网页，而是期望搜索引擎能够给出某领域的深层次知识。然而，世界几大通用搜索引擎巨头无法涵盖如此众多领域内的搜索市场。因此，在未来中小型机构提供的领域化、专业化的垂直搜索服务必将有很大的应用价值。中小型金融机构受其经济能力和搜索方面技术实力的限制，其信息检索服务还停留在提供存储在数据库中的结构化信息的落后阶段。因此，如何利用现有的技术框架提升中小型机构提供高质量垂直搜索服务的能力是亟待解决的问题。本文提出了使用Hadoop开源分布式存储计算平台基于Nutch插件机制构建中小型机构垂直搜索引擎的技术方案。本文详细介绍了Hadoop平台相关技术的原理和优势，对Nutch插件机制进行了着重研究，分析了目前常见的领域聚焦算法和常见的中文分词组件的特点，介绍了常见的网页特征词提取算法。设计并实现了基于Nutch插件机制的金融领域聚焦爬虫和离线的关键词相关词语发现模块。利用3台PC机搭建了一个完整的能提供金融领域信息检索服务的微型搜索引擎。实验结果证明，该方案具备一定的可行性和实际的应用价值。
【作者】宋鸿浩；
【导师】岳厚光；
【作者基本信息】山东财经大学，计算机应用技术，2014，硕士
【关键词】金融垂直搜索引擎；Hadoop平台；Nutch框架；聚焦爬虫；特征词提取；

【参考文献】
[1]罗国宏,谢永珍.基于做市商制度的排污权市场交易研究[J].山东大学学报(哲学社会科学版),2014,04:62-73.
[2]傅恒倩.中学英语教科书语篇概念意义的多模态话语分析[D].浙江工商大学,外国语言学及应用语言学,2013,硕士.
[3]王育红.S公司财务战略研究[D].四川大学,工商管理,2003,硕士.
[4]邓集祥,陈武晖,贺建明.应用模态级数3阶解析解分析大干扰低频振荡机理[J].电力系统自动化,2007,22:27-30.
[5]贾楠.集群中小企业创新孵化网络的构建与培育研究[D].大连理工大学,技术经济及管理,2013,硕士.
[6]周培培.一类负梯度方向引导的信赖域算法[D].河北大学,应用数学,2014,硕士.
[7]李岩.论我国鉴定意见采信制度的完善[D].青岛大学,诉讼法,2013,硕士.
[8]马晗清.柴油机微粒捕集器再生系统建模和控制策略研究[D].清华大学,动力工程及工程热物理,2013,硕士.
[9]刘华.北京市高级中学形体课开设的研究[D].北京体育大学,运动训练,2013,硕士.
[10]连绥仁.关于自动增益控制系统静态特性计算的一个注记[J].自动化学报,1990,02:183-185.
[11]王庆山.天津石化产业低碳化发展路径与机制研究[D].天津理工大学,管理科学与工程,2013,硕士.
[12]杨帅部.关于高校技巧啦啦操运动队进一步发展的影响因素分析[D].南京体育学院,体育教育训练学,2012,硕士.
[13]祁睿.雍正年间云贵川地区人口贩卖与整饬研究[D].西北民族大学,专门史,2012,硕士.
[14]张文.信息化自动测试系统软件开发[D].哈尔滨工业大学,仪器科学与技术,2013,硕士.
[15]王冕.试论凤纹在现代标志设计中的应用[D].武汉纺织大学,艺术设计学,2013,硕士.
[16]代兴龙.协同提高冬小麦籽粒产量和氮素利用率的群体构建途径研究[D].山东农业大学,作物栽培学与耕作学,2014,博士.
[17]王伟.侦查阶段犯罪嫌疑人人权保障制度分析[D].黑龙江大学,法律,2013,硕士.
[18]崔燕.TRIPs协议的弹性条款研究[D].苏州大学,法律（专业学位）,2013,硕士.
[19]王保义,于晓波.电力工作流中基于组织与任务的访问控制模型[J].电力系统自动化,2007,04:51-55+100.
[20]郭东超.复杂网络拓扑结构的鲁棒性与动力学过程研究[D].北京交通大学,信号与信息处理,2014,博士.
[21]崔文辉.试论鲁迅报刊实践和新闻学说[D].河北经贸大学,新闻学,2012,硕士.
[22]张维存.参数不确定离散随机系统的加权多模型自适应控制[J].自动化学报.
[23]谷中魁.形神兼备—水墨画气韵与用笔的再认识[D].河北师范大学,美术学,2012,硕士.
[24]张燕.基于中心城区旅游辐射效应的县域生态旅游开发研究[D].扬州大学,旅游管理,2011,硕士.
[25]林心南.高炉计算机系统安装与调试[J].冶金自动化,1986,04:7-12+62.
[26]刘兰兰.中频反应磁控溅射法制备AlN薄膜[D].华南理工大学,材料工程,2012,硕士.
[27]曹聿明.地震道的奇性特征与分辨率[J].石油地球物理勘探,1995,04:480-486+572.
[28]李欢,王士同.基于SVM和多观测样本的相似不完整数据分类[J].控制与决策.
[29]孙燕.基于投资战略的企业纳税筹划研究[D].西安建筑科技大学,会计学,2013,硕士.
[30]张维.HDPE注塑制品环境应力开裂行为研究[D].郑州大学,材料加工工程,2013,硕士.
[31]王竣.鱼雷罐车通过小半径曲线的动力学性能分析[D].西南交通大学,车辆工程,2014,硕士.
[32]鲍克.基于改进免疫算法的电阻炉温度控制系统[D].浙江理工大学,控制理论与控制工程,2013,硕士.
[33]蒋长安,黄昌平,郑太华.搞好老区气田管理的基本经验——对川南采气六队调查的报告[J].天然气工业.1991(04)
[34]陈国红.数据库技术及其发展趋势[J].纺织高校基础科学学报,2001,03:244-248.
[35]张丽丽.基于移动Agent系统的安全技术研究[D].南京航空航天大学,交通信息工程及控制,2004,硕士.
[36]张粒子,扶柠柠,王春丽,王涛,周献飞.基于回归分析的电网运行维护费合理性评估[J].电力系统自动化,2014,13:140-144.
[37]宁滨.行业特色型高校产学联合人才培养模式和机制的思考[J].高等工程教育研究,2011,01:6-10+36.
[38]代振利.第三人侵权中的安全保障义务[D].西南政法大学,民商法学（专业学位）,2012,硕士.
[39]王东.基于事件网络的话题跟踪研究[D].上海大学,计算机应用技术,2013,硕士.
[40]王璐.智慧城市建设成熟度评价研究[D].哈尔滨工业大学,管理科学与工程,2013,硕士.
[41]苏峰.利用固定化生物—化学反应器脱除硫化氢[D].兰州大学,微生物学,2012,硕士.
[42]廖正俭.黄芩苷对小鼠癫痫持续状态后海马神经细胞的保护作用及其机制研究[D].福建医科大学,外科学,2014,硕士.
[43]陈慧.车辆保险若干疑难法律问题研究[D].南昌大学,法律（专业学位）,2012,硕士.
[44]崔鹏.国有垄断行业生产效率的实证研究[D].宁夏大学,政治经济学,2014,硕士.
[45]姚行之.从出入境管理看中国双重国籍处理制度[D].宁波大学,国际法（专业学位）,2014,硕士.
[46]杨自厚.神经网络技术及其在钢铁工业中的应用──第2讲　前向人工神经网络[J].冶金自动化,1996,05:46-50+53.
[47]许嫔.石墨烯/聚苯胺复合膜修饰电极对生物分子的测定研究[D].河北科技大学,2014.
[48]郭晓明,贺益康,何奔腾.双馈异步风力发电机开关频率恒定的直接功率控制[J].电力系统自动化,2008,01:61-65.
[49]华丽英.基于差异教育理念下小学数学随堂卡的实践研究[D].杭州师范大学,学科教学（专业学位）,2012,硕士.
[50]黄娟娟.基于KNN的文本分类特征选择与分类算法的研究与改进[D].厦门大学,计算机软件与理论,2014,硕士.