基于Nutch的食品安全信息垂直搜索引擎研究

【摘要】互联网信息过载导致人们越来越倚重搜索引擎，面向特定领域或学科的垂直搜索引擎是搜索技术的细化和拓展，它针对特定用户提供垂直搜索。当前在食品安全领域，食品安全信息的获取基本靠百度谷歌等通用搜索引擎查询，无法满足用户对于快速、准确查找信息的需求。针对食品安全主题为用户提供查询的相关研究还不是很多。本文针对通用搜索引擎不能满足用户对于食品安全信息领域的问题，研究设计基于食品安全信息主题的垂直搜索引擎。本文针对食品安全信息主题，做了如下研究和创新：（1）网页排序算法是搜索引擎好坏的关键，搜索引擎的结果排序算法是从杂乱无章的海量数据库中把与查询词主题相关的页面按权威度排序，帮助用户快速找到所需信息。开源搜索引擎Nutch只实现了一个基本的综合排序模型，不能满足专业用户对于特定领域的需求。本文改进了PageRank算法并把改进后的算法加入到Nutch的排序模型之中，使其更具主题倾向性。算法的改进包括：根据出链站点的不同对权值进行差异化分配；加入时间衰减因子降低陈旧网页的评分；结合页面链接关系和页面内容主题相关性来建立网页排序模型。实验表明改进的排序算法可以提高信息的查准率，具有明显的主题倾向性，在实际应用中发挥作用。（2）研究主题爬虫的基本原理和重要技术，提出了一个针对食品安全领域的爬虫模型。其中的关键技术包括：通过人工专家和搜索引擎相结合的方式选择初始URL种子；通过训练文本进行关键词抽取来构建食品安全信息主题词库；应用向量空间模型判断主题的相关性。（3）结合上述的研究，本文设计了一个面向食品安全信息的垂直搜索引擎。通过主题爬虫和改进的网页排序模型，为用户提供一个快速、准确查找食品安全信息的搜索引擎。
【作者】曹奇峰；
【导师】胡维华；
【作者基本信息】杭州电子科技大学，计算机应用技术，2014，硕士
【关键词】搜索引擎；食品安全；相似性；向量空间模型；网页排序算法；

【参考文献】
[1]许永花,孟祥安,谢秋菊,于海明.决策支持系统在农村电力系统中的应用[J].塔里木农垦大学学报,2004,02:30-31.
[2]徐盼盼.背景固定视频中的行人检测技术研究[D].北京交通大学,电路与系统,2013,硕士.
[3]陈伟呈.合并内脏异位的先心病患者术后死亡率和呼吸道并发症及其与呼吸道纤毛功能障碍关系的研究[D].复旦大学,儿科学,2013,博士.
[4]叶挺.论未成年人犯罪案件的批捕程序[D].吉林大学,法律,2014,硕士.
[5]吴振华.基于GPRS的配电网故障定位系统的研究[D].北京交通大学,2014.
[6]柏宁.习语背后的中西方文化根源探究[D].辽宁大学,英语语言文学,2012,硕士.
[7]马欣.汉英连词衔接对比及文化阐释[D].西安外国语大学,语言学及应用语言学,2014,硕士.
[8]郑慧玲.我国城镇居民消费信贷主体行为研究[D].江西农业大学,政治经济学,2012,硕士.
[9]白晓莉.城市配送系统的碳足迹研究[D].长安大学,交通运输规划与管理,2014,硕士.
[10]李晶辉.基于互信息的多层隐朴素贝叶斯算法研究[D].湖南大学,控制科学与工程,2012,硕士.
[11]杨威.基于机器视觉的注塑过程检测技术[D].华中科技大学,材料加工工程,2013,硕士.
[12]李六七.本创科技公司盈利能力研究[D].西北大学,工商管理（专业学位）,2012,硕士.
[13]姜兵.我国猪肉生产和消费特征及影响因素研究[D].南京农业大学,技术经济及管理,2011,硕士.
[14]杨贝贝.制度环境对新创企业创业导向的影响[D].重庆大学,企业管理,2014,硕士.
[15]李宏.内侧颞叶癫痫病人与发作次数相关的海马头功能连接[D].华中科技大学,影像医学与核医学,2013,硕士.
[16]王秋月.双向动态负荷电能控制与产生装置的设计[D].北京化工大学,控制工程（专业学位）,2013,硕士.
[17]蒋维波.贵州黔东南地区苗族村寨空间形态研究[D].中央美术学院,艺术,2013,硕士.
[18]张慧清.HTY—1型光导纤维便携式测温仪研制成功[J].冶金自动化,1983,05:63.
[19]周丽玲.电子政务环境下广东省直部门政府网站建设研究[D].华南理工大学,公共管理（专业学位）,2014,硕士.
[20]王颖.地域文化特色的城市街道景观设计研究[D].西安建筑科技大学,建筑设计及其理论,2004,硕士.
[21]龚伟.动物乳腺组织定点表达技术研究[D].中国农业大学,生理学,2004,硕士.
[22]阳永宪.产妇产后早期认知功能的影响因素及分析[D].遵义医学院,麻醉学（专业学位）,2014,硕士.
[23]王英英.公共知识分子微博传播研究[D].大连理工大学,传播学,2013,硕士.
[24]李敉.韩国学生汉语声调习得调查[D].复旦大学,现代汉语语言学,2012,硕士.
[25]何捷.“东方虹”郊区住宅的前营销研究[D].西南财经大学,2005.
[26]杨佳惠.基于语料库的中国英语学习者冠词使用研究[D].广东外语外贸大学,外国语言学及应用语言学,2013,硕士.
[27]黄苏南,邵惠鹤,钱积新.一种智能控制器[J].自动化学报,1997,01:118-122.
[28]贺磊.基于系统视角的银行业与保险业协同发展研究[D].中南大学,管理科学与工程,2014,博士.
[29]郎小玲,施梅勤,江叶坤,马淳安.碱处理对PtRu/WC电极材料结构及甲醇电催化氧化性能的影响[J].电化学,2013,04:350-354.
[30]李本先,李孟军,方锦清,仰琎歆.恐怖组织网络的时空演化规律[J].自动化学报,2013,06:770-779.
[31]田少阳.飞机零件清洗工艺研究及设备研制[D].大连理工大学,机械制造及自动化,2013,硕士.
[32]王斌.寒冷地区既有居住建筑外窗节能改造研究[D].长安大学,建筑技术科学,2013,硕士.
[33]刘洋.体育场馆导识系统设计研究[D].清华大学,工业设计工程（专业学位）,2012,硕士.
[34]李育蕾.青海湖流域降水的时空演变特征分析[D].青海师范大学,地图学与地理信息系统,2012,硕士.
[35]兰希.恶劣条件下车牌识别关键技术研究[D].苏州大学,计算机技术,2014,硕士.
[36]汪洋.电子商务系统设计与实现[D].北京交通大学,软件工程（专业学位）,2013,硕士.
[37]胡春英.中层管理者激励因素对激励效果影响关系的研究[D].内蒙古大学,工商管理,2014,硕士.
[38]张志让.顺轴叠加提高资料信噪比[J].石油地球物理勘探,1997,S2:99-102+189.
[39]于义科,郑雪峰,张清国,张明德.标准模型下基于身份的代理环签名方案研究[J].控制与决策,2012,03:362-368+373.
[40]邱新友.基于阵列波导光栅的混合光束分—波分复用器的研究[D].华中科技大学,光电信息工程,2013,硕士.
[41]沈燕,陈光明,周苏明,唐黎明.不同制冷剂用于双回路耦合冰箱性能研究[J].工程热物理学报,2014,04:646-650.
[42]李培贺.新型磁性纳米材料的合成及其在有机合成中的应用[D].河北师范大学,有机化学,2014,硕士.
[43]朱智军.复杂电气信号相量测量方法研究[D].湖南大学,电力系统及其自动化,2012,硕士.
[44]包骏杰,唐敏.集成供应链管理信息系统设计[J].重庆师范大学学报(自然科学版),2004,01:38-40+52.
[45]万江坤.压力矫直机液压系统的设计及研究[D].东北大学,机械电子工程,2010,硕士.
[46]梁莹.节约型理念在经适房居住区园林景观中的应用[D].南京农业大学,风景园林,2012,硕士.
[47]禾祺夫.北京市公交电、汽车运营成本核算研究[D].北京交通大学,应用统计学（专业学位）,2013,硕士.
[48]代力.四川夏塞银铅锌矿床I号矿体原生晕地球化学及深部预测[D].中国地质大学（北京）,地球化学,2013,硕士.
[49]商春艳.非政府组织在公共文化建设中的作用研究[D].西北大学,公共管理（专业学位）,2012,硕士.
[50]王磊.大国协调与跨区域安全治理[D].南京大学,国际关系,2013,硕士.