基于HAMA的半监督哈希方法研究与应用

【摘要】在基于内容的图像检索应用中,基于哈希的最近邻检索算法有着很高的计算和内存效率。而半监督哈希算法,结合了无监督哈希算法的正规化信息以及监督算法跨越语义鸿沟的优点,从而取得了良好的结果。但哈希函数训练过程因涉及到对大规模矩阵运算,非常之缓慢,需要一种实践技术加速其训练过程。随着并行计算应用的推广,基于MapReduce模型的Hadoop计算框架目前得以大范围使用。但是其计算模型MapReduce对于复杂算法支持有限。而已经有研究者考虑理论上如何在MapReduce框架上实现其他并行计算模型。HAMA是个在Hadoop平台基础上,以BSP并行计算模型为基础的计算框架。针对上述问题,本文开展了相关研究工作,其主要工作与贡献说明如下：1、研究了利用HAMA框架进行基于BSP模型的并行计算程序开发方法,搭建了HAMA平台,并且进行了其功能性与扩展性测试。测试实验结果表明：节点任务个数为CPU核数-1的时候取得最优；2节点集群相比于单节点效率1.77倍,3节点集群效率为2.43倍。2、分析半监督哈希方法的实现过程,针对其性能瓶颈为调整相关矩阵计算过程,在HAMA框架基础上,研究提出一种半监督哈希方法并行计算方法,该方法将调整相关矩阵计算过程分解为无监督的相关部分与监督性的调整部分,分别进行并行计算处理。实验结果表明,在大规模数据集合上,分布式的并行计算方法仍然是有效的,可以进一步应用在海量数据处理上。3、针对海量图像分布检索需求,本文提出来一种基于半监督哈希方法的图像检索方法,构造了包括特征选择、哈希函数训练以及检索排序模块的图像检索系统原型,实验结果表明：该图像检索方法的准确率达到69%,哈希索引方式存储空间是原始特征数据的万分之一
【作者】刘扬；
【导师】朱明；
【作者基本信息】中国科学技术大学，模式识别与智能系统，2014，硕士
【关键词】半监督哈希算法；BSP模型；分布式计算；HAMA框架；矩阵计算；

【参考文献】
[1]张敏丽.意识形态对英汉文学翻译的影响[D].广东外语外贸大学,外国语言学及应用语言学,2004,硕士.
[2]张静.论侵权法中旁观者容易救助义务的确立[D].华中科技大学,民商法学,2013,硕士.
[3]王福林.无线传感器网络中sink节点移动策略的研究[D].吉林大学,计算机应用技术,2013,硕士.
[4]苏柳.铸造准单晶硅中主要杂质与缺陷的研究[D].河北工业大学,材料物理与化学,2013,硕士.
[5]杨娜娜.基于建构主义理论的非英语专业大二学生的英语阅读研究[D].郑州大学,外国语言学及应用语言学,2013,硕士.
[6]项连举,陈雨.我国水泥包装的三个发展阶段[J].中国包装.1990(02)
[7]彭芳霞.高中生英语自主学习能力培养研究[D].华中师范大学,教育管理,2013,硕士.
[8]赵旭彤.变压器色谱信号的在线处理与可拓关联故障诊断[D].上海交通大学,高电压与绝缘技术,2013,硕士.
[9]张永泽.ZJ70DB钻机系统设计与研究[D].西南石油大学,2006.
[10]张小利.我国农业种子市场规制法律问题研究[D].西南政法大学,经济法（专业学位）,2012,硕士.
[11]郑长林.基于数据挖掘的工商数据检测系统的设计与实现[D].南昌大学,软件工程（专业学位）,2012,硕士.
[12]杨浩.直接在石英表面生长石墨烯及其气敏特性研究[D].上海师范大学,2014.
[13]张肖瑜.地方政府债务风险防控研究[D].河北大学,会计,2014,硕士.
[14]尹发能.基于模糊数学方法的洞庭湖区水安全评价[D].湖南师范大学,自然地理学,2004,硕士.
[15]孙博.面向清洁燃料的新型费托合成催化剂的创制和研究[D].复旦大学,2013.
[16]刘霄.城市轨道高架站体的参数化设计[D].北京交通大学,2014.
[17]董天阳,张萃,范菁,陈巧红.植物共享光照资源的生长模型改进及可视化仿真[J].农业工程学报,2012,16:145-152.
[18]蒲淑慧.C2C网络购物模式下消费者权益的保护[D].首都经济贸易大学,法律（专业学位）,2013,硕士.
[19]张旭.葡萄酒生产废水处理工艺研究[D].青岛理工大学,建筑与土木工程,2013,硕士.
[20]邵顺.基于人民调解与医疗责任保险的医患纠纷处置模式研究[D].苏州大学,公共卫生（专业学位）,2013,硕士.
[21]张俊和.税务系统绩效管理研究[D].内蒙古大学,高级管理人员工商管理,2013,硕士.
[22]张海波,辛保江.计及频率变化的异步迭代分布式动态潮流[J].电力系统自动化,2011,19:49-53.
[23]皮蔚峰.大庆油田第八采油厂剩余储量开发策略研究[D].大连理工大学,工商管理,2004,硕士.
[24]吕文韬.基于组合模型江西省能源需求预测[D].景德镇陶瓷学院,概率论与数理统计,2014,硕士.
[25]陈锋.片上系统OP200设计流程中功能和时序验证[D].复旦大学,集成电路,2012,硕士.
[26]曾俊.复发性外阴阴道假丝酵母菌病复发途径及菌株基因型分析[D].南方医科大学,妇产科学,2012,硕士.
[27]董斌,吕仁庆,曹作刚.无机化学研究的前沿领域在教学中的应用[J].高等函授学报(自然科学版),2011,02:29-31+33.
[28]李录明,罗省贤.多波AVA及岩性预测[J].石油地球物理勘探,1996,02:190-204+308.
[29]郭学琴.城市公共停车场规划研究[D].北京交通大学,2007.
[30]常青.杨家埠木版年画文化内涵及社会功能探究[D].内蒙古师范大学,社会学,2013,硕士.
[31]段扬.基于EFDC的丹江口水库水环境数值模拟分析[D].中国地质大学（北京）,地下水科学与工程,2014,硕士.
[32]赵栋.国际EPC工程安全风险评估体系研究[D].山东财经大学,企业管理,2012,硕士.
[33]青志新.亚华种业杂交水稻种子业务市场分析及发展战略[D].湖南大学,工商管理,2003,硕士.
[34]韩红芳.数字博物馆模型研究及应用开发[D].浙江大学,2005.
[35]程锐.大功率三相光伏并网逆变器的研究和设计[D].北京交通大学,2013.
[36]宋松.汉代画像砖的分区与分期研究[D].吉林大学,文物与博物馆,2014,硕士.
[37]卢志刚,张静,程慧琳,鲍峰.基于分解协调及外网浓缩等值的多代理状态估计[J].电力系统自动化,2012,14:23-29.
[38]牛翔科.弥散加权成像定量评价非压迫性神经根炎微创治疗价值的实验研究[D].川北医学院,影像医学与核医学,2014,硕士.
[39]白彦.呼伦贝尔沙地植被覆盖度变化遥感监测研究[D].内蒙古农业大学,森林经理学,2013,硕士.
[40]吴海洋.甘肃河西地区区域自我发展能力研究[D].兰州大学,区域经济学,2013,硕士.
[41]陈伟.相变存储器单元脉冲I-V特性测量方法及分析[D].华中科技大学,微电子学与固体电子学,2013,硕士.
[42]明月.童年中期儿童的同伴乐观、社交自我知觉与同伴交往的关系研究[D].华中师范大学,应用心理,2014,硕士.
[43]鲍倩玉.用户无线搜索行为统计与分析软件的设计与实现[D].北京交通大学,2014.
[44]楼玲娜.复合材料薄壁圆柱壳的非线性振动研究[D].东北大学,一般力学与力学基础,2009,硕士.
[45]邓丁榕.纳米材料在高比能锂离子电池负极材料中的应用[D].西南大学,物理化学,2014,硕士.
[46]闵氏清.Outlets商业与环境评价体系模型和实证分析[D].上海工程技术大学,服装设计与工程,2011,硕士.
[47]王彬.LLC谐振半桥AC/DC变换器的研究[D].中国矿业大学,电力电子与电力传动,2014,硕士.
[48]徐勇.氯胺酮复合不同比例异丙酚静脉麻醉对血流动力学的影响[D].浙江大学,外科学,2004,硕士.
[49]戎融.网络舆论监督与权力伦理构建研究[D].华侨大学,伦理学,2014,硕士.
[50]雷洪峰.从台湾“宪政改革”看渐进式“台独”的推动轨迹[D].首都师范大学,马克思主义理论与思想政治教育,2004,硕士.