基于小世界模型的高维向量查询技术研究

【摘要】高维索引作为模式识别、内容检索等领域的关键技术,其目的在于建立特征库的索引结构提高特征向量查询效率,但其在高维情况下存在的“维度灾难”问题一直困扰着高维特征向量查询的性能提升。自上世纪六七十年代起,研究人员提出了许多种类的高维索引解决方案,但迄今仍然没有出现一种在各方面性能都能令人满意的索引技术,相关领域对良好的高维索引技术的需求仍然迫切。本文受复杂网络中“六度分隔”现象的启发,设计了一种基于小世界模型的新型高维索引技术,并给出了相应的范围查询,近似k近邻查询和索引维护算法。该索引维护一定的邻居节点分布,包括近邻连接和远程连接,并将高维索引中向量查询的过程类比于图上邻居节点间的跳跃,通过逐跳地往目标方向逼近最终找到目标节点,因此该索引被命名为逐跳逼近索引。同时,通过对相关理论研究证明的总结,本文对该索引模型作了展开分析,说明了在简化模型上其查询平均路径长度的理论上界。最后,本文进一步提出了若干基于小世界模型的组合索引方案,并结合数据库系统将上述高维索引推向实际应用。具体而言,本文的详细工作包括：第一,本文参照小世界网络的理论研究成果,对项目组的逼近索引结构进行了多项改进：额外添加了一定比例的随机远程连接,以提供远程跳跃的捷径,进一步提高了索引查询性能；取消范围限制稳定各节点的度,以保证图在各种实际情况中的连通性,从而使得索引能够较好地处理数据分布不均和小库容量等实际应用中常见的查询场景。第二,本文进一步完善了逐跳逼近索引的范围查询和近似kNN查询算法以及索引维护算法,并将该索引应用于随机生成库及实际图像特征库。结合理论分析和实验数据,探讨了逐跳逼近索引的关键参数性质特点,以及应用到不同场景时的预期效果和注意事项。第三,最后,本文分析了逐跳逼近索引的优点和不足,结合目前已有的高维索引技术,给出了若干分层组合索引的算法。此外,为推动该索引更快的应用于实际系统,提出了结合数据库系统的逐跳逼近索引应用,借助成熟的数据库系统解决了算法分布式拓展和内存缓存管理等多个实际运用问题。相关理论分析表明,本文算法适合用于处理高维度及各种容量特征库的相似性查询,具有访问特征库记录条数少,查询准确性高等特点。实验结果表明,数据访问比例为10%以下且准确度为90%以上,同时随着库容量增大,访问比例降低而准确度基本不变。
【作者】桂舒婷；
【导师】郑烇；
【作者基本信息】中国科学技术大学，模式识别与智能系统，2014，硕士
【关键词】高维索引；相似性查询；逐跳逼近；小世界网络；数据库系统；

【参考文献】
[1]柳燕如.钛合金表面复合薄膜的制备及性能研究Fe/N/rGO氧还原催化剂的制备[D].兰州大学,2012.
[2]张传辉.公安知识管理系统的设计与实现[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[3]刘凯.基于NTFS注册表取证工具研究与设计[D].广东工业大学,计算机应用技术,2013,硕士.
[4]林鑫.三相混合式步进电机细分控制策略优化[D].浙江工业大学,2012.
[5]赵振峰.面向智能电网的新型电力通信网动态多径路由研究[D].哈尔滨工业大学,电气工程,2013,硕士.
[6]冯韵,卞艺杰,田建祥.数据仓库——现代决策支持的基础[J].电脑开发与应用,2002,11:22-23+26.
[7]记者王功海.加快产业项目建设确保财政增收实力增强百姓富裕[N].鹤岗日报,2015-03-30001.
[8]魏飞.基于Copula理论的上证指数与房地产指数研究[D].华中师范大学,概率论与数理统计,2013,硕士.
[9]毛志忠,杨琳.一种解决预测控制输入信号受约束问题的方法[J].控制与决策,1994,03:230-233.
[10]杨伟.TPM1在胆管癌中的表达及其调控机制研究[D].南京医科大学,普外科,2013,硕士.
[11]高雅.日语训读汉字的字源研究[D].吉林财经大学,外国语言学及应用语言学,2014,硕士.
[12]矫福军.莎士比亚悲剧的思想意蕴[D].吉林大学,比较文学与世界文学,2004,硕士.
[13]卢晨醒.楚简所见卜筮祭祀研究[D].西南大学,考古学及博物馆学,2014,硕士.
[14]刘泽先,蔡煜东,郭雪江,李骜,李婷婷,邱建丁,任间,施绍萍,宋江宁,王明会,谢鹭,薛宇,张子丁,赵兴明.中国在翻译后修饰的生物信息学研究领域的进展与前瞻[J].遗传-2.
[15]赵渺凡.栀早颗粒对女童肝郁痰结型特发性中枢性性早熟GH和IGF-1的影响[D].黑龙江中医药大学,中医儿科学（专业学位）,2013,硕士.
[16]沈国华,黄志球,柳雪涛,张定会.基于数据仓库技术的工程数据管理系统的研究与实现[J].小型微型计算机系统,2004,01:127-130.
[17]江维.植酸酶appA NR基因在克鲁维乳酸酵母中的表达及酶学性质分析[D].湖北大学,微生物学,2012,硕士.
[18]石文韬.重庆市中小学生体质健康状况与体育锻炼行为的关系研究[D].西南大学,体育教育训练学,2013,硕士.
[19]张轶芳.慢性束缚应激肝郁脾虚证大鼠模型评价量表（2版）的研制[D].北京中医药大学,中医诊断学,2013,硕士.
[20]邹贵.基于信息熵的WLAN室内定位算法研究[D].哈尔滨工业大学,信息与通信工程,2014,硕士.
[21]沈冰,何奔腾,张武军.新型自适应距离继电器[J].电力系统自动化,2007,07:39-44.
[22]林学,陈幸良.发挥林业促进贵州经济发展的作用[J].当代贵州.2003(02)
[23]王宏伟.菲涅耳体地震层析[J].石油地球物理勘探,1996,03:309-326+466.
[24]李宇,杨德义,邓辉,严锐,陈凤英.初至旅行时层析反演近地表模型精度分析[J].石油地球物理勘探,2011,02:221-225+158.
[25]陈俊.趋化因子CXCL12抑制剂的设计、合成及生物活性筛选[D].浙江大学,药学,2013,硕士.
[26]马娟.水稻垩白性状相关蛋白质的分析与鉴定[D].厦门大学,遗传学,2014,硕士.
[27]吴宗展.Web挖掘中的HITS算法的一种改进策略[D].吉林大学,软件工程,2013,硕士.
[28]苗坚.对抗性水压人工肌肉机械关节的设计与驱动试验[D].大连海事大学,机械工程,2014,硕士.
[29]缪竟鸿1,罗维1,李杰1,齐继2.三维微波成像中基于对比源反演的扩展方法*[J].系统工程与电子技术.
[30]石晓明.老年冠心病患者心脏康复过程中心肺机能和心脏自主神经功能的改善及二者关系的研究[D].天津体育学院,运动人体科学,2014,硕士.
[31]吴晓慧.城镇居民基本医疗保险参保人员满意度测评研究[D].华侨大学,公共管理（专业学位）,2014,硕士.
[32]李晓宇.铷原子钟的补偿处理及驯服保持技术[D].西安电子科技大学,测试计量技术及仪器,2012,硕士.
[33]邵良杉,付曙光,薛立军.企业核心竞争力的Web挖掘研究[J].计算机系统应用,2005,08:91-94.
[34]闫宁宁.“即便摔倒了,我手里也会抓一把沙子”——记中国建筑材料科学研究总院青年科技骨干刘静博士[J].中国建材,2014,10:108-110.
[35]牛伟.基于无线传感网络的车载危险品状态监测系统的探索[D].吉林大学,软件工程,2014,硕士.
[36]李锐.江、浙、沪地区高校武术套路高水平运动队发展现状的调查分析与对策研究[D].扬州大学,民族传统体育学,2012,硕士.
[37]姜伟才.地震勘探震源的激发机制及应用效果研究[D].中国海洋大学,地质工程,2003,硕士.
[38]陈燕红.困境与出路:我国患者知情同意权法律保护与适用的完善建议[J].河北法学,2014,02:132-137.
[39]陈夙.中国汽车产业竞争力分析与提升[D].江西财经大学,产业经济学,2004,硕士.
[40]庄晓毅,张忠能.一种改进的关联规则挖掘算法[J].计算机工程,2004,14:128-129+135.
[41]刘瑞瑞.基于遗传模拟退火算法的三维离线装箱优化问题研究[D].吉林大学,物流工程,2014,硕士.
[42]赵靖.0.003Hz～10kHz感应式磁传感器的设计与实现[D].吉林大学,电路与系统,2013,硕士.
[43]魏萌.温阳通痹方外洗治疗化疗药物诱导性周围神经病变的临床疗效观察[D].北京中医药大学,中医学,2014,硕士.
[44]高卫利.静、动态炼钢模型在济钢120t转炉上的研究应用[J].冶金自动化,2007,02:68.
[45]秦廷国.人的发展与政治文明建设[D].首都师范大学,马克思主义理论与思想政治教育,2004,硕士.
[46]项大业.重组人HBNF促周围神经损伤后再生作用的实验研究[D].浙江大学,外科学,2004,硕士.
[47]周永辉.FcγRⅠ在PRRSV-ADE作用中的研究及LPS对PRRSV感染的影响[D].河南农业大学,预防兽医学,2012,硕士.
[48]张薛龙.氨基膦酸树脂去除水中Pb（Ⅱ）的性能研究[D].南京大学,环境科学与工程,2013,硕士.
[49]高鑫.活塞裙部—缸套摩擦副润滑特性影响因素研究[D].重庆大学,车辆工程,2014,硕士.
[50]卢津,赵洪全,许广东.铁路客车舒适度的检测与评价[J].中国铁路.2004(06)