基于深度图像绘制中的空洞填补方法研究

【摘要】自由视点视频与传统的2D和3D电视相比，由于能够允许用户在一定的范围内自由的选择视角，观看其感兴趣的视频内容，因此可以带给用户更具震撼的视觉冲击力和超乎寻常的三维沉浸度。而作为自由视点视频关键技术之一的基于深度图像的绘制(DepthImageBasedRendering,DIBR)技术，由于有效的结合了参考图像和对应的深度信息，使得任意新视点图像中的各像素点都可以通过3D图像映射方程被迅速计算出来。该项技术凭借其绘制速度快、质量高、节省数据存储空间和传输带宽等优势，成为立体视频领域中最重要的研究内容之一。在使用DIBR实现任意虚拟视点图像绘制时，由于遮挡关系及深度信息不准确等原因，会在生成的虚拟视点图像中产生空洞问题。空洞的存在，不仅影响着图像的绘制质量，还给用户的视觉体验造成了破坏性的干扰，因此如何妥善、高效的进行空洞修复也成为了提高DIBR绘制图像质量的关键环节。目前学者们已提出了很多有关空洞填补的方法，其中当以采用数字图像修复技术处理空洞的方法最受青睐，尤其是基于纹理合成的图像修复技术，能够很好地兼顾图像的结构和纹理信息，对于复杂场景的修复有着较好的效果。在基于纹理合成的图像修复技术中，Criminisi等人提出的基于样本的图像修复算法最具代表性，该算法修复速度快、效果好，一度被广泛应用于空洞修复、视频修复以及影视特技制作等诸多领域。本文重点研究了Criminisi图像修复算法，针对其在修复过程中，存在的有关优先级计算公式和匹配代价函数方面的不足，做了深入分析并提出了相应的改进方案。本文的主要内容如下：（1）改进优先级计算公式，设计了增加深度信息的优先级计算函数。Criminisi算法在修复具有强结构信息图像时效果并不理想，本文将能够反映物体结构边缘信息的深度因子引入优先级计算公式中，合理地提高图像高频信息的权重，使得优先级的大小不再仅仅取决于置信度和数据项之和，进而使破损图像获得更为合理的填充顺序。（2）改进最优匹配代价函数，在充分考虑像素间颜色差异的基础上，将能在一定程度上表征图像边缘结构及纹理走向的梯度因子作为匹配函数的辅助信息，确保能够更加准确地搜索到最优匹配块。（3）提出一种空洞填补的快速算法。本文改进的空洞处理算法，虽然可以获得更好的修复效果，但由于深度因子和梯度因子的引入，难免增加了算法本身的复杂程度，延长了空洞区域的修复时间，为此本文提出将Criminisi算法与本文改进的空洞填补算法相结合：在较为平坦的待修复区域采用Criminisi算法，在具有强结构纹理的待修复区域则采用本文改进算法。大量实验表明该方法不仅没有明显影响空洞填补的视觉效果，还极大地缩短了修复时间，有利于图像的实时修复。
【作者】王丹；
【导师】陈贺新；
【作者基本信息】吉林大学，通信与信息系统，2014，硕士
【关键词】自由视点视频；基于深度的图像绘制；图像修复；空洞填补；梯度；

【参考文献】
[1]陈晓静.当代中国道德教育研究[D].扬州大学,马克思主义哲学,2012,硕士.
[2]王庆双.归脾汤对抑郁模型大鼠脑内CRH、BDNF影响的实验研究[D].黑龙江中医药大学,方剂学,2013,硕士.
[3]付容.上海长江口中华鲟自然保护区立法研究—管理体制方面[D].复旦大学,法律,2012,硕士.
[4]孙翔鸿.全自动免熔铅制粒机的研制[D].合肥工业大学,机械电子工程,2013,硕士.
[5]王成秀.卡介苗多糖核酸、特异性免疫治疗对哮喘患儿的干预作用研究[D].重庆医科大学,儿科学,2004,硕士.
[6]易江义.神经网络PID控制在汽车发电机性能自动测试系统的应用[D].中南大学,控制理论与控制工程,2004,硕士.
[7]王玉柱.高墩大跨连续刚构桥等效风荷载研究[D].西南交通大学,桥梁与隧道工程,2013,硕士.
[8]李洋.开放档案集成服务实现研究[D].吉林大学,档案学,2014,硕士.
[9]满江虹,达庆利.基于信息熵的粗约简及其Bayes解释的供应链需求集成分析[J].东南大学学报(自然科学版),2004,03:402-405.
[10]梁玉.积极心理学视野中郭德纲相声的正能量传播研究[D].河北大学,新闻与传播,2014,硕士.
[11]李兴.脱脂米糠中含植酸颗粒的提取及其成分分析和结构鉴定[D].南京农业大学,动物营养与饲料科学,2012,硕士.
[12]陆佳政,蒋正龙,雷红才,张红先,彭继文,李波,方针.湖南电网2008年冰灾事故分析[J].电力系统自动化,2008,11:16-19.
[13]李雪兰.帕瑞昔布钠复合舒芬太尼预镇痛在瑞芬太尼快通道麻醉的应用研究[D].广州医科大学,麻醉学,2013,硕士.
[14]朱小翠.断奶仔猪胃肠道乳酸菌与芽孢杆菌分离鉴定及其生物学特性研究[D].南京农业大学,预防兽医学,2012,硕士.
[15]钱申春.公路施工企业项目成本管理研究[D].安徽大学,工商管理,2012,硕士.
[16]马俊.“喜是”服装品牌形象推广研究[D].湖南师范大学,设计艺术学,2013,硕士.
[17]孙延春.基于模糊神经网络控制的智能阀门定位器的研制[D].曲阜师范大学,控制理论及控制工程,2004,硕士.
[18]史本超.腰骶部硬膜背部膜椎韧带的观测及其临床意义[D].南方医科大学,人体解剖与组织胚胎学,2012,硕士.
[19]王璐.乌司他丁对重度脓毒症诱导的ALI/ARDS大鼠肺组织蛋白C含量及活化的影响[D].复旦大学,急诊医学,2012,硕士.
[20]方凯旋,崔言民,王立功,黄迪生,冯海鸥,边凯.当ERP撞上潜规则[J].中国计算机用户.2006(Z1)
[21]叶晓丹.投资者关系管理对上市公司价值影响的实证研究[D].东北财经大学,财务管理,2012,硕士.
[22]虞卫峰.基于SIP的VoIP应用穿越NAT/FW问题的研究[D].浙江大学,信号与信息处理,2004,硕士.
[23]龚彧.基于QFD的质量需求管理方法研究[D].浙江大学,2006.
[24]李畅,薛唯,韩长峰,钱磊,赵谡玲,喻志农,章婷,王岭雪.ZnO电子传输层对于反型结构聚合物太阳电池光浴效应的影响[J].物理学报.
[25]田海宾.宋代进奏院研究[D].河北大学,中国古代史,2014,硕士.
[26]林少华.土壤颗粒对水中多环芳烃吸附特性研究[D].西安建筑科技大学,市政工程,2003,硕士.
[27]唐慧敏.大型风力机性能优化的预测控制[D].兰州理工大学,控制理论与控制工程,2014,硕士.
[28]鲁旭.橡胶树HbFCA基因功能解析[D].海南大学,橡胶学,2014,硕士.
[29]樊王妮.城乡一体建设中的农民主体性问题研究[D].华中师范大学,社会学,2014,硕士.
[30]罗芳富.亚急性期脑卒中患者弥散张量成像与远期预后的关系[D].浙江中医药大学,内科学,2014,硕士.
[31]包育晓.《看见》节目的话语分析[D].安徽大学,新闻学,2014,硕士.
[32]叶艳艳.高容量动力锂离子电池正极材料的合成和改性研究[D].江南大学,化学工艺,2013,硕士.
[33]任杰.A银行河北分行业务流程再造研究[D].山东大学,工商管理（专业学位）,2013,硕士.
[34]王少才.广东省科学院实验工厂简介[J].仪表工业.1989(04)
[35]戴均禄.唐代前期南衙禁军研究[D].辽宁大学,中国古代史,2012,硕士.
[36]陈刚.基于多案例分析的创业学习对新创企业绩效的影响研究[D].吉林大学,工商管理,2012,硕士.
[37]洪星炫.石狮服装产业集群电子商务应用研究[D].华侨大学,工商管理,2013,硕士.
[38]吴洪振,唐文升.供电企业客户关系管理系统建设与研究[J].电力信息化,2003,04:81-85.
[39]王芳英.河蟹酶解液的氨基酸分析及酶解工艺条件的优化研究[D].安徽农业大学,食品科学,2011,硕士.
[40]辛志军.不同植骨方法对胸腰椎爆裂骨折内固定后生物力学影响的实验研究[D].遵义医学院,骨外科学（专业学位）,2012,硕士.
[41]王君,周兴元.子波相位校正及效果分析[J].石油地球物理勘探,2008,S2:142-145+178+2+1.
[42]赵磊.基于基因表达谱和分子互作网络的癌症驱动基因预测[D].吉林大学,计算机应用技术,2014,硕士.
[43]李静静.专家教师与新手教师师生互动的比较研究[D].山东师范大学,教育（专业学位）,2013,硕士.
[44]张慧智.篮球全场1-2-1-1区域紧逼防守战术平面动画演示系统的制作与应用效果研究[D].首都体育学院,体育教育训练学,2013,硕士.
[45]施敏.硅陀螺用16位500KHz数模转换器设计[D].哈尔滨工业大学,集成电路工程,2013,硕士.
[46]张翔.基于DSP的TSC无功补偿装置的设计与实现[D].西南交通大学,电力系统及其自动化,2014,硕士.
[47]赵海霞.盘古文化的地方性实践[D].广西民族大学,中国少数民族语言文学,2013,硕士.
[48]王晓国,黄韶坤,朱炜.关联挖掘中的时效度研究[J].计算机应用,2005,01:28-30.
[49]孙丽雯.栉孔扇贝（Chlamys farreri）干制工艺及流变学特性探讨[D].中国海洋大学,食品加工与安全（专业学位）,2014,硕士.
[50]赵伟.民营企业的薪酬管理研究[D].广东工业大学,企业管理,2004,硕士.