立体电视中多视点视频增强和视线跟踪方法研究

【摘要】数字多媒体是当前最活跃的研究领域之一。随着人们对服务质量和视觉体验要求的不断提高,数字多媒体处理技术和设备都在不停的更新换代。作为一种新兴的可视媒介形式,立体电视(ThreeDimensionalTelevision,3DTV)能够为用户提供很强的立体感和沉浸感,因而引起广泛关注并取得一系列成果。与传统二维(2D)电视相比,立体电视需要向用户提供多个视点的视频,所以传输数据量巨大,成为制约立体电视技术发展的瓶颈。在立体电视系统中,多视点视频(Multi-viewVideo,MVV)的空间分辨率、帧率(framerate)、视点的数量等对视觉效果有着很大的影响。多视点视频帧率越高,特别对于大尺寸液晶显示设备(LiquidCrystalDisplay,LCD),电视画面就会越流畅；视点数量越多,用户的观看范围越大,立体感也就越强。然而,随着传输视频帧率的提高、视点数量的增多,传输的数据量必然急剧增加。虽然当前提出了有效的多视点视频编码技术,但立体电视传输中多视点视频的帧率、视点数量仍然不能满足实际要求。另外,在交互式立体电视系统中,通常需要对用户视线或者头部进行跟踪,依此确定视点的播放与切换。针对上述立体电视系统中存在的问题,本文着重对立体电视系统中多视点视频增强和视线跟踪方法进行了研究。其中,多视点视频增强包含立体视频帧率提升和视点合成两个方面。从发送端来看,利用帧率提升和视点合成可以减少数据传输量,节省带宽；从接收端来进行分析,帧率提升使单路视频看起来更流畅,减少了由于视频帧率过低造成的运动模糊和抖动,而通过视点合成增加了虚拟相机的数量,扩大了可视范围,使用户能够获得更好的立体视觉体验。另外,本论文对交互式立体电视中的人机交互技术进行了研究,提出了一种基于灰度分布视频处理的非接触式视线跟踪系统。论文在以下几个方面的研究取得重要进展：1、提出了一种彩色+深度格式(videoplusdepth)的立体视频帧率提升算法。首先,根据深度信息将运动向量(MotionVector,MV)分成深度连续运动向量和深度不连续运动向量。在深度连续运动向量场(MotionVectorField,MVF)中,利用深度层次约束的运动向量优化方法对错误运动向量进行检测和校正,提高运动向量的准确度；对于深度不连续运动向量场,则采用了一种基于前景匹配的运动向量优化方法,保持了运动补偿过程中前景运动物体边缘的完整性。2、提出了一种基于深度的适应性运动补偿和图像块分割方案。根据视频场景中深度信息和运动向量的关系,适应性选择前向运动补偿与后向运动补偿,同时,利用基于深度和α-matting的图像分割方法对深度不连续图像块进行分割,相对于传统帧率提升算法,减少了运动补偿后遮挡区域和非遮挡区域出现的模糊和伪影的现象,可以有效提升立体视频的视觉质量。3、提出了一种基于非对称图像修复的虚拟视点重建算法。在提出的算法中利用左右两路的彩色视频和深度视频对中间的任意虚拟视点的视频进行生成,利用虚拟视点与左右参考视点之间的空间位置关系确定主要参考视点和辅助参考视点。首先,利用三维图像变换技术将主要参考视点和辅助参考视点图像投影到虚拟视点。其次,通过图像处理技术去除虚拟视点图像中的裂纹和错误点,提高图像质量。然后,通过辅助虚拟视点图像对主要虚拟视点图像中的遮挡区域进行填充,.并且为了实现视点间视频色彩的统一,对左右参考视点图像进行亮度调整。最后,利用深度辅助的非对称图像修复方法对剩余的空洞区域进行填充。4、提出了一种基于灰度分布视频处理的非接触式视线跟踪系统,该系统可以作为交互式立体电视系统中的人机交互设备。首先,在近红外光源照射条件下采集使用者头动视频,然后根据视频帧的灰度分布特征,依次进行面部区域、眼睛区域、瞳孔区域的检测与提取,最终计算出瞳孔角膜点反射坐标和瞳孔中心坐标；根据特征参数,采用基于交比不变性质的视线跟踪算法进行注视点位置的计算,实现视线跟踪；另外,针对视线跟踪过程中眼球视轴和光轴的不重合,提出了一种简单有效的五点定标算法。实验结果表明,针对佩戴眼镜和裸眼使用者,该系统均能够达到较高的精度,能够满足实际需要。
【作者】杨晓晖；
【导师】刘琚；TruongQ.Nguyen；
【作者基本信息】山东大学，通信与信息系统，2014，博士
【关键词】多视点视频增强；立体电视；帧率提升；虚拟视点合成；视线跟踪；

【参考文献】
[1]纪文姣.论潘光旦的家庭与家族文化观[D].鲁东大学,专门史,2013,硕士.
[2]牟秀芝.我国城管执法职能规制现状浅析[D].山东大学,法律（专业学位）,2012,硕士.
[3]周文帅,白慧慧,赵耀.基于预测式错误恢复机制的多描述视频编码研究[J].电子与信息学报,2014,04:817-822.
[4]赵勋虎.西北联合大学失败原因研究[D].曲阜师范大学,高等教育学,2013,硕士.
[5]陈磊,陈亦平,闵勇,胡伟,张昆.基于振荡能量的低频振荡分析与振荡源定位(二)振荡源定位方法与算例[J].电力系统自动化,2012,04:1-5+27.
[6]周翠岭.基于曲线匹配的蛋白质结构比对方法[D].南昌航空大学,计算机技术,2013,硕士.
[7]张倩.锂离子电池石墨烯基复合负极材料的制备与性能研究[D].中南大学,2013.
[8]李晓娜.我国第三产业发展促进就业增长的相关问题研究[D].首都经济贸易大学,应用统计（专业学位）,2013,硕士.
[9]钟波.近代中国大学校长治校理念与中国高等教育近代化[D].湘潭大学,专门史,2003,硕士.
[10]张玉.戴乃迭《边城》英译中美的传递[D].宁夏大学,翻译（专业学位）,2014,硕士.
[11]林衍森.益肾降糖饮治疗气阴两虚兼血瘀证2型糖尿病肾病及对L-FABP、MDA影响的临床研究[D].福建中医药大学,中医内科学,2014,硕士.
[12]王宗花,郭新美,夏建飞,张菲菲,夏延致,李延辉.基于纳米材料电化学生物传感器的研究进展[J].分析测试学报,2011,11:1216-1223.
[13]李斌.雄激素受体第一外显子CAG重复序列长度多态性与子宫平滑肌瘤遗传易感性的相关性研究[D].第四军医大学,病理学与病理生理学,2004,硕士.
[14]郑勇.中国国际短期资本流动影响因素研究[D].华中科技大学,数量经济学,2012,硕士.
[15]王华斌.基于Android平台的智能终端安全研究[D].北京交通大学,2014.
[16]路威.裂隙岩体水流—传热模型试验与计算理论研究[D].北京交通大学,2012.
[17]高扬.LTE-A中继关键技术研究及仿真实现[D].河北大学,通信与信息系统,2014,硕士.
[18]杨红斌,向文丽,徐媛,祝菲霞,孙坤,司民真.银-石墨烯纳米复合材料的制备与表征[J].材料导报,2014,S2:89-92.
[19]肖坚.改革开放以来江西省居民收入差距实证及公共政策分析[D].南昌大学,公共管理（专业学位）,2012,硕士.
[20]于萍.中等职业学校课程开发能力研究[D].华东师范大学,职业技术教育学,2013,硕士.
[21]封进甫.汽车满意度调查评估分析[D].吉林大学,交通运输工程,2014,硕士.
[22]李璐.明清瓷器上的仕女图研究[D].中国社会科学院研究生院,文物鉴定与修复（专业学位）,2014,硕士.
[23]辜翔宇.从“他者”到“勇士”—汤亭亭《女勇士》之解读[D].四川师范大学,英语语言文学,2004,硕士.
[24]和雨佳.基于LTE高速环境下无线信道测量和建模关键技术的研究[D].北京交通大学,2013.
[25]高希.复合材料悬架横臂的优化设计[D].中北大学,车辆工程,2014,硕士.
[26]赵亚平.玉米秸秆生物质炭和硅藻土对外源金霉素的吸附与解吸[D].沈阳农业大学,农业环境与生态,2013,硕士.
[27]斯日古楞.苏尼特左旗蒙古语使用现状研究[D].内蒙古师范大学,中国少数民族语言文学,2012,硕士.
[28]李佳汝.加味枳术颗粒改善肿瘤患者食欲的临床疗效及机制研究[D].北京中医药大学,中西医结合临床,2013,硕士.
[29]鲍耀辉.基于信息技术平台的DBY证券分公司创新业务实现研究[D].吉林大学,工商管理,2014,硕士.
[30]姜文征,刘颖,邹翠荣.不同加载条件下泡沫杆的冲击动力响应[J].北京理工大学学报,2014,04:331-335.
[31]张泽信.miRNAs调节的免疫炎性机制在氧醚复合吸入治疗脓毒症中的作用[D].第四军医大学,麻醉学（专业学位）,2014,硕士.
[32]周先婷.20世纪上半叶胡适与冯友兰名家观比较[D].黑龙江大学,中国哲学,2013,硕士.
[33]于飞.HIP-HOP Dance健身课在健身房中的应用性现状研究[D].辽宁师范大学,体育教育训练学,2011,硕士.
[34]唐懿芳,牛力,钟智,张成奇.多数据库挖掘中独立于应用的数据库分类研究[J].广西师范大学学报(自然科学版),2003,04:32-36.
[35]陈昌禄.基坑水平降水的数学模型及应用[D].西安理工大学,岩土工程,2004,硕士.
[36]张小虎.靶场图像运动目标检测与跟踪定位技术研究[D].国防科学技术大学,2006.
[37]王宁.GLP-1受体激动剂Exendin-4改善老龄大鼠骨质疏松作用机理的研究[D].第四军医大学,药理学,2014,硕士.
[38]轩娅萍.向日葵黑茎病发生分布、分子检测及控制措施研究[D].新疆农业大学,植物病理学,2012,硕士.
[39]赵一平.白族语《黄氏女对〈金刚经〉》研究[D].复旦大学,文艺学,2013,博士.
[40]吴生金,唐和青,孟维孝,何小龙,李阳刚.厦门海底隧道穿越富水砂层施工技术[J].城市轨道交通研究.2007(08)
[41]张超.结合社交网络分析和协同过滤技术的推荐算法研究[D].吉林大学,计算机应用技术,2013,硕士.
[42]王思.基于SCORM标准的网络课程设计过程模型的研究与实现[D].西南交通大学,教育技术学,2013,硕士.
[43]刘妍.大中型印染厂废水治理工程工艺设计[D].吉林农业大学,农业资源利用,2012,硕士.
[44]李庆达.基于遗传算法的结构损伤识别方法研究[D].重庆交通大学,桥梁与隧道工程,2012,硕士.
[45]谢曦.BT项目回购风险控制中政府担保的研究[D].西南交通大学,公共工程组织与管理,2013,硕士.
[46]张波.基于移动互联网的企业级CRM系统设计与实现[D].北京邮电大学,计算机科学与技术,2013,硕士.
[47]傅书逷.IEEEPES2004会议电网安全问题综述及防止大面积停电事故建议[J].电力系统自动化,2005,08:1-4.
[48]任阿弟.常州传统园林研究[D].南京农业大学,风景园林,2012,硕士.
[49]张震霖.外挂物投放技术的数值方法研究[D].西北工业大学,流体力学,2004,硕士.
[50]刘韦华.天津某住宅小区绿色建筑评价分析[D].天津大学,环境工程,2013,硕士.