基于视觉的连续手语识别系统的研究

【摘要】手语是由手形、手臂运动并辅之以表情、唇动以及其它体势来表达思想的人体语言,具有规范的语法、明确的语义和完备的词汇体系。手语所含信息量丰富,与口头语及书面语等具有同等的表达能力,常用于聋人之间的信息交流和交际,也可用于聋校进行教学活动。一般常人不懂手语,与聋人存在语言交流障碍。手语识别系统正是基于这一问题提出来的。本文要开发的系统是一个基于视觉的手语识别,它通过采集手语动作的图像或者视频信息,提取取手语的特征,利用模式识别技术识别出手语所表达的语意。本文的研究工作包括以下几个方面：1.分析手语的基本要素中国手语作为手语的一个重要分支分为两类：手指语和手势语。手指语是用指式轨迹描述一个汉语拼音字母,并按照汉语拼音规则构成的语言。手势语是以模拟事物的形状、动作为主要手段,并辅以姿态和表情来表达的。手势语是聋人日常生活中使用的语言的主要部分。目前在中国手语教科书中每个手势对应一个汉语词。在我国聋人交往主要使用手势语,适当地配合手指语。2.手势分割本文中采用对人手图像提取HOG特征,即局部图像梯度的方向信息的统计分离出手的部分,HOG以其较好的鲁棒性以及对于光亮的不敏感性能够显著提高检测效果。从而为后面的特征的提取以及识别打下基础。3.静态手势特征提取及识别,静态手势主要是面对手指语,在本文中我们主要处理的静态关键手势为语句起始手势和语句结束手势,采集静态手语的HOG特征值,同时训练SVM识别器识别单一的静态手语。4.动态手势跟踪在手语的进行过程中,手作为非刚性物体在手语实现过程中会无规律的发生形变,所以常规的跟踪算法在跟踪记录手的运动轨迹中将极容易丢失跟踪目标,而又难以重新找回,本文采用TLD跟踪算法跟踪手势动作。TLD以其在线学习和检测跟踪同步机制保证了对于发生形变的手的动作的跟踪的稳定性,能实时的跟踪绘制手的运动轨迹。5.手语分类判别对于静态手势部分,由分割用到的HOG边缘特征数据作为后面识别原数据。对于动态手势,我们将采用TLD跟踪算法跟踪绘制其运动轨迹,结合开始的静态手势和结尾的静态手势识别连续动态手语。本文将建立基于词根的隐马尔科夫模型(HMM)识别手语。
【作者】陈小柏；
【导师】陈镜超；
【作者基本信息】东华大学，电子与通信工程（专业学位），2014，硕士
【关键词】连续手语识别；静态手势；动态手势；HOG；TLD跟踪；HMM；

【参考文献】
[1]李发惠.区间时变时滞系统的H_∞控制方法研究[D].青岛大学,系统理论,2013,硕士.
[2]陈小平.卵巢功能减退的临床影响因素与实验研究[D].广州中医药大学,中西医结合临床（专业学位）,2014,博士.
[3]祝宇红.离子条件下RNA折叠稳定性的理论研究[D].浙江大学,凝聚态物理,2014,博士.
[4]黄莺.农业灌溉用水效率及其影响因素研究[D].南京农业大学,技术经济及管理,2011,硕士.
[5]朱永康.新型导电用纳米石墨填料[J].上海塑料,2010,01:28.
[6]曾伟.奈韦拉平及其吡啶并二氮杂卓类似物的合成研究[D].大连理工大学,应用化学,2004,硕士.
[7]徐迅达,孙宏声.ARP欺骗原理和防范策略[J].电脑学习.2007(02)
[8]赵霞.后危机时期基于经济增长方式的转变对提高我国劳动者报酬研究[D].天津财经大学,劳动经济学,2012,硕士.
[9]张楠.透明有机薄膜晶体管的研究与制备[D].中国科学院研究生院(长春光学精密机械与物理研究所),2013.
[10]史东升.烟台市第一职业中专人事考评系统的设计与实现[D].山东大学,软件工程（专业学位）,2012,硕士.
[11]孙宏烨.廊固凹陷大兴砾岩体沙三段储层综合评价[D].中国石油大学（华东）,地质工程,2011,硕士.
[12]刘伟颖.助行腿串联弹性驱动器的系统设计[D].哈尔滨工业大学,机械电子工程,2014,硕士.
[13]祝伟.糖尿病视网膜病变激光与玻璃体手术治疗的临床研究[D].吉林大学,临床医学,2013,硕士.
[14]韩小冬.经济开发区行政管理模式的探索[D].内蒙古大学,公共管理,2013,硕士.
[15]翟琴琴.芜湖市失地农民就业培训研究[D].安徽大学,行政管理,2014,硕士.
[16]田岚,白树忠,董春阳.基于Walsh变换的汉语非特定人语音识别的研究[J].控制与决策,1997,02:142-145.
[17]闫宗宝.针刺取热（烧山火手法）治疗寒凝血瘀型原发性痛经的临床研究[D].黑龙江省中医药科学院,针灸推拿,2013,硕士.
[18]闫朝敏.基于IP分组网的视频会议系统的研究与实现[D].河海大学,通信与信息系统,2004,硕士.
[19]耿浩杰.基于SPWM三相全控整流电路的研究与仿真[D].河北大学,电路与系统,2014,硕士.
[20]王义.关于振兴东北老工业基地理论思考与政策建议[D].吉林大学,国民经济学,2004,硕士.
[21]张睿.同益光电公司系统集成项目投标策略研究[D].吉林大学,工商管理,2013,硕士.
[22]郑新春.金藤清痹颗粒治疗类风湿关节炎（毒热内蕴、湿瘀阻络证）临床研究[D].湖北中医学院,中医内科学,2004,硕士.
[23]KaziMohiuddinJilany.照明产品消费模式改变的影响因素分析[D].上海大学,企业管理,2014,硕士.
[24]刘志军,陈福根,张永光.参数估计法检测与诊断铁路运输车减振装置故障[J].自动化学报,1992,05:633-636.
[25]吴顺兴.金属陶瓷刀具高速铣削超高强度钢铣削力及刀具磨损研究[D].湖南科技大学,机械工程,2013,硕士.
[26]祝运海.基于AHP法的食品产业区域竞争力分析[J].重庆与世界(学术版),2015,01:13-16.
[27]邵小芬.基于全球价值链的浙江地方纺织产业网络升级研究[D].浙江工业大学,2007.
[28]张夏娜.甘肃省生产性服务业与制造业互动关系研究[D].西北师范大学,区域经济学,2013,硕士.
[29]龙晓静,高翠丽,王兵兵,赵卫,潘若才,夏延致.碳材料对海藻酸钠纺丝液降解性的影响[J].纺织学报,2014,02:138-144.
[30]丁陈飞.VLIW体系的多簇DSP分簇算法的研究和复数运算的优化[D].中国科学技术大学,计算机应用技术,2014,硕士.
[31]谭群华,李伟,王永强,孙增圻.一种控制机械手的自调节模糊逻辑控制器[J].自动化学报,1997,01:87-91.
[32]张丽清.新世纪中国的文化自觉[D].福建师范大学,马克思主义哲学,2013,硕士.
[33]朱金涛.中国基本公共服务均等化问题研究[D].吉林大学,财政学,2014,硕士.
[34]黄礼群.1927-1937年安庆公共卫生研究[D].安徽大学,中国近现代史,2013,硕士.
[35]李昆.彩色图像生物特征识别的统计正交分析方法研究[D].南京邮电大学,模式识别与智能系统,2013,硕士.
[36]张勤.神仙“七宗罪”[D].西南大学,中国古代文学,2014,硕士.
[37]薛瑞婷.番茄渣单贮和混贮品质评定及对奶牛生产性能影响的研究[D].内蒙古农业大学,养殖,2013,硕士.
[38]刘雨贵.巨块型肝癌多层螺旋CT与DSA的影像对比研究[D].广州中医药大学,影像医学与核医学（专业学位）,2013,硕士.
[39]尚春林.中国银行长春城区公司业务实行SBU组织结构变革研究[D].吉林大学,高级管理人员工商管理（EMBA）（专业学位）,2014,硕士.
[40]调查人中共浙江省委常委宁波市委书记刘奇.新材料孕育产业发展新活力[N].光明日报,2014-06-10011.
[41]武祥达.医疗保障体制改革中政府的伦理责任研究[D].上海师范大学,伦理学,2013,硕士.
[42]韩少华.变采样周期网络化系统的协同设计及其仿真研究[D].兰州理工大学,控制理论与控制工程,2014,硕士.
[43]刘文娟.GPS在地籍测量中应用的研究[D].燕山大学,建筑与土木工程,2014,硕士.
[44]杨明华.奇异矩阵束的标准形与广义逆[D].哈尔滨工业大学,基础数学,2013,硕士.
[45]杨梦龙.基于财务战略视角的税收筹划研究[D].内蒙古大学,会计,2014,硕士.
[46]崔学雷.热式质量流量计的应用及工程设计[J].冶金自动化,2000,05:51-53.
[47]朱爱华.基于ANSYS的往复泵结构分析软件系统的研究与开发[D].浙江工业大学,机械电子工程,2004,硕士.
[48]陈堂敏.数据挖掘重整风机监控系统的研究[J].计算机应用,2004,11:71-74.
[49]马玉磊.胭脂花生长发育和花期调控研究[D].北京林业大学,园林植物与观赏园艺,2013,硕士.
[50]张建华.1~7周龄黑羽公番鸭能量和蛋白质需要量研究[D].湖南农业大学,动物营养与饲料科学,2012,硕士.