基于语音识别的构音及语音障碍自动评估系统研制

【摘要】我国言语构音、语音障碍患者数量较多,而相关的障碍评估方法主要以主观听觉感知为主,缺乏一定的客观性和稳定性。近年来,语音识别技术在多个领域得到了广泛的应用,在言语语言教育方面的应用研究也取得了一定成果。但是在言语障碍评估与康复研究领域,基于语音识别的相关研究成果并不多见,而且未能引起足够的重视。本研究根据国内外言语构音、语音障碍的评估方法研究现状和发展趋势,综合语音识别技术在言语语言教育中应用的研究成果,进行了言语构音障碍、语音障碍自动评估的探索性研究。本研究首先提出基于语音识别进行构音障碍自动评估的基本思想,即能够通过计算机等设备对患者的构音功能从内容、声调以及障碍类型三方面进行自动评价。为验证基于语音识别的构音障碍自动评估方法的可行性,本研究基于微软公司发布的自带识别引擎的SpeechSDK开发了构音障碍自动评估可行性分析系统。通过比较使用该系统和主观听觉感知方法对3-6岁健听儿童的构音能力评估的结果,得到构音障碍自动评估可行性分析系统对全部被试的平均识别准确率达到83.5%,初步说明基于语音识别的构音障碍评估方法是可行的,但仍无法满足言语障碍评估与康复的临床实际需求。本研究也因此提出了基于改进技术方案的构音障碍自动评估方法。采用自行构建的识别引擎和微软内置的识别引擎构建“双识别引擎”的构音障碍自动评估系统。首先,本研究采用基于隐马尔科夫模型的语音识别算法,从整体平均的角度来实现最优的识别过程,在统计框架中寻找能够使模型参数最大化的词条作为识别结果。提取62名3-6岁健听儿童按照指定词表所发语音的39维参数制作标准声学模型。根据前人对听障儿童构音障碍评估的研究成果,得到普通话声母和韵母的常见构音障碍具体情况,将构音障碍产生的词条汇总成表。基于微软SpeechSDK实现构音障碍类型的检测模块。最后,基于SMDSF算法提取语料的4维基频特征,制作用于实现声调识别的标准声调识别模型。效果验证包括两方面,一方面使用与构音障碍自动评估可行性分析实验相同的健听儿童语料来验证系统的识别性能,识别准确率达到98%以上；另一方面采用主观听觉感知评估与语音识别评估对比的方式,对3-5岁的听障儿童的构音能力进行评估。结果证明两种方法得到的结果没有显著性差异,四项构音清晰度指标的值基本一致,能够基本实现构音障碍的自动评估。在构音障碍自动评估系统构建的基础上,本研究通过改进识别算法提出了语音障碍自动评估系统。在自行构建的标准声学模型基础上,分别提出了《语音重复能力测验词表》和《语音切换能力测验词表》以及基于这些词表的语音障碍自动评估方法。然后,同样基于微软SpeechSDK提供的具备优先识别指定词条功能的API函数,实现语音重复和语音切换的障碍检测。最后,以听障儿童为对象,采用主观听觉感知评估与构音识别评估对比的方式,对语音障碍自动评估系统进行效果验证。结果证明。语音障碍自动评估系统的评估结果与主观评估结果没有显著性差异,两种方法得到的评估指标结果基本一致,能够基本实现语音重复能力和语音切换能力的自动评估功能。
【作者】司博宇；
【导师】黄昭鸣；
【作者基本信息】华东师范大学，言语与听觉科学，2014，博士
【关键词】语音识别；构音障碍评估；语音障碍评估；言语障碍自动评估；

【参考文献】
[1]张青,吕崇德.双信号预测控制[J].控制与决策,1998,04:86-89.
[2]崔诚.奥美拉唑肠溶胶囊制备工艺研究与体内外相关性探讨[D].中国食品药品检定研究院,药物分析,2014,硕士.
[3]谌家喜.直接数字化X线摄影系统图像处理方法研究[D].中国科学技术大学,2008.
[4]蔡顺康.《科技翻译中选词特点及方法浅析》翻译项目报告[D].华中科技大学,翻译,2013,硕士.
[5]曾帅.动力总成悬置系统隔振研究与优化设计[D].上海工程技术大学,车辆工程,2011,硕士.
[6]于建辉.我国可再生能源发电的研究与杭州10kV配电网合环问题的研究[D].浙江大学,2007.
[7]陈巧玉.亚纯函数值分布与正规族理论的一些新结果[D].华东师范大学,基础数学,2014,博士.
[8]林宝源.基于公钥密码体制和DWT的数字水印[D].杭州电子科技大学,电子与通信工程,2011,硕士.
[9]骆艳.俄藏未刊布西夏文献《天盛律令》残卷整理研究[D].宁夏大学,中国古代史,2014,硕士.
[10]宋涵.磁共振弥散加权成像在腰骶部脊神经的临床应用[D].吉林大学,影像医学与核医学,2014,硕士.
[11]安秋生.基于GrC的信息系统软规则及其度量关系的研究[J].计算机工程与应用,2005,11:152-154.
[12]郝清珍.山区农村公路水毁预估评价模型研究[D].长安大学,交通运输工程（专业学位）,2013,硕士.
[13]刘碧玉,桂卫华,陈宁.离散关联系统的时滞相关输出反馈分散鲁棒控制[J].自动化学报,2007,06:660-663.
[14]唐雪华.印尼玛琅国立大学中文系学生汉语常用连词习得偏误分析[D].广西师范大学,汉语国际教育（专业学位）,2014,硕士.
[15]宋雨菡.课堂活动在汉语国际教学中的应用[D].郑州大学,汉语国际教育（专业学位）,2013,硕士.
[16]蒋侃.论公共服务供给民营化改革的障碍及其突破[D].苏州大学,公共管理（专业学位）,2012,硕士.
[17]李林芮.武警部队大学生士兵的管理问题研究[D].湖南大学,公共管理,2011,硕士.
[18]李威.白念珠菌感染KB细胞的IL-6mRNA及蛋白表达的实验研究[D].大连医科大学,口腔临床医学,2012,硕士.
[19]高珊.纤维增强镁铝基复合材料制备和性能研究[D].太原理工大学,材料加工工程,2004,硕士.
[20]张兴无.合作社是农业产业化的有效载体[D].中央民族大学,政治经济学,2004,硕士.
[21]罗哲.曲面微光学结构纳米压印制备技术研究[D].哈尔滨工业大学,仪器科学与技术,2013,硕士.
[22]郭延熙.米糠抗氧化肽的酶法制备及其特性研究[D].中南林业科技大学,食品科学,2013,硕士.
[23]苗惠萍.高中英语阅读教学元认知策略培训研究[D].山东师范大学,学科教学（专业学位）,2013,硕士.
[24]张拯,崔芒伟,蒋海炜,高峰,田真,朱玉婷,冉娜妮,康利涛.锂离子电池复合负极材料研究进展[J].化工新型材料,2014,07:18-20.
[25]刘金程.考虑与结构共同作用的模板支撑体系施工期稳定性研究[D].湖北工业大学,结构工程,2014,硕士.
[26]李蓉,宋飞,张琳娟,张宏科.基于VANET叫车系统的路由算法研究[J].计算机应用与软件,2015,05:153-156.
[27]俞树保.刑事推定适用中的证明责任与证明标准问题研究[D].西南政法大学,诉讼法学,2012,硕士.
[28]于慧伶.关于构建水泥企业数据仓库的研究与探索[D].东北林业大学,2003.
[29]朱志高.氟化超双疏聚丙烯腈/聚氨酯纤维膜的制备及其空气过滤性能研究[D].东华大学,材料工程（专业学位）,2014,硕士.
[30]孙树雯.工商机关网络商业监管职能研究[D].燕山大学,公共管理,2012,硕士.
[31]谢欢.基于广域测量的低频振荡分析方法与技术[D].河海大学,电力系统及其自动化,2004,硕士.
[32]刘长虹,徐婧婷,韩俊俊,冷劲松.经过发酵处理的低温脱脂豆粉在馒头中的应用[J].食品与发酵工业.2006(12)
[33]付振东.TLR3及相关免疫细胞与HBV宫内传播的关系研究[D].山西医科大学,流行病与卫生统计学,2013,硕士.
[34]李雯.公司治理结构对内部资本市场效率的影响研究[D].青岛理工大学,会计学,2012,硕士.
[35]张富强,文福拴,颜汉荣,余志伟,钟志勇,黄杰波.基于智能体仿真的无功市场力分析[J].电力系统自动化,2009,22:18-24.
[36]林磊山.医院服务设计缺陷对患者不当行为意向影响研究[D].浙江工商大学,企业管理,2013,硕士.
[37]李鹏.凝集素样氧化低脂蛋白受体1在心肌细胞氧化应激时的表达[D].山西医科大学,心血管内科,2013,硕士.
[38]韩先先.内向型汉英词典中成语条目的译义策略[D].南京大学,英语语言文学,2013,硕士.
[39]潘胜.锌冶炼厂烟气脱硫的研究[D].北京化工大学,化工过程机械,2013,硕士.
[40]王辉.山东省物流业的产业关联效用分析与启示[D].山东大学,工商管理（专业学位）,2012,硕士.
[41]郑绍乐.双学制下初中历史教学的学生适应性浅析[D].内蒙古师范大学,教育（专业学位）,2013,硕士.
[42]张雄,温治,豆瑞锋,周钢,李志强.退火温度对430不锈钢冷轧板组织和力学性能的影响[J].北京科技大学学报.
[43]王奇黎.改性酚醛泡沫塑料的研制[D].沈阳理工大学,材料物理与化学,2013,硕士.
[44]陆凯.用于图像重建的图像快速高精度匹配算法研究[D].苏州大学,检测技术与自动化装置,2014,硕士.
[45]朱本奥,匡勇,刘柳,张燚,张保生.多孔介质燃烧器研究[J].应用能源技术,2015,02:30-33.
[46]杜景路.京津冀生态补偿法律问题研究[D].河北大学,法律（专业学位）,2014,硕士.
[47]李凯.基于物元可拓模型的水闸工程安全评价研究[D].东北农业大学,农业水土工程,2013,硕士.
[48]杜睿.面向网络舆情的思想政治教育研究[D].吉林大学,学科教学（专业学位）,2013,硕士.
[49]周志.茶叶有效成分复合提取工艺研究[D].华中农业大学,农产品加工及贮藏工程,2001,硕士.
[50]申小阳.数字仪表动态显示字符的计算机自动识别[D].浙江工业大学,2005.