多模态输入对英语听力理解的影响
【摘要】随着多模态和多媒体在外语教学中的日益广泛运用,研究外语听力中视频输入的理解机制具有重要的理论与实际意义。为避免视频使用的表面化和形式化,为听力教材和的开发,课堂教学和测试题设计提供指导性原则,有必要探讨视听输入模式对理解效果的影响程度,以及视觉理解和听觉理解的本质与互动过程。为弥补这一领域的研究匮乏,本研究—多模态输入对英语听力理解的影响—探查了三个问题,旨在发现影响多模态理解的变量及各变量对听觉输入解读的干涉程度。研究问题包括：1)视觉输入如何影响理解过程?利用视觉信息的能力是否应纳入听力的定义?2)各种画面类型对受试听力结果的影响如何?3)各类型画面对不同语言水平的受试影响是否具有一致性?本研究以多模态认知模型为理论框架,将视频镜头分为场景视频和内容视频。前者展现言谈者的举止神态和副语言特征,而后者显示实景事物和事件进程。据McGurk效应,场景视频中的唇型等因素在语音层面与听觉输入互动,手势等身体语言在语言处理的各层面与听觉输入互动；而内容视频信息在语义层面与听觉输入融合。内容视频和音频输入由工作记忆中的处理器分别加工,建立独立的意义模型,然后汇集于中央决策器中形成完整的意义。内容视频和语言输入的关系经多模态话语分析可分为意义重合,意义相关和意义分歧。这一理论模型假设：场景视频在理论层面上对听力理解有积极影响；而对于内容视频,随着视听意义相关度的降低,视觉输入的辅助作用减弱而干扰作用增强。本研究把包括场景视觉输入的听力理解归纳为弱式听力而包含内容视觉输入的听力界定为强式。本文采用直接研究与间接研究相结合的方法获得定量及定性数据以分析学习者的听力理解过程。为了增加研究样本的广度和深度,我们设计了问卷调查,视听对比测试和口头报告。三个实验的结果相互解释,补充和支持。问卷调查包括对教师的问卷和对高水平组和低水平组学生的问卷。调查结果展现了多模态教学的现状和问题,具体表现在：1)受访学生不善于利用神态和肢体语言等视觉线索辅助理解,因此场景视频对听力理解未必产生积极影响；2)高水平学习者对视频用于学习和测试持更积极态度,并显示出更好的视听理解策略;而教师对视频在任务设计中的作用和策略培训方面缺乏清晰的了解；3)低水平学习者似乎在整体理解上更受视频影响,而高水平学习者在句子层面上也受益于视频。视听对比实验由两个使用内容视频的测试和一个使用场景视频的测试组成。前者分别选取视听相关度高和低的两个视频片段,用以比较视听高班,听力高班,视听低班,听力低班对整体理解和视听相关度高低不同的细节理解差异。ANOVA分析表明：视听相关度高的视频显著提高受试的理解率;视听相关低的视频也有助于整体大意的理解,但对视听一致度低的听力细节没有作用。折线图显示视听一致性高的视频对低水平学生的提示超过高水平学生。这暗示内容视频有可能降低听力练习的区分度。后者针对一个访谈片段设计了听力理解和词汇识别题,以研究口唇型和肢体语言对语音和语义解读的作用。独立样本T检验表明视听组并无显著差异,这意味着场景视频不显著干扰听力测试结果。在口头报告中,代表低水平的两人和代表高水平的两人分别就所给视频向研究者做出视听理解的即刻回顾,并回答研究者提出的问题。在即刻回顾过程中,受试描述了视觉理解和听觉理解的内容,以及如何达到整体理解；随后他们回答了对视听的总体认知及视频在教学与测试中的态度。具体发现有：当听力难度较大时,低水平受试通过视觉理解,自下而上的听力过程受阻：高水平受试更善于利用视觉信息强化自上而下的听力过程,展现出更佳的视听策略；视频镜头的信息量影响理解,信息量过大则干扰性大于辅助性；存在影响理解的个人因素,如视觉能力,空间能力等,这意味着听力以外的能力影响测试成绩。综合上述三个研究的结果,形成了本研究问题的答案：问题2)：就场景视频而言,尽管理论模型推断其能够辅助听力,这一作用在现实条件下并未得到显现；就内容视频而言,高视听相关度可显著提高听力输入的理解。低视听相关度对整体大意的理解仍有积极影响,但对细节辨识没有显著影响。问题3)：口头报告表明,内容视频的辅助性和干扰性对低水平学习者的作用均大于高水平学习者,证实了视觉设计效应在低水平者中更强。这两个问题的结论为弱式的听力定义和结构提供了环境上,理论上和实证上的支持,即问题1)的结论：在目前中国的教学环境下,场景视频纳入听力定义更具有合理性。本文最后探讨了此研究的理论和实践意义。首先,本研究的主要发现之一是学生英语水平影响视听互动的方式和程度,多模态认知模型中应纳入语言水平这一变量。这意味着教师和教材编写者应把学生水平和视听材料的语言难度相匹配,才可避免视频使用的肤浅性和形式化。其次,要关注视频的性质和质量,如镜头分类,画面特点,视听一致程度,视觉信息负荷等,并据此合理设计听力练习。此外,教师应注意视听策略的归纳,并对学生进行系统性训练。最后,场景视频应广泛应用于教学,并在测试中加以尝试,以达到较好的反拨作用。总而言之,为了最大限度发挥科技对语言教学的促进和贡献,多模态输入中视频种类,视听一致性和学习者水平之间的相互关系值得进一步研究。
【作者】李红叶；
【导师】邱东林；
【作者基本信息】复旦大学，外国语言学及应用语言学，2013，博士
【关键词】多模态输入；听力理解；内容视频；场景视频；
【参考文献】
[1]沈鹏飞.新型N-烷基取代3,4-二氢嘧啶酮-卟啉的合成研究[D].湖南科技大学,化学,2013,硕士.
[2]张大亮,康进.如何深入挖掘患者满意度数据[J].中国医院管理,2005,07:50-53.
[3]赵振峰.发电集团燃煤调配优化及系统开发[D].华中科技大学,热能工程,2013,硕士.
[4]龙成.基于DAVINCI平台的运动物体捕捉系统研究[D].西南交通大学,通信与信息系统,2013,硕士.
[5]李杨.股指期货与沪深300ETF统计套利研究[D].西南交通大学,金融学,2013,硕士.
[6]孙慧颖.唐宋文学中的芍药[D].安徽大学,中国古代文学,2013,硕士.
[7]孔万斌.地方政府融资平台的风险评估与控制研究[D].湘潭大学,公共管理,2011,硕士.
[8]邵静.An Empirical Research on the Cultural Contents in New Horizon English Course[D].西安外国语大学,外国语言学及应用语言学,2014,硕士.
[9]梁志坤.线性系统超前校正环节的设计方法[J].冶金自动化,1984,04:44-48.
[10]郭宁宁.苏州市沧浪区初中课外体育活动开展现状的研究[D].苏州大学,体育教育训练学,2012,硕士.
[11]詹厚龙.中国省域R&D空间溢出效应研究[D].重庆工商大学,统计学,2014,硕士.
[12]韩朝霞,孙方遒,谷爱军.道岔区钢弹簧浮置板轨道结构静力分析[J].铁道标准设计,2014,01:1-5+11.
[13]杨丽萍.α硫辛酸对阿尔茨海默病模型大鼠海马区PKA-CREB信号通路的影响[D].河北医科大学,神经病学（专业学位）,2013,硕士.
[14]王金伟.近十年我国电影产业政策研究[D].山东大学,专门史,2013,硕士.
[15]孙媛媛.TSHR基因内含子1区域基因多态性与Graves病的相关性研究[D].泰山医学院,内科学,2012,硕士.
[16]崔志莹.普通高中体育舞蹈选项课教学设计与可行性研究[D].河北师范大学,体育教学,2013,硕士.
[17]汤卫东.数据挖掘技术在入侵检测系统中的应用[J].广西民族学院学报(自然科学版),2002,04:51-53+56.
[18]郑莉莉.我国城市化进程中耕地保护制度研究[D].安徽大学,法律,2014,硕士.
[19]黄云志,吴红斌,黄海宏,王磊.以专业认证为导向的电气专业课程体系建设探析[J].中国电力教育,2014,02:93-94.
[20]郑艳杰.仿生荧光聚合物的温度诱导荧光增强及其应用[D].上海交通大学,材料科学与工程,2014,硕士.
[21]王婕妤.非刚性医学图像配准算法研究[D].苏州大学,信号与信息处理,2013,硕士.
[22]曾春芳.氧化石墨烯的液化和石墨烯流体在橡胶复合材料中的应用[D].华南理工大学,2013.
[23]于义杰.引入公司治理变量的财务危机预警研究[D].山东财经大学,会计学,2012,硕士.
[24]陈耘.我国融资结构的缺陷分析与对策研究[D].武汉理工大学,国际贸易学,2003,硕士.
[25]孟凡达.两种疗法对恢复期贝尔氏麻痹血瘀证的临床疗效对比研究[D].云南中医学院,针灸推拿学（专业学位）,2012,硕士.
[26]金台.超声速湍流燃烧多物理耦合的直接数值模拟研究[D].浙江大学,2015.
[27]郝婷.素馨花总环烯醚萜苷提取纯化工艺及质量标准的研究[D].承德医学院,中药学,2011,硕士.
[28]刘劲松.基于Web Service的网络交流平台开发与应用[D].河北大学,工程硕士（专业学位）,2014,硕士.
[29]吴守琦.通货膨胀目标制可行性研究[D].重庆工商大学,统计学,2014,硕士.
[30]钟献词.积分变换方法求解压电带形中静止或运动的共线裂纹问题[D].湖南师范大学,计算数学,2004,硕士.
[31]记者贺广华王伟健.江苏让科研走出实验室[N].人民日报,2015-06-22001.
[32]屈文会.城市化进程中南京农民工与城市体育融合的现状与对策研究[D].南京师范大学,体育教育训练学,2012,硕士.
[33]张媛媛.城乡结合部小学教育家校合作的调查研究[D].鲁东大学,教育管理（专业学位）,2013,硕士.
[34]都基宬.海防炮兵信息化指挥系统[D].大连理工大学,计算机应用技术,2013,硕士.
[35]王锦霞.心理疏导在高校思想政治教育中的运用研究[D].河北师范大学,思想政治教育,2012,硕士.
[36]冯利军.地税部门人力资源管理中的激励机制研究[D].内蒙古大学,公共管理,2014,硕士.
[37]吴婧婧.泉州正奇贸易公司发展战略研究[D].华侨大学,工商管理（专业学位）,2014,硕士.
[38]张梦.类别不平衡条件下的小样本加密流量识别[D].哈尔滨工业大学,计算机科学与技术,2013,硕士.
[39]肖晗.空腹式桁框结构的动力特性研究[D].山东建筑大学,结构工程,2013,硕士.
[40]王琪越.纳吐夫文化再研究[D].吉林大学,考古及博物馆学,2013,硕士.
[41]张祥.我国企业国际化经营及其绩效研究[D].西南财经大学,企业管理,2013,博士.
[42]董吉卫.寄主植物花对绿盲蝽种群发生的调控作用[D].扬州大学,农业昆虫与害虫防治,2012,硕士.
[43]王萌.中国信托登记制度研究[D].中国社会科学院研究生院,经济法（专业学位）,2014,硕士.
[44]刘胜文.高二学生“原电池”前概念测查与教学研究[D].山东师范大学,教育（专业学位）,2013,硕士.
[45]黄谷子.虚拟社区客户知识转移与企业创新绩效关系研究[D].浙江大学,2007.
[46]蔡翔.如何确定3G业务的价格[J].现代电信科技.2003(05)
[47]赵文涛.异构蜂窝无线网络规划和优化算法[D].南京大学,通信与信息系统,2013,硕士.
[48]黄明亚.基于ADAMS的周边桁架式卫星天线仿真研究[D].中北大学,模式识别与智能系统,2014,硕士.
[49]张家昌,马从权,刘文山.BIM和RFID技术在装配式建筑全寿命周期管理中的应用探讨[J].辽宁工业大学学报(社会科学版),2015,02:.
[50]雷帅.基于VB平台的铁路桥墩计算分析及应用程序开发[D].北京交通大学,桥梁与隧道工程,2013,硕士.
