第一章 视听化教材在语言教学中的应用
本章简介：本章简要介绍了课题的研究思路和研究方法，聚焦视听化教材的使用现状，基于当前外语教育中运用多媒体的热潮，提出要冷静思考其作用和应用范围。
引言：在视听信息成为主流媒介的信息化时代，多媒体逐渐由教学辅助手段转变为教师进行教学的主要方法。借助多媒体使教学材料视听化，通过视听双通道信息加工，减轻学生的认知负荷，以提高学习效率已成为人们的共识。然而，在视听化教材占据课堂教学、发挥其优势的同时，其功用是否也存在一定的局限性呢？在本章中，我们将对这一问题提出冷静的思考与建议。
第一节 视听化教材的应用现状及使用误区
现代教育技术的迅猛发展为外语教学提供全方位的助推力，从供学习使用的设备，到便捷、丰富的学习材料，数字化催生了外语学习的最好时代。大学英语教学逐渐呈现信息教育的特征，教学环境虚拟化，教材立体化，教学资源网络化，多媒体成为教学生态必不可少的一部分。在活化教材提高大学英语课堂效率方面，大多数研究都着眼于开发视听教材，把英语教学活动情景化，以图片、音频、视频等多媒体材料辅助教学，借助多通道减负策略，力求提高教学效率。网络覆盖每一个角落，所有的文本学习材料，几乎都被配备上了PPT和音频、视频资料，这些资料带着“鲜活和热闹”不断涌向学习者，如此让人眼花缭乱，外语学习不再是简单的语法讲解和词汇听写，而是看视频，听音乐，教学手段花样翻新。在这种热闹的背后，需要冷静分析其存在的问题。
一 视听化教材使用误区
课题组在历时三年的研究中发现，视听化教材的使用可能存在三个误区。
第一，教师在视听化教材的设计和使用中存在误区。由于对多媒体教学的原理机制理解不到位，教师容易出现“重视听形式、轻教学目标”的倾向，同时，对视听化学习资料呈现的时机和呈现的方式把握不准，引发知识反转效应，没有发挥教材应有的作用。
第二，视听化教学材料并不适用于所有语言技能的培养。过度依赖音频、视频学习资料，学生习惯于刺激鲜明的非连续性阅读，深度文本阅读很难再唤起学生的兴趣。语言学习的四项基本技能中，听和说的能力可以通过情景化的视听材料得到较好的发展，这就是多通道信息加工可以发挥的优势；而读和写的语言技能在碎片化的学习中被弱化。现在大学英语分为《读写教程》和《视听说教程》，在读写课上多媒体的角色应该只是起画龙点睛的辅助作用，PPT的内容可以是关键词、框架；但事实上PPT包罗万象，内容详尽，一页一页，满满当当，所有的教学信息都投影在屏幕上，造成教师念PPT，学生拍PPT 的“繁忙景象”，读写课成了PPT展示。在视听说课上更是多媒体的天下，播放录音和视频资料的时间占了60%；而学生真正使用英语练习听和说的时间不足15%。其中原因有班级太大，组织课堂活动困难；缺乏听力练习的设施，放录音练习听力效果不佳，视听说课沦为听录音，学生不戴耳机，听录音效果较差。
第三，视听化材料阻碍学生主动思考，使得思维加工模式简单化。在信息时代，海量的碎片化视听材料充斥校园，学生在长期多通道刺激的狂轰滥炸之后，习惯于被动接受，缺乏主动思考，思维加工模式简单化，不能充分利用自己已有的知识进行信息的认知加工；[1]缺乏对文字的想象加工，想象力减弱；缺乏系统深入的语言学习，写作能力得不到提升。
所以，我们希望通过设计科学严谨的实验，来探讨多通道信息加工对语言学习影响，以及简单视觉材料和深度文本对思维的影响，以为语言教学提供指导与启示。我们的研究着力探索培养学生独立思考能力、思辨能力和发散性思维的有效途径，帮助学生树立对视听文化保持批判性思维的态度，培养其缜密的逻辑思维能力和归纳推理能力，将碎片化知识系统化、规范化。通过回归深度文本阅读，培养学生的思维模式和写作能力。通过阅读精美的人文素材、严谨的科学文献，通过多元互动的教学模式，培养学生的多元识读能力。
视听化教材的使用误区源于使用者（users）对其认知机制不理解，不懂其中的心理学原理。[2]下面，我们来分析一下视听化教材的设计，其中的多媒体教材即指视听化教材。
二 视听化教材使用现状的调查发现
本研究针对教师采用多媒体（“多媒体”文中同“视听化教材”，包括PPT、音视频资料）教学时课堂基本情况、任课教师教学课件制作和使用水平、教学效果及影响因素、教学设备状况、存在的问题以及改进的建议等多方面的问题设计了调查问卷。在德州学院大一、大二两个年级共发放问卷500份，回收有效答卷472份，对选择题作了完整的选择，并提出了一些意见和建议。
对使用多媒体的必要性，35%的被调查者认为“很有必要”,65%认为“有必要”,21%认为有些课程没有必要使用多媒体。但是87%的被调查者认为大学英语课程中“必须使用多媒体”。对多媒体的使用形式和教学效果调查结果表明，多数同学对多媒体教学效果持肯定态度，绝大多数同学希望多媒体能更好地与传统教学相结合，使二者取长补短、相辅相成；大部分学生认为现有的多媒体硬件设备还可以，但使用策略需要改进；57%的学生对多媒体教学的适应情况“还可以”，但23%的学生感觉多媒体教学的内容多，翻页太快，无法留下深刻的印象，11%的学生对多媒体课件的文字和辅助内容的搭配不满意，“文字太多，复制课文到PPT上”，导致课件沉闷，引起同学们的视觉疲倦，也造成了同学们上课只能专注于抄笔记，而无暇听老师讲课。部分教师课件做得不精练，整板整板的篇幅，字号又很小，放映太快，一晃而过，缺乏重点，条理不清晰。9%的学生认为PPT 太花哨，动画和插图装饰太多，干扰了注意力的集中。在停电或多媒体出现故障时，部分老师不能采取其他方式继续完成课堂教学，“离开多媒体，老师好像不会上课了，俺也不知道看什么”。
调查结果发现，多媒体使教学变得形式更加多样、新颖、形象生动，能调动学生上课的积极性；节省板书时间，提高教学效率；图文并茂，适合多角度观看，视听效果良好，记忆深刻。但教师在使用多媒体教学时一般会进度较快；多媒体教室光线太亮，学生看不清屏幕，如果窗帘密闭，则光线太暗，学生不能记笔记。教师在制作时要优化画面，使重点突出；在使用多媒体时要注意观察学生接受的情况，使师生互动更多，让学生跟上PPT的思路和速度。由于多媒体课堂容量较大，需要督促学生做好课前预习。多媒体课堂教学尚存在一些问题：音响效果差，声音不清晰，回音大，噪音大，或者话筒是坏的，教室不隔音，几个教室之间互相干扰等。硬件上的问题解决起来似乎更加明确直接，而“软件”——教师对多媒体的认识（包括对多媒体的教育学和心理学原理及对多媒体的应用技术）更加重要。
第二节 视听化教材对语言教学的影响与研究
一 多媒体学习对语言教学的影响
20世纪80年代，澳大利亚心理学家John Sweller 等人提出了认知负荷理论（Cognitive Load Theory），认知负荷是指人在学习或任务完成过程中进行信息加工所耗费的认知资源的总量。认知负荷理论从心理学角度为教学媒体的选择与设计提供了理论框架，并且提出了一系列可以用于降低认知负荷的方法。美国教育心理学家、多媒体学习的认知心理学研究的开拓者Richard E.Mayer建立的多媒体学习中的认知理论模型解释了视听双通道信息加工的认知过程[3]（见图1-1）。
在语言加工的过程中，多媒体技术的发展带来了同时诉诸人们多种感官的媒体信息，学者们对多媒体教学对语言习得的影响的研究方兴未艾。王晓丹（2012）在其硕士学位论文《“P-S-K”三通道多媒体学习认知模型》中，提出了多媒体学习过程可以通过感觉、语义和动觉三个通道共同加工信息，突破了传统的视听双通道理论。[4]李晓媛在《输入模式与辅助手段对二语学术语篇理解中认知负荷的影响》的研究中发现，图示会削减听、读理解中的认知负荷。[5]
图1-1 多媒体学习中的认知理论（Mayer,2005）
然而，随着多媒体教学的普及，学者们也对其局限性展开了研究。赵立影的博士学位论文《多媒体学习中的知识反转效应研究》，发现多媒体学习中不同呈现方式学习效果的差异受学习者知识水平的影响。[6]对于低知识水平学习者来说有效的多媒体呈现方式在面对具有一定知识经验的学习者时可能无效甚至产生负面作用，反之也是如此，这一现象被称为知识反转效应。宋起慧和尹德谟对外语学习“双元结构”论在英语阅读中的多系统多通道联制机制展开研究[7]；孙崇勇研究发现学习者的相关认知负荷只能提高迁移成绩[8]。对认知负荷的研究在内容上拓展到生理机制、心理机制、认知机制、神经机制等多系统多通道的联制动态过程，研究模式更注重实验设计。
学者们采用不同的研究方法论证多媒体技术对语言教学的影响。蔡艳玲对学习任务认知负荷进行了研究，论述认知心理学界在语言学习、数学统计、多媒体教学等领域对认知负荷所进行的测量研究[9]，而现实中对认知负荷的测量比较难操作，所以在教学中如何用量表检验教学模式的认知负荷难以实施。季月在《选择性注意理论与多媒体外语课堂中教学信息的呈现》中，在注意理论和相关研究的基础上提出了外语课堂中教学信息的呈现原则。[10]本课题的研究重点之一就是教学信息的呈现须顾及学习者的需求和认知加工特性，在注意理论的基础上进一步注重心理和生理机制。
关于文本阅读信息加工过程研究，莫雷等人提出文本阅读双加工理论，并对文本阅读的主要争议进行了整合。该理论的核心观点是文本的自然阅读过程是连贯阅读与焦点阅读的双加工过程[11]。另外，研究者们对文本阅读的认知神经研究的现状及其存在的问题进行了总结，但是还没有对纯文本阅读对语言思维模式的影响部分做深入的研究，这也给本课题留下一定研究空间。
在目前众多学者肯定多媒体教材的广泛使用带来的课堂效率提高的基础上，学界将会展开对多媒体教学风靡课堂热潮的冷思考。越来越多的学者将关注对视听结合的信息加工模式的研究、关注碎片化的视图阅读有可能造成的消极影响，并且这类研究将多聚焦于深度阅读与浅阅读的比较。研究模式方面，国内外的相关研究将越加重视模型研究和实验研究，对研究设计的科学性提出越来越高的标准。
二 已有研究中存在的问题与不足
通过对大量国内外相关文献的学习和研究，我们发现已有研究中存在四个方面的问题和不足：第一，大多数研究局限于视听双通道的信息加工模式。第二，多通道信息加工对语言习得的影响偏重于听说能力，而忽视了视听化学习材料对读写能力的影响。第三，文本阅读对思维产生的影响机制、对深度的文本阅读可能促进思维和写作至今是研究空白。第四，在研究模式上，对文本阅读与思维的关系缺乏相关的眼动和脑电的实验研究。
针对已有研究中存在的问题和不足，本课题通过实验揭示英语生态教学的语言习得的认知机制，为指导多媒体教材的设计和使用提供策略原理。同时，利用实验探索发现深度文本阅读对学习者思辨能力和想象力的影响，对盲目追求教材视听化、一味摒弃传统的深度文本阅读做出冷静的思考。为语言教学尤其是大学英语教学提供更为科学的多层次教学模式，在多模态的教学中培养学生良好的文本阅读习惯，通过深度阅读提高人文素质和美学修养，培养学生严谨规范的写作、缜密的逻辑思维能力和丰富的想象力。
三 本课题的研究方案
针对多媒体教材使用中存在的问题，我们课题组进行了一系列实验探索。我们的研究假设（1）多通道信息加工通过减轻认知负荷，能够有效促进语言听说技能的提高。视听教材创设出真实的语言交际情景，在这种情景里，学生通过双通道或多通道信息加工的方式学习语言，能够提高学习效率。研究假设（2）去视听化的深度文本阅读能够推动思维的积极建构，并促进读写及思辨能力的发展。
在此研究假设的基础上，我们作了如下的具体实验方案。
第一，探索文本阅读和看图阅读的认知过程，研究多通道信息加工对思维和想象力的影响。力图揭示深度的纯文本阅读能否促进思维和想象力，或者看图阅读是否话钝化想象力使思维单一化。
第二，探索多通道信息加工在培养语言听、说、读、写技能中的作用机制。结合课题组成员的教学工作，在语言学习的不同阶段，对语言能力的不同方面进行有针对性的训练，探索如何在听说能力训练中有效利用多媒体教材。以深度文本阅读为切入点，来揭示“以读促写”的合理性及其背后的认知原理，为大数据时代的语言教学策略提供启示。
第三，通过以实验为依据的教学行动研究，提升教学效果。实现教学科研一体化，科学实验和教学实践紧密结合，互相验证，不断改进完善，最终提高课堂教学效率。
四 研究内容简介
研究1：对词汇教学课堂进行录像，并对录制的视频材料进行分析。分析重点聚焦于词汇朗读者的口形变化、声带振动，研究唇读对非聋学生的影响，探索通过视听双加工进行语言学习记忆的认知机制。通过比较知觉加工通道（Perceptual processing channel）、语义加工通道（Semantic processing channel）和动觉加工通道（Kinesthetic processing channel）来探讨多通道信息加工理论对语言习得中视听化教材在听说能力培养中的作用机制[12]。同时，根据实验结果，尝试改进教学方法，为现代多媒体教学方法的改进提供指导语启示。
研究2：通过实验设计来考察深度文本阅读对思维和想象力的影响，创新之处在于使用行为实验、眼动实验和部分ERP 的脑电实验来验证课题的假设：阅读材料视听化会固化学生的发散性思维，学生的思辨能力和想象力在长期视觉文化中会出现一致性，而缺少差异性。[13]为揭示深度文本阅读功能的产生及其神经机制提供了新的研究思路。同时，在课题组成员的课堂教学中进行了相关的行动研究，对实验的结果进行了验证，并在验证中进行了改进。
具体实验设计举例1
我们通过设计一系列的实验来测定词汇、语块、句式结构的记忆，包括拼写的记忆（回忆和再认），读音的记忆（回忆和再认）。我们对词汇的测试设计：（1）词汇文本拼写；（2）词汇文本拼写+音标；（3）词汇文本拼写+音标+读音（读音在音标显示之后播放）;（4）词汇文本拼写+音标+读音（读音在音标显示的同时播放）;（5）单词分音节呈现+音标分音节呈现+读音同时呈现。第五种学习方式中音节呈现的过程是动态的，语音呈现的过程和音标同步，所以学习者同时启动了视觉和听觉通道对信息进行加工。
具体实验设计举例2
设计思路：比较阅读文本与图像文本或图像与文字并存的文本，探讨纯文本深度阅读对思维的影响。在纯文本阅读和视图阅读后分别进行图片连线、填图和故事续写，以此进行行为实验研究以及EEG和眼动研究。
设计依据：与传统的文字文本相比，视听文本的优势在于其综合性，它以影视图像为主要载体，组织了声音、语言、文字等一切可以利用的符号形式与介质，形成了多媒体世界。视觉文化以其直观形象、浅显易懂、方便快捷、刺激愉悦的特点迎合了学习者的感官需求，其先入为主的内容也可能会限制学习者的独立思维。对文学作品的解读尤其如此。例如，一部小说被拍成了电影，如果先看电影再读小说，会认为小说是在描绘电影，对文本的理解会被电影中的形象牵引着，看到对相关情景、人物的描写，头脑中可能主要会浮现出电影中的形象。当然，影视作品中的画面音响等会强烈刺激人的感官，给受众留下深刻的印象，但那是导演和演员对作品的理解和诠释，是他们对原著内容的解读和表达。这也是为什么在看过费雯·丽演的《乱世佳人》后，再去读原著，头脑中会浮现出费雯·丽表演的形象。
反之，如果你先读了小说之后才看到电影，会对电影产生更多的不认同或批判，电影的一些画面和处理或者主角的形象和表演可能都会让你失望。因为你在读小说的过程中对作者的文字进行了加工，对情景和人物展开了独立的想象，做出了自己的判断，描绘出的场景是属于自己的框架，与导演理解和演绎的故事不一样，甚至大相径庭。这也是为什么“一千个读者就会有一千个哈姆雷特”。一些多媒体教材努力冲击当代技术条件所能提供的视觉效果极限，给学生提供目不暇接的视听大餐，并有意无意地压抑其中的文学性因素。但形象性不可能取代文学性，图像艺术成功并因此具有更大的独立性，形成与文学关系的疏离，但这并不说明图像时代的到来。文本阅读可能更有效地引发读者的思考、想象和独立思维。文字符号具有很强的概括性，所代表的内涵非常丰富，从抽象的文字到生动的画面，给学习者留下更大的想象空间，需要读者自己描绘、涂写、慢慢勾勒。要培养学生的思考、推理、想象和独立思维[14]，文本阅读是必不可少的教学方式。
我们的研究为多通道信息加工的学习模式提供了一定的数据支持；通过实验获得深度文本阅读可能促进思维和写作的证据（在后面的章节将详细介绍实验的实施过程和数据，阅读与观看《洛丽塔》和《汤姆·索亚历险记》的实验）；实验研究和教学实践相结合的行动研究也是本课题的特色与创新之处。
在信息化时代，面对碎片化视觉材料，作为教育工作者应该懂得其原理，在教学中科学运用媒介技术。在培养学生逻辑思维和想象力以及严谨的句法和规范的写作方面，对传统的文本阅读功能作全新的阐释，期望本课题研究发现新的方法，并将提供新的实验证据。
五 课题的研究方法和思路
我们的研究是以行为实验为基础，结合EEG和眼动实验，并在教学实践中进行了实验结果的验证，同时指导着我们这三年的教学实践。首先，课题组通过理论研究和长期的教学实践，结合前期的问卷调查，确定了本课题研究的主题；然后通过查阅认真梳理分析多通道信息加工理论和文本阅读的国内外研究文献，提出研究多通道信息加工对语言习得中听说能力的促进和文本阅读对读写技能和思维想象力的影响的假设。通过严格的实验设计，探讨多通道加工过程对言语教学的影响，为多媒体教材的设计与使用提供理论指导和启示。通过实验数据和教学实践的记录，验证假设，发现规律，提出问题，改进教学。最后，我们提出了分阶段审慎使用视听化教材的建议，以及重视文本阅读在培养大学生逻辑思维能力，丰富想象力及提升人文素养中不可替代的作用。
1.文献研究法
通过广泛查阅本课题所需要的相关理论研究文献，对大量国内外相关文献展开学习和研究，对国内外学者有关该领域的研究成果进行分类归档，从中梳理、整理、总结出对于本课题有用的资料，为研究提供参考和借鉴，全面把握该研究领域的理论及成果，为本课题提供重要的理论基础。文献查询主要聚焦于多通道信息加工理论、认知负荷理论、多媒体教学、文本阅读功能、人文素养教育、生态课堂研究、多媒体学习模型等的文献资料[15]。
2.质性研究法
本课题前期调查主要运用个案研究（深度访谈）、扎根理论、内容分析法等。运用归纳和演绎、分析与综合以及抽象与概括等方法，对获得的资料进行归纳加工，归纳出多媒体学习认知结构中的多通道和多个阶段，并加以研究。
（1）扎根理论：课题组运用该理论分析2014年年初所做的大型调查，对563份问卷作归纳分析。
（2）访谈研究法：本课题针对问卷调查中的问题，抽查部分人员进行访谈。在实验后对部分被试进行访谈。在教学中实施实验的模式后，对学生进行访谈并结合已有的文献资料，归纳总结。
3.模型模拟法
本研究运用模型模拟法构建一个多媒体学习的认知模型，用模型来解释当前多媒体学习的一些问题，以期为多媒体学习提供指导。中科院心理所傅小兰课题组的PMJ 模型作为该课题的研究思路之一。该模型表明各通路协同完成认知任务，一些感知信息可以通过快速加工通路完成判断或形成预测。当任务要求比较复杂时，与任务相关的先验知识或意图目的等信息也会通过反馈加工通路指导对感知信息的精细加工。基于轮廓等整体信息对场景主题的快速感知反映了快速加工过程；基于颜色等细节信息对场景的类别判断更精确，反映了精细加工通路。视觉显著特征自动捕获注意，场景中的显著特征会自动地吸引注意，因此可通过快速加工通路进行判断。通过返回抑制机制，注意从最显著特征的位置转到次显著特征的位置。课题的实验设计也部分依据该模型[16]（见图1-2）。
图1-2 PMJ模型（傅小兰、陈文锋、刘烨、禤宇明、付秋芳）
4.定量研究
（1）实验研究法：本课题主要的研究方法就是实验法，通过科学的实验设计，探讨多通道加工对语言教学的影响，为多媒体教材的设计与使用提供理论指导和启示。同样，课题组设想通过实验证明文本阅读具有的激发想象力、培养严密逻辑思维的功能。本课题运用了严格的实验设计和严谨的调查问卷法来实证研究语言习得的影响因素和文本阅读对大学生思维及想象力的关系的影响。
（2）问卷调查法：课题组在2014年年初就进行了关于英语教学模式的大型问卷调查。本课题在未来的研究中还会就实验设计对被试继续进行问卷调查，就实验结果在教学中进行验证的使用情况，对学生展开问卷调查。
5.行动研究法
行动研究法是一种适应小范围内教育改革的探索性的研究方法，是针对教育活动和教育实践中的问题，在行动研究中不断地探索、改进和解决教育实际问题。运用行动研究法验证实验的结论，在教学中发现问题，改进实验设计，再进一步获得数据。
[1].Andrew Berg,“Reading the Future of the Digital Book”,Wireless Week,May/June 2009.
[4].王晓丹：《“P-S-K”三通道多媒体学习认知模型研究》，硕士学位论文，宁波大学，2012年。
[5].李晓媛：《输入模式与辅助手段对二语学术语篇理解中认知负荷的影响》,《外语研究》2012年第4期。
[6].赵立影：《多媒体学习中的知识反转效应研究》，博士学位论文，华东师范大学，2014年。
[7].宋起慧、尹德谟：《外语学习“双元结构”论在英语阅读中多系统多通道联制机制》,《科技信息》2011年第12期。
[8].孙崇勇、刘电芝：《认知负荷主观评价表比较》,《心理科学》2013年第1期。
[9].蔡艳玲：《学习任务认知负荷与测量方法研究》,《郑州大学学报》（哲学社会科学版）2009年第1期。
[10].季月：《选择性注意理论与多媒体外语课堂中教学信息的呈现》,《外语电化教学》2009年第1期。
[11].莫雷、王瑞明、冷英：《文本阅读双加工理论与实验证据》,《心理学报》2012年第5期。
[14].何高大：《二语习得视觉化研究的几个关键问题》,《外语电化教学》2014年第1期。