张德禄-多模态话语分析理论与外语教学

多模态话语分析理论及在教学中的应用张德禄[e-mail]1目录1.引言2.理论基础3.符号资源4.多模态设计5.多模态语法6.模态之间的关系7.模态选择及用途8.多模态读写9.问题与不足10.将来的研究21.引言多模态性在历史上没有受到人们的重视;在现代语言学研究中：被看作非语言特征和伴随语言特征；一种语言的辅助表达系统，没有作为意义表达模态来研究。多模态产生的原因：（1）是话语分析理论发展的一个历史阶段：人们发现话语的意义很大一部分是由非语言特征实现的。（2）人类话语越来越多模态化：多媒体和网络的产生促进了多模态话语的研究；人类的交际过程需要听觉、视觉、触觉并用；在一些领域，交际的主模态已经由语言转为图像或其它模态，网页、电影、画展等。31.1多模态话语分析研究1.最早的研究者之一是R.Barthes，在他1977年发表的论文《图像的修辞》（Rhetoricoftheimage）中探讨了图像在表达意义上与语言的相互作用。另外几个主要的研究者包括：2.Kress，G.andvanLeeuwen，T.(1996;1998;2001;2002)研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。3.O'Halloran，K.L.(1999a；1999b;2000;2003;2004)不仅研究多模态的理论建构，还专门研究了数学语篇中的多模态现象。5.Royce，T.(1998a;1998b;2002)研究了不同符号在多模态话语中的互补性，以及在第二语言课堂教学中多模态的协同性等。还有其他许多研究者：Jewitt2008；NewLondonGroup(1996)；Lemke,J.(2002)；Bednarek&Martin（2010）。41.2模态与媒体（Modevsmedium）模态（modality）来自于mode/model(方式、模式），表示可对比和对立的符号系统；媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或手写的手段，说话时发出的声音，身体的动作，或计算机显示器上的光脉冲(Scollon&Levine2004)。我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模态，但眼、耳、手、舌、鼻则是媒体。这样，模态是用某种媒体表达信息的特殊方式。媒体是表达信息的物理工具。51.3单模态(monomodality)vs多模态(multimodality单模态是只通过一种模态进行交际活动的现象，如说话、听录音、读书。前者为通过听觉模态；后者为通过视觉模态。多模态表达可以分解为同时表达意义的两个或两个以上的单模态(Bernsen2002)。我们每天在看报纸、杂志、广告、招贴画、故事书、教科书、活页文选、百科全书、说明书、计算机界面时，甚至在我们相互交往时都离不开多模态。我们谈话时手舞足蹈，有声有色，也意味着使用了多模态。多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。62.理论基础多模态话语分析理论的基础是社会符号学索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性；只研究“Langue”，不研究“parole”。皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解释三位一体的三角关系。韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识辨的类型。社会有意义的实践构成各种文化(社会符号系统)。符号系统是对这些实践的抽象(如从言语得到语言符号)。Saussure→LangueParole←HallidayPierce7社会符号学没有必要区分理论符号学和应用符号学，它与话语分析、多媒体分析、教育研究、文化人类学、政治社会学有更紧密的关系。再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个理论一方面把语言看作是静态的不变的，另一方面又不得不承认“所指的变化导致概念的变化”，“思想可能被迫接受符号的物质状态给它提供的特殊方式”(Lemke2005)。这说明语言结构底层的常规是不固定的，而是受到实际言语的影响。(Beaugrande1991:2-27)。社会符号学把语言看作众多符号之一，各种符号系统都能够用以社会交际，体现讲话者的意义。这样，交际就是多模态的了。83.符号资源符号系统实际上是符号资源(semioticresource)系统，人们通过可识别的、多半是习惯性的(有时是原创的)方法从这些资源中选择，就可以进行有意义的活动(Lemke1993)。所谓习惯性的方法指可确认的符号架构(semioticformations)，是一个社团中的成员同时采用一些符号资源形成的经常的、可重复的、可识别的、有意义的、文化的和历史的特殊符号类型。如某一时期的文学语类是符号架构。同样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣着的特定样式都可以定义为可行动的有规律的范式，对社会是有意义的实践的范式。9Kress(2001)认为，所有的模态(视觉的、姿态的、动作的)，像语言一样，在社会使用过程中共同形成社会资源的模态(Halliday1985,Kress1997)。传统上书写和口语的模态强调语言方面，而把其他资源，如姿势、语音音律、注视、动作等看作是“副语言的”，不把这些看作是能与语言同时作用的完整的符号资源。多模态话语分析把它们提高到相同的层面。10媒体资源的分类（1）语言与非语言张德禄（2009）对媒体的类别根据是否语言和是否身体的对外语教学中的媒体系统做了归类：非语言媒体表达意义的非语言媒体包括交际者的肢体动作和交际者在意义表达中所使用的非语言手段，如工具、环境等。11肢体媒体：(1)与头部有关的动作，包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的动作形成的媒体符号等。(2)由手臂和腿形成的媒体符号，包括手势，手臂的状态、形成的形状、摇动等，腿的并立、踢跳、弯伸等。(3)躯干的动作，如姿势、移动、摇摆、模拟等。12非肢体媒体主要包括工具和环境两个方面。随着现代科学技术的发展，交际者肢体以外的交际媒体变得十分发达。从起初的音响设备到现在的网络平台、同声传译室等都是工具性媒体。除此之外，交际者还可以利用环境中已有的所有符号系统来进行交际，包括现场环境中的人和物、有象征意义的符号等(见图1。)13语言媒体从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。这两种媒体是语言传播信息的主要媒介。但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。伴语言媒体对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音的大小、音调、声音的频率、口音、语气、以及字体形状、大小、空间的布局等。这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用，有时是关键作用，因为它可以引起整体意义的改变，如用声调表达态度。14图一：多模态话语媒体系统音响音调伴语言字体语言布局声音多纯语言文字模动作（移动）态比拟话表情语身体面容眼神媒五官体手势系肢体姿势统摇动非语言PPT音响扩放工具网络实验室非身体同声传译室环境15（2）静态与动态Thibault(2004)对符号资源的研究比较具体。他从身体动力学的研究区分动态的和静态的:(1)静态的表达媒体,如文字、图片、表格、绘画等。(2)动态的研究指面对面的互动、动画、电影、使用录像机等。16（3）两个层次与三个层次根据系统的复杂性，媒体系统可以分为两个层次的和三个层次的。两个层次的符号系统比较简单，是符号的能指和所指可一一对应，不通过词汇语法的系统，例如：交通信号系统是两个层次的符号系统：语言是三个层次的符号系统。17类别层次项目交通信号系统意义停、行、准备等意义图符红色、绿色、橘红等颜色类别层次目录意义概念、人际、语篇语言词汇语法词汇系统、语法系统音系音系系统（4）.维度媒体的维度是一个重要的区分条件，因为维度之间的区别很重要，可以直接影响对符号的识别难度。媒体的维度现在一般还是局限在四个之内：一维的是线性的：口语和书面语；二维的是平面的：平面图画；三维的是立体的：立体图形；四维的是动态的，是可移动的三维符号系统，如电影、动画等。184.设计设计是制造语篇和识读语篇的过程。书面语占统治地位的设计：写作的逻辑曾经塑造了页面的顺序和书本。新媒体时代的设计：当今占统治地位的媒体是屏幕，不管是游戏机、移动电话、个人电脑或者电视和录像。因此现在屏幕的逻辑正在塑造新的顺序和对屏幕的安排。虽然文字写作可以出现在屏幕上，但它从属于图像，如同过去图像可出现于书本上，但从属于文字写作。因此图像将越来越塑造写作的出现和用途，这一过程已在公众信息传递的事例中出现。过去，作者的形象和写作的方式占统治地位；在新的屏幕设计中，设计者和图像的模式占统治地位。(Kress2004)。19Kress(2004)重视设计者的作用。所有符号资源都具有社会意义，属于特定文化。多模态符号(词语、文字、信件、色彩、字体)的复杂信息反映了设计者的尽量选用多种符号表达意义的意愿。设计者根据符号特殊的修辞目的，用尽各种手段来劝诱那些有机遇接触该信息的人们。页面/网址的设计者不再是权威性语篇的“作者”，但他是材料的提供者，按照想象中读者的所谓特点进行安排。设计者的作用是将材料集中，加工为访问者可提取的“信息”。屏幕设计要考虑访问者的兴趣。对访问者来说,“信息是个体选择的材料，经他们转换，成为可以解决有生世界问题的知识”。20设计是在一定语境下进行的。在多模态信息传递中，关键是选择相应的设计。如果表达和塑造信息时有多种方法，有待回答的问题是：就要传递的内容或意义来说，哪一种模态最好?哪一种模态在塑造所传播信息时最能符合设计者的兴趣?设计者的听众或他自己最喜爱哪一种媒体?在选择某个媒体或模态而不是其他时，设计者对自己的定位?所有这些都需要作出抉择。21根据新伦敦小组(NewLondonGroup2000)的观点，任何制造意义的过程基本上都是设计行为。一般有三个部分:第一,已有资源：根据“可利用的设计”，择取某些符号资源和常规，如话语形式、语类和方言。第二,设计过程,：包括将符号资源转变成自己的声音，将老材料作新用途等。根据这一观点，读和听、写和说是进行设计的实例，因为每个人都可利用可利用的设计来产生意义，根据各自的兴趣和个人经验，将所读到和听到的材料转化成意义。22第三,“重新设计”：由设计过程产生的资源或重新产生的意义，又可成为一种新的可利用的设计，具有制造意义潜力的新的资源。这样，设计的观点不仅应用于原创性活动，更应当看作是日常经历的核心部分，因而这是教育过程中应当强调的重要成分。(Williamson2005)。235.语法在多模态话语选择中最关键的因素是如何使不同模态的相互配合来获得最佳交际效果，而这种模态之间的配合主要是在形式层面，特别是语法层面表现出来的。根据系统功能语言学理论（Halliday,1973;1985），语言要同时体现三种元功能——概念功能、人际功能、谋篇功能。那么，从多模态话语的角度讲，除了语言之外，其他符号系统也同样是实现三个元功能的系统，如KressandvanLeeuwen(1996)和O'Toole(1994)把多元功能的思想延伸到图像上，提出视觉语法的概念；O'Toole(1994)则提出了一个以多元功能分析为基础的，用于分析图画的模式。24例如，KressandvanLeeuwen(1996)建立了一个图像分析的社会符号学框架。模拟系统功能语言学中的功能语法