搜索
多模态话语分析内容提要一、多模态话语分析及其历史发展二、主要研究成果三、未来的发展趋势四、参考文献多模态话语相关概念界定多模态话语：是一种融合了多种符号模态进行交际的话语。李战子（2003：5）指出多模态话语为除了文本之外，还带有图像、图表等的复合话语，或者说任何一种以上的符号编码实现意义的文本。ModeandMedium模态（Mode）：同步实现话语和交流类别的符号资源，它可以通过一种生产媒介来实现。媒介（Medium）：表达信息的物理工具。多模态话语分析理论介绍20世纪90年代（西方）批评话系统功能语法社会符号学传统的语话分析批评性社会符号学语分析语言教学影视戏剧建筑规划网站页面设计书刊排版多模态话语分析传媒学心理学法学哲学美学多模态话语分析理论介绍理论基础以社会符号学为视角，以韩礼德的系统功能语法为理论基础，即语言是社会符号，除语言这外还有非语言符号（绘画、雕刻、音乐、舞蹈等）这些非语言符号与语言共同构建社会意义。主要观点图像、音乐、手势、动画、音调等非语言符号在交流中也是意义生成的资源。意义的表达是由多种模态符号来共同实现的，在社会交往的过程中，所有的模态符号都是各自独立又相互作用的，孤立地研究一种符号模态不能解释话语的全部意义。KressandvanLeeuwen提出“多模态话语”（multimodaldiscourse）这个概念，他们将系统功能语言学中的纯理功能思想拓宽到视觉模式，创建了以“再现意义”“互动意义”和“构图意义”为核心内容的分析视觉图像的语法框架，奠定了多模态话语分析的理论基础和分析方法。80年代后期：多模态话语分析理论的历史发展话语分析篇章语言学批评话语分析（研究话语表层形式与深层社会结构和权势之间的关系，以韩礼德的系统功能语法为理论基础。）20世纪70年代后期：Kress&vanLeeuwen开始尝试包括对语调、音乐、视觉图像、雕塑、绘画、建筑的研究，自此“社会符号学”成为一门独立的学科，专门研究包括语言在内的各种模态符号对交际的作用，关注在社会情境下所有的符号模态构建意义的过程。2002年首届国际多模态话语研讨会在奥地利萨尔斯堡召开，并出版会议论文集PerspectivesonMultimodality.以后每隔两年举行一次。2006年在意大利Pavia召开的第三届多模态大会，涵盖了身体符号学、数字和因特网语类、多媒体翻译、多模态文化和教育、视觉艺术和电影等七个主题。本世纪初我国学者也开始关注多模态话语，发表论文内容涉及广告、教学、建筑、影视等诸多领域，2009年我国国内第一本多模态话语专著《视觉环境下的多模态化与多模态话语研究》出版主要代表人物Kress,vanLeeuwen,Lemke，JewittO'Halloran,O'Toole,Ventola,Baldry,Thibault,Socollon，顾曰国、韦琴红，李战子，胡壮麟，张德禄，朱永生，叶起昌，成文，田海龙等主要研究成果国外主要成果国内主要成果国外主要研究成果KressandLeeuwen,(1996;1998)研究了模态与媒体的关系,专门探讨了多模态现象规则地表达意义的现象,包括视觉图象、颜色语法,以及报纸的版面设计和不同媒介的作用等;他们所构建的分析视觉图像的语法框架为多模态话语分析提供了理论依据和分析方法；O’Toole(1994)主要从级阶的角度来分析图象。Lemke(1998)探讨了科学文章中图表与文字的关系；Martinec&Salway(2005)、Len(2006)则详细地探讨了新旧媒体中的图文二者关系。二维平面中的图文关系：再现互动构图概念人际组篇Kress&Leeuwen分析视觉图像的语法框架叙事概念行动、反应、言语和心理分类、分析、象征接触、社会距离、态度信息价值、突出度、分格O’Halloran,K.L.(1999a;1999b;2000;2003;2004)不仅研究多模态的理论建构,还专门研究了数学语篇中的多模态现象，数学公式与语言之间的转换。Royce,T.(1998，2002)探讨了广告中图像与文字的关系，研究了不同符号在多模态话语中的互补性,以及在第二语言课堂教学中多模态的协同性等；Jewitt(2006)观察了教师使用互动白板（InteractiveWhiteboards）时对节奏、多模态和互动性的资源分配，分析了互动白板语篇设计和教学原则，探讨课堂教学中多模态读写、教学方法和现代技术的关系；Norris(2002,2004,2006)在Scollon的MDT理论基础上建立了自己的多模态分析框架，并利用这个理论框架分析了两个德国妇女的身份构建过程以及多人交际中关联的产生；Baldry,Thibault（2006）详尽的介绍了多模态语篇的转写和分析方法，包括语言描述法、绘图法、图文结合法、图片展示法等，以及如何在电子学习的环境下利用多模态话语分析方法来辅助教学。MDT理论MDT理论（MediatedDiscourseTheory）介入性语篇分析Scollon交际社会语言学民俗方法论语言人类学跨文化交际社会文化心理学该理论试图把人们的社会行为和语篇有机地结合起来研究以弥补以往的语篇分析理论忽略了行为而社会学理论忽略了语篇的不足。国内主要研究成果李战子(2003)对Kress和VanLeeuwen的多模态话语的社会符号学分析方法进行了研究，指出其对于加深认识语言的社会符号特点、对于多模式话语的产生和理解以及英语教学都具有重要意义。胡壮麟(2006,2007a,2007b)从理论和实践的角度研究了多模态化和意义的多模态构建。朱永生(2007)研究了多模态话语的理论基础和研究方法。顾曰国（2006,2007）提出从内容层和媒介层两方面来分析多模态话语，并运用自己的构建的多模态分析框架分析了北外五十周年校庆的庆典礼；张德禄（2009）提出一个多模态话语分析综合理论框架，模态选择的原则，并对多模态话语理论应用到外语教学的实践进行了探索。韦琴红（2009）在Kress和VanLeeuwen的社会符号学框架下的视觉交流理论的基础上，从图像、情态、构图、颜色、印刷版式等视觉交流的和主要方面研究了多模态话语。张德禄多模态话语分析综合理论框架•文化层面文化语境•语境层面情景语境内意义层面话语意义容层面形式层面形式及关系•表达层面媒体意识形态体裁话语范围、话语基调、话语方式概念意义人际意义谋篇意义形式关系语言、图觉、声觉、感觉互补非互补语言非语言伴语言纯语言身体、非身体外语教学中模态的选择•基本因素（1）教学内容所涉及的领域--话语范围•（2）教学对象的情况，以及与授课者的关系--话语基调•教学条件和场所--话语的方式•多模态选择的目的：补缺，强化，吸引注意力，帮助理解•三个角度：•（1）为外语教学提供情景和便利条件（2）为外语教学提供辅助条件•（3）为多模态话语交际提供多通道话语意义表达方式，提高教学效率。未来的发展趋势如何把各个学科的研究成果融合起来是将是多模态话语分析今后必须面对的问题。跨学科交叉研究将是多模态话语分析未来的必然趋势。如何把多媒体和多种模态结合起来进行分析解读是多模态话语分析将要解决的问题。把多媒体技术和多种模态结合研究是多模态话语分析的必然趋势。•[1]KayL.O’Halloran,MultimodalAnalysisandDigitalTechnology•[2]Gu,Y.AmultimodaltextanalysisofananniversaryceremonyinChina,2006•[3]Gu,Y.Multimodaltextanalysis:Acorpuslinguisticapproachtosituateddiscourse,2006•[4]YINGENXIONGANDFRANCISQUEK,HandMotionGestureFrequencyPropertiesandMultimodalDiscourseAnalysis•[5]JaimeSnyder,Applyingmultimodaldiscourseanalysistostudyimage-enabledcommunication•[6]WeiQingHong,StudiesonMultimodalityandMultimodalDiscourseinVisualSurroundings,2009参考文献